Anthropic推出Claude 3.5 Sonnet模型 性能超越GPT-4o和Gemini 1.5 Pro
Anthropic 今天宣布了最新的Claude 3.5 Sonnet 和 Claude 3.5 Haiku 模型。 更新后的 Claude 3.5 Sonnet 机型实现了全面改进，并在编程能力方面取得了显著提高。 Claude 3.5 Haiku 是 Anthropic 对 OpenAI 的 GPT-4o Mini 和 Google 的 Gemini 1.5 Flash 的回应。 它的售价与前代产品相同，但性能有了显著提升。
Claude 3.5 Sonnet 的改进：
SWE-bench 验证得分从 33.4% 提高到 49.0%，是业内任何机型的最佳得分。
在零售领域，TAU-bench 得分从 62.6% 提高到 69.2%，在航空领域从 36.0% 提高到 46.0%。
GPQA 和 MMLU Pro 分数分别增至 65% 和 78%，优于Gemini 1.5 Pro。
新的 Claude 3.5 Haiku 模型在许多人工智能基准测试中击败了 Anthropic 上一代最大的模型 Claude 3 Opus。 Claude 3.5 Haiku 在 SWE-bench Verified 上的得分率为 40.6%，超过了原来的 Claude 3.5 Sonnet 和 OpenAI GPT-4 Turbo。 Claude 3.5 Haiku 最初将只提供纯文本格式，随后将支持图像格式。
Anthropic 还强调，美国人工智能安全研究所（US AISI）和英国安全研究所（UK AISI）对新的 Claude 3.5 Sonnet 模型进行了联合部署前测试，这是双方今年年初签署的协议的一部分。 根据其负责任扩展政策，更新后的克劳德 3.5 Sonnet 模型符合 ASL-2 标准。
更新版 Claude 3.5 Sonnet 现已通过 Anthropic API、亚马逊 Bedrock 和Google云的 Vertex AI 以相同的价格提供给所有开发人员。 新的 Claude 3.5 Haiku 模型将于本月晚些时候推出。
这些新的 Claude 3.5 模型性能更强、价格更低，对于为其人工智能应用寻找高级语言模型的开发人员和企业来说，是极具吸引力的选择。
