1. 图表数据
  2. Anthropic
  3. Claude 3.5 Sonnet (new) benchmarks
Anthropic表格图 · 26 个数据点 · Claude 3

Claude 3.5 Sonnet (new) benchmarks

Anthropic 发布的一张图背后的数字,用原生图表重画。对照原图,研究数据,再做你自己的。

图表来自 Anthropic. 来源: x.com

简化重绘

由我们用下面的数字重新绘制。悬停、点按或用方向键查看。

这是简化重绘:它用我们自己的样式展示数字,不是原图的样子。强调色标出这张图的主角。表格里带 ~ 的是估算值。

数字

26 个点中前 10 个免费
分组系列数值来源置信
Graduate level reasoning GPQA (Diamond)Claude 3.5 Sonnet (new)65%估算0.97
Graduate level reasoning GPQA (Diamond)Claude 3.5 Sonnet59.4%估算0.97
Graduate level reasoning GPQA (Diamond)GPT-4o53.6%估算0.97
Graduate level reasoning GPQA (Diamond)Gemini 1.5 Pro59.1%估算0.97
Undergraduate level knowledge MMLU-proClaude 3.5 Sonnet (new)78%估算0.97
Undergraduate level knowledge MMLU-proClaude 3.5 Sonnet75.1%估算0.97
Undergraduate level knowledge MMLU-proGemini 1.5 Pro75.8%估算0.97
Agentic coding SWE-bench VerifiedClaude 3.5 Sonnet (new)49%估算0.97
Agentic coding SWE-bench VerifiedClaude 3.5 Sonnet33.4%估算0.97
Code HumanEvalClaude 3.5 Sonnet (new)93.7%估算0.97

Max 数据,目前留邮箱免费看

查看全部 26 个数据点并下载文件

这张图的完整表格、JSON、CSV 和 agent skill 文件。它们属于 Max;原型阶段,留邮箱即可解锁。

解锁全部 35 家巨头。每周一封,随时退订。 看看能得到什么 · 登录

Code HumanEvalClaude 3.5 Sonnet92%估算0.97
Code HumanEvalGPT-4o90.2%估算0.97
Math problem-solving MATHClaude 3.5 Sonnet (new)78.3%估算0.97
Math problem-solving MATHClaude 3.5 Sonnet71.1%估算0.97
Math problem-solving MATHGPT-4o76.6%估算0.97
Math problem-solving MATHGemini 1.5 Pro86.5%估算0.97
Multilingual math MGSMClaude 3.5 Sonnet (new)92.5%估算0.97
Multilingual math MGSMClaude 3.5 Sonnet91.6%估算0.97
Multilingual math MGSMGPT-4o90.5%估算0.97
Reasoning over text DROP, F1 ScoreClaude 3.5 Sonnet (new)88.3%估算0.97
Reasoning over text DROP, F1 ScoreClaude 3.5 Sonnet87.1%估算0.97
Reasoning over text DROP, F1 ScoreGPT-4o83.4%估算0.97
Agentic tool use TAU-bench RetailClaude 3.5 Sonnet (new)69.2%估算0.97
Agentic tool use TAU-bench RetailClaude 3.5 Sonnet62.6%估算0.97
Agentic tool use TAU-bench AirlineClaude 3.5 Sonnet (new)46%估算0.97
Agentic tool use TAU-bench AirlineClaude 3.5 Sonnet36%估算0.97
下载这张图的数据

Max 订阅者可以通过 API 取同样的数据。 API 文档

API · Max

用 API 调用这张图

Max 套餐可以取这张图的数字(每个数字都带来源),格式为 JSON 或 CSV,附重画规格;也可以让智能体通过 MCP 调用。图表 id:242c93568836。

路径返回套餐
GET/api/v1/charts/242c93568836标题、发布者、日期、图型、数据点数;用 Max 密钥时附数据链接开放
GET/api/v1/charts/242c93568836/data每个数据点及其来源和置信度,加上重画规格。加 ?format=csv 得到 CSVMax
GET/api/v1/charts/242c93568836/render?view=1本页使用的只读绘图视图开放
POST/mcp工具 get_chart_data 加这个 id,供 Claude、Cursor 等智能体使用Max
curlMax
curl -s https://viral-chart.com/api/v1/charts/242c93568836/data \
  -H "Authorization: Bearer $VIRALCHART_KEY"
Claude CodeMax
claude mcp add --transport http viralchart https://viral-chart.com/mcp \
  --header "Authorization: Bearer $VIRALCHART_KEY"

每个密钥每分钟 60 次,超出返回 429 和 Retry-After。每个账号最多 5 个密钥,在账户页创建,只显示一次。没有 Max 时数据接口返回 402,并附套餐链接。这些数字描述的是发布者拥有的图,每个文件都带授权说明。

做一张这样的图

这张图的形式,你的数字。

实时预览。所有内容都留在你的设备上。

选择形式

简化形式:用我们自己的样式,不是原图的样子。你的数字从这张图的数据开始。

Anthropic 的更多数据

全部图表数据

常见问题

这些数字有多准?

它们由两遍独立读图估算得出,置信度 0.97(0 到 1)。图上印着的数字读得准,从坐标轴读出的值可能有几个百分点的偏差。

这些数据可以直接用吗?

这些数字描述的是 Anthropic 发布的图表。图片、版式和样式归他们所有。使用数字时请注明发布者,图片请用你自己的数据来做。

怎么拿到文件?

JSON、CSV 和 agent skill 文件在本页的邮箱解锁区。原型里它们是静态文件:/api/charts/242c93568836.json 和 /api/charts/242c93568836.skill.md。