AI图鉴

AI图鉴首页 › AI 资讯 › TOP 10 大模型实测:发两个字母,被计了 4223 个 token

TOP 10 大模型实测:发两个字母,被计了 4223 个 token

来源:掘金 · 发布时间:10-12 · 由 AI图鉴每小时自动聚合

TOP 10 大模型实测:发两个字母,被计了 4223 个 token 这篇能解决什么问题 接入大模型时最省事的做法,是打开排行榜选第一名。 但榜单回答的是「哪个模型综合分最高」,你要回答的是「我这份

TOP 10 大模型实测:发两个字母,被计了 4223 个 token

本文部分内容在 AI 辅助下完成,全部数据、代码与结论均由作者实际运行并逐条核对。

撰写日期:2026 年 10 月 12 日。 榜单与实测数据均采集于同日。模型榜单和服务商在售清单变动很快,阅读时请先核对日期。

这篇能解决什么问题

接入大模型时最省事的做法,是打开排行榜选第一名。

但榜单回答的是「哪个模型综合分最高」,你要回答的是「我这份活该交给谁」。这两个问题的答案经常不一样。

本文记录的是一次完整的选型过程:先拉公开榜单,再把榜上能调到的模型挨个发真实请求,最后根据 usage 返回的字段做判断。过程中有两个坑是榜单上看不出来的,都会导致账单或功能出问题,而且接口返回 200、不报任何错。

适用环境

榜单数据来自 Artificial Analysis Intelligence Index v4.3.2,权重为 Agent 30% + 编程 20% + 科学推理 20% + 通用 30%。

一、先看榜单给了什么

同分并列,所以「TOP 10」实际是 11 款。

这张表里最该注意的不是名次,是最后一列。 分数从 58 到 45,跨度 13 分;首字延迟从 748.61 秒到 2.82 秒,跨度 265 倍。

第一名在它拿到第一名的那个配置下,首字延迟是 748 秒——十二分钟才出第一个字。这个量级不是前端加个 loading 动画能遮掩的。

还有一件事:榜上有 3 款我根本调不到。Gemini 4 Argon 和 Muse Spark 1.3 在服务商的在售清单里查不到;Grok 更典型——榜上是 4.7(xhigh) ,在售的是 4.6,两个版本,不是别名。所以 4.7 那组分数不能拿来判断 4.6。

照榜单抄型号,最常见的失败就是这个:名字抄下来了,调用时返回模型不存在。正确顺序是倒过来——先确认自己能调到哪些型号,再去榜上找这些型号的成绩。在售清单和计费档位可以在模型与价格页查,接口也公开免密钥,可以自己拉一份核对。

二、实测方案:只看三个字段

密钥放环境变量,不要写进代码,也不要出现在任何提交物里。

export API_KEY="你的密钥"

最小验证请求:

curl -s -X POST https://api.crazyrouter.com/v1/chat/completions \

-H "Authorization: Bearer $API_KEY" \

-H "Content-Type: application/json" \

-d '{

"model": "claude-haiku-5-5",

"messages": [{"role": "user", "content": "Reply with exactly: OK"}],

"max_tokens": 512

}'

实际返回,耗时 2.69 秒(只摘关键字段):

{

"model": "claude-haiku-5-5",

"choices": [{"message": {"content": "OK"}, "finish_reason": "stop"}],

"usage": {

"prompt_tokens": 42,

"completion_tokens": 4,

"total_tokens": 46,

"completion_tokens_details": {"reasoning_tokens": 0}

}

}

接下来只做一件事:把 model 换掉,同一个 body 发给所有候选,每次打印三个字段。

不需要评测框架,一个循环就够。10 款全部返回 HTTP 200,耗时 1.80 秒到 7.80 秒不等。

下面两个坑,就是靠这三个字段抓出来的。

三、坑一:发两个字母,被计 4223 个输入 token

给 gpt-6.1-sol 发一条正文只有 hi 的请求,返回:

"prompt_tokens": 4223

同一时间给 claude-sonnet-5-5 发一条 18 token 的请求,prompt_tokens 就是 18。复测两次,稳定在 4223–4227。

也就是说,调用这个模型存在一个约 4200 token 的固定输入开销。

什么时候无所谓,什么时候要命:

- 单次输入本来就有几千 token 的长文档任务 —— 可以忽略

- 每次输入几十 token、一天几十万次的高频短请求 —— 这个开销就是你账单的主体

讽刺的是,gpt-6.1-sol 在榜单上是性价比最突出的一款:52 分、任务成本 0.72 美元,是全表唯一「50 分以上 + 成本低于 1 美元」的组合。单看榜单你会选它做高频场景,而这恰恰是它最不划算的用法。

怎么查: 把你自己最短的那条典型请求发一次,打印 usage.prompt_tokens,和预期长度对一下。十秒钟的事,但能避免上线后才发现量级不对。

四、坑二:max_tokens 不是回答长度上限,是总预算

给 glm-5.3 设 max_tokens=64,返回的正文几乎是空的。看 usage 才知道原因:

"completion_tokens": 64,

"completion_tokens_details": { "reasoning_tokens": 60 }

64 个输出 token 里,60 个被推理吃掉了,留给正文的只有 4 个。

改成 max_tokens=512 重发:输出 34 token、推理占 32,正文正常返回。同一组请求发给 claude-sonnet-5-5,reasoning_tokens 是 0。

所以这个模型默认开启推理,而推理 token 占用 max_tokens 的额度。如果你按「预期回答长度」来设这个值,拿到的就是空内容——而且接口返回 200,没有任何错误提示。

这是个典型的静默失败:日志里一切正常,只有业务侧发现结果是空的。

怎么查: 把 usage.completion_tokens_details.reasoning_tokens 打出来。所有默认开推理的模型都该过一遍这个检查。

五、复盘:推理档位比选哪个模型更关键

两个坑其实指向同一件事——推理是个开关,但很多时候它默认是开的,而你没意识到。

榜单展示的是各模型已测的最高分配置。把档位降一级看看:

- Opus 5.5 从 max 降到 high:掉 4 分,成本降约 70%,首字延迟从 748 秒降到 44 秒(降约 94%)

- GPT-6.1 Sol 从 max 降到 medium:掉 4 分,成本降约 71%,首字延迟降约 98%

少 4 分,省掉十二分钟的等待——对线上服务来说,这笔账基本没有犹豫的余地。

结论不是「永远用低档位」,而是:上线前把推理档位当成需要测试的参数,而不是用默认值。 坑二本质上就是推理在一个不需要推理的任务上被默认打开了。

六、选型总结

最后一行是这篇最想说的:一个 43 分的模型,在特定工作上可以完胜 58 分的那个。

七、边界

- 分数、成本、速度、延迟来自公开榜单,不是我自己跑的完整基准测试。我实际测的只有连通性和 token 计量,覆盖 10 款。

- 采集日期 2026-10-12,该日期不等于各模型的测试日期。

- 该指数以英文、纯文本任务为主,图像、语音和多语言能力另有评测,不能当中文写作榜用。

- 榜上 3 款查不到在售记录,本文不对它们做适配判断。

- 任务成本是第三方评测口径的加权平均值,不是每百万 token 单价,也不是你发一次请求的费用。

数据来源

- Artificial Analysis:LLM Leaderboard —— 分数、配置、任务成本、输出速度、首字延迟

- Artificial Analysis:Benchmarking Methodology —— token 统一按 o200k_base 计,指标为 72 小时滚动窗口中位数

- Anthropic:Introducing Claude Opus 5.5 —— with fallback 的默认回退机制说明

- 在售型号与计费档位:服务商公开定价接口,2026-10-12 取值,免密钥可读

本文代码均为实际执行,prompt_tokens 与 reasoning_tokens 的两项发现各复测两次。配图为依据上述数据绘制。

本文由 AI图鉴自动抓取并翻译,版权归原作者所有;如需查看原文请点下方链接。

相关 AI 工具

Open LLM Leaderboard

Hugging Face推出的开源大模型排行榜单

SuperCLUE

中文通用大模型综合性测评基准

CMMLU

一个综合性的大模型中文评估基准

PubMedQA

生物医学研究问答数据集和模型得分排行榜

相关免费羊毛

Free.ai

每日 3 万 token 免费,400+ 工具

火山方舟豆包

豆包大模型新用户免费额度

AnyAPI

每日 10 万 token 免费,400+ 模型

Api.Airforce

永久免费档,100+ 模型一把钥匙

同源资讯

浅析模型量化的数学原理 — 本文从数学角度完整拆解模型量化(Quantization):它如何把 FP32 浮点

掘金 · 10-12

[Agent Memory / 强化学习] MemPO源码学习笔记 --- (7)--- 混合机制

掘金 · 10-12

我用AI做了一款「三国吃鸡」,开局孔明灯,落地青龙刀 !

掘金 · 10-12

LLM 驱动的自动化测试系列(10):自愈定位——当启发式打分撞上语义理解的天花板

掘金 · 10-12

一天一个开源项目(第234篇):CC Switch —— 一个 App 管理十款 AI 编程工具的 Provid

掘金 · 10-12

手机端 Agent 怎么动起来:Kotlin 与 Python 之间的桥

掘金 · 10-12

阅读原文(juejin.cn)

标题、摘要与正文均来自该信源的公开页面,版权归原作者所有;本站自动聚合与翻译,仅作出处跳转。

← 返回 AI 资讯列表AI工具图鉴首页

返回 AI图鉴首页 · 提交工具 · 合作与友链 · 关于本站 · 528 款 AI 工具分类导航 · 每日 AI 热门项目与动态