全方位的多模态大模型能力评测体系
MMBench 收录在 AI图鉴的「AI模型评测」分类下,定价模式为免费额度+付费订阅,官网 mmbench.opencompass.org.cn。官方简介:「全方位的多模态大模型能力评测体系」。功能标签:模型评测。
AI图鉴「AI模型评测」分类目前共收录 15 款工具,与MMBench 同类的还有 MagicArena、MMLU、Open LLM Leaderboard、C-Eval 等;本页下方的对比表列出了其中全部 14 款,可按定价与适用地区逐项比较。该分类中,4 款国内可直接访问,其余为付费订阅或需自备 API Key。MMBench 国内可直接访问;若需要不额外付费的模型额度,可参考 AI图鉴整理的免费 AI 额度总表。
| 工具名称 | MMBench |
|---|---|
| 所属分类 | AI模型评测(共 15 款) |
| 定价模式 | 免费额度+付费订阅 |
| 适用地区 | 国内可直接访问 |
| 功能标签 | 模型评测 |
| 官网地址 | mmbench.opencompass.org.cn |
| 工具 | 简介 | 定价 | 适用地区 |
|---|---|---|---|
| MagicArena | 字节推出的视觉生成模型对战平台 | 免费额度+付费订阅 | 海外站点 |
| MMLU | 大规模多任务语言理解基准 | 免费额度+付费订阅 | 海外站点 |
| Open LLM Leaderboard | Hugging Face推出的开源大模型排行榜单 | 免费额度+付费订阅 | 海外站点 |
| C-Eval | 一个全面的中文基础模型评估套件 | 免费额度+付费订阅 | 海外站点 |
| FlagEval | 智源研究院推出的FlagEval(天秤)大模型评测平台 | 免费额度+付费订阅 | 国内可直接访问 |
| SuperCLUE | 中文通用大模型综合性测评基准 | 免费额度+付费订阅 | 海外站点 |
| AGI-Eval | AI大模型评测社区 | 免费额度+付费订阅 | 国内可直接访问 |
| OpenCompass | 上海人工智能实验室推出的大模型开放评测体系 | 免费额度+付费订阅 | 国内可直接访问 |
| CMMLU | 一个综合性的大模型中文评估基准 | 免费额度+付费订阅 | 海外站点 |
| HELM | 斯坦福大学推出的大模型评测体系 | 免费额度+付费订阅 | 海外站点 |
| LMArena | AI模型评估平台 | 免费额度+付费订阅 | 海外站点 |
| LLMEval3 | 由复旦大学NLP实验室推出的大模型评测基准 | 免费额度+付费订阅 | 海外站点 |
| H2O EvalGPT | H2O.ai推出的基于Elo评级方法的大模型评估系统 | 免费额度+付费订阅 | 海外站点 |
| PubMedQA | 生物医学研究问答数据集和模型得分排行榜 | 免费额度+付费订阅 | 海外站点 |
上表为「AI模型评测」分类下除 MMBench 之外的全部 14 款工具,点击名称进入详情页。
MMBench 采用「免费额度 + 付费订阅」模式:基础功能可免费使用,更高配额或进阶功能需付费。免费额度的具体数值与限速规则以官网为准,也可参考 AI图鉴的免费 AI 额度总表(https://aitujian.cn/free-ai-api.html)。
MMBench 收录在 AI图鉴的「AI模型评测」分类下,该分类目前共 15 款工具,覆盖模型能力评测、排行榜、基准测试与选型参考。
「AI模型评测」分类下还有 MagicArena、MMLU、Open LLM Leaderboard、C-Eval、FlagEval 等 14 款工具,本页下方的对比表可逐项查看。
MMBench 的官网是 https://mmbench.opencompass.org.cn/。可通过本页「前往使用」按钮直达,也可在 AI模型评测 分类页查看它与其他工具的对比。