AI图鉴

AI图鉴首页 › AI 资讯 › Nace AI 开源 Drex Max v1: A 27B 决策模型本地运行在

Nace AI 开源 Drex Max v1: A 27B 决策模型本地运行在 Apple 硅上

来源:MarkTechPost · 发布时间:11-01 · 由 AI图鉴每小时自动聚合

Nace AI 开源 Drex Max v1,一种运行于Apple硅上的27B多式联运决定模型评分67.52. Nace AI 开源 Drex Max v1: A 27B Dec 邮编

Nace AI有发布 Drex Max v1作为开放权重。 Drex Max是它最有能力的决定模型现在它运行在你的硬件上释放舰bf16重量,aQ8 0GGUF,affine Q4检查站和叉子llama.cpp和Ollama. 对于开发者来说,Drex Max 开放权重是指路由,分类和政策检查可以停留在本地机器上。

TL;数据

- 大小:Dense 27B参数,262,144个托肯窗口(默认为16,384个),每个问题最多255个选项。

- 运行在:带Python的NVIDIA GPU(H100 bf16,或用8位的L40S 48 GB). Apple硅Macs配有24GB+(Affine Q4)或48GB(Q8 0 GGUF). CPU通过llama.cpp和Ollama.

- 业绩:关于公共决定指数0.4,比Drex v2.0(自报)高6.27分。

- 最佳:97.3 有关InfographyVQA的技能。 工具区达到81.9. 一个顶级的决策模型你可以运行离线在Mac。

Drex Max是什么来着?

Drex Max是奈斯公司的决定模型。 回答特定语境问题的AI. 您通过一个状态( 文本、 JSON 或图像) 加命名的问题。 模型返回一个前传中每个选项的概率。 无所生成。

问题分为3种:在命名选项中进行选择,是/否,以及一个正数分数。 这使得它适合agent的路由,票检和护栏检查。 主机版本在路由、分类和政策检查中介绍。

德雷克斯·麦克斯是怎么工作的?

模型卡描述了一个密集的27B型骨干,有64层。 48是Gated DeltaNet线性注意层,从左到右运行。 其他16个是全心全意的层层,每四层放置,它们都是无因子的。 每一个标志都可以关注整个序列。

图像通过一个本土的视觉塔,在请求中每个问题都可以看到。 一个255路读出头,然后将最后一个隐藏状态变成选项概率。 配置列出了qwen3 5型号,带有262,144位的窗口。

Drex Max在基准测试上表现如何?

以下所有数字均由Nace AI自行报告。

- 决策指数0.4(公开文本):67.52. Drex v2.0分 61.25分和Jev 1.13.0分57.96.

- 地区技能:工具81.9,语言72.2,检索68.8,知识和理性57.1,第53.4条。

——公共视觉指数:73.92对11基准测试,12,210行。

- 人工分析决定指数:64,Nace 称在18位列第4位。

- Jev Bench:92.2%(213/231),裁判庭诉4:94.30%(1010/1071)。

结果数据集涵盖140 620项请求。 未答复的请求算错。

你怎么管理Drex Max本地?

Nace记录了5个运行时间。 它们都服务于相同的POST/v1/systemone API.

affine Q4检查站以24GB或以上的Macs为目标。 Q8 0 GGUF需要48GB. 腾讯网。 在48GB Mac上,Nace推荐–context 2048 for Kapitsa.

Ollama用户将 num gpu 40 设定为卸载40层到Metal. 设置 num gpu 0 在 CPU 上运行。 Ollama叉需要在模型文件中有一个Capability决定线。

在Nace的测试中,在48GB Apple M5 Pro上,Q8 0 GGUF在每概率0.02范围内匹配H100 bf16. 芳香Q4停留在Q8 0的0.0329之内,没有选择翻转。

Drex Max 与其他决定模型

Nace AI团队表示,决定指数0.4使用与0.3.1相同的公共套房。

关键外卖

- Drex Max v1重量现在在Nace下公开 AI Open RAI-M. (英语).

- 在决定指数0.4方面得分67.52,高于Drex v2.0(61.25)。

- 一个4位积分运行在24GB Apple硅Macs上,通过Kapitsa或MLX.

- M5 Pro上的Q8 0在0.02内与H100 bf16匹配。

- 本地Mac和CPU路径只是现在的文本。

请检查access-date=中的日期值 (帮助) 模型重量 Q8 0 GGUF,代码和docs,Tweet和云控制台。

感谢Nace AI团队为这篇文章提供的思想领导/资源。 这篇文章由Nace AI赞助。

Asif Razzaq是Marktechpost AI Media Inc.的首席执行官。 作为一个有远见的企业家和工程师,阿西夫致力于利用人工智能的潜力促进社会福祉。 他最近的努力是人工智能媒体平台的发布,该平台以深入报道机器学习和深层学习新闻而著称,这些新闻在技术上既可靠又为广大观众所容易理解。 该平台每月有超过200万次观看,表明其受观众欢迎。

本文由 AI图鉴自动抓取并翻译,版权归原作者所有;如需查看原文请点下方链接。

相关 AI 工具

相关免费羊毛

同源资讯

阅读原文(marktechpost.com)

标题、摘要与正文均来自该信源的公开页面,版权归原作者所有;本站自动聚合与翻译,仅作出处跳转。

← 返回 AI 资讯列表AI工具图鉴首页

返回 AI图鉴首页 · 提交工具 · 商务合作 · 关于本站 · 604 款 AI 工具分类导航 · 每日 AI 热门项目与动态