AI图鉴

AI图鉴首页 › AI 资讯 › Mirendil 发布 Fern 0.1,它的第一型号,带有10M-Token上

Mirendil 发布 Fern 0.1,它的第一型号,带有10M-Token上下文

来源:MarkTechPost · 发布时间:10-27 · 由 AI图鉴每小时自动聚合

Mirendil 发布 Fern 0.1,是其第一种型号,从头开始预训,上下文窗口为10M-token. 目标为代理AI研发工作,在RULER singl上得分100%

米伦迪尔拥有发布 Fern,这是它的第一个AI模型。 米伦迪尔·费尔恩(Mirendil Fern)是一个来自scratch的编码模型,其上下文窗口可高达10M令牌。 米伦迪尔解释了这相当于大约23 MB代码,或大约50万行。 这是一个关于威震天LM规模的密码库,紧接着上下文进行。 Fern 0.1是第一个版本,由Mirendil-Base在短回合的训练后建造。 对于开发者来说,它类似,你同时装入一个完整的repo,一个完整的训练日志或agent痕迹的天数。

TL;数据

- 大小:0.1至0.5T参数(精确计数和未披露的活动参数);上下文最多为10M令牌。

- 运行:仅托管早期访问;没有开放权重或定量构建宣布。

- 性能:强长文本检索,中包代理编码对开量模型,远远落后于前沿模型。

- 最佳:在 RAULER 单需求检索中100%,每长从 32K 至 10M 令牌(基准模式).

- 最糟糕的是:在Mirendil自己的桌子上,4.0号终点站占6.1%,Claude Opus 5.5为66.4%。

米伦迪尔·费尔恩是什么

Fern是来自AAI研发实验室Mirendil的语言模型。

Fern是针对AI的研发工作,而不是一般的聊天。 Mirendil列出了6种目标用途:

- 跨大型密码库工作

- 代理编码,运行命令直到测试通过

- 研究代码:培训循环、数据管道和评价

- 调试训练从长日志和堆积痕迹中进行

- 读取完整的agent或训练痕迹结束

- 对重复、沾染和垃圾进行预先检查

费恩怎么样?

费尔恩坐落在米伦迪尔-巴塞(Mirendil-Base)上,米伦迪尔·称一号研究员在3.5个月的时间里对其进行了预训。 计算总额低于10M美元,包括实验、agent代币支出和数据处理。 AI agents写了超过99%的代码。 研究者选择了什么尝试和何时干预。

培训数据仅来自公共来源:GitHub,公共代码,网页和公共数据集。 Mirendil 称没有使用蒸馏,没有合成数据,也没有许可证数据。 代码是从零开始写在PyTorch和JAX上。

Fern是3个计划模型中最小的。 Mirendil-Base-Large(0.5至2T参数)通过预训超过80%. Mirendil-Base-XL(2至10T)通过20%以上。

较长的背景是否真的有用?

米伦迪尔在自己的储存库中测试了下个托肯的预测,被压缩成42.9 MB流。 它以每字节的位数来测量交叉纵横,在位数较低的地方比较好。 这里的窗口大小是用字节而不是符号来测量的。

Fern的损失从32K字节窗口的0.246下降到16M和23M字节的0.155. 其他型号的得分高达约1M个令牌,其广告限制。 在1M字节窗口上,Kimi-K3得分0.140和Fern0.165. 所以Fern不是同等上下文中最好的预测者。 它的优点是曲线一直经过别人停车的地方。

费恩对卢拉的得分如何?

RULAR是一个标准的长文基准测试。 米伦迪尔在前期训练模式米伦迪尔-巴塞(英语:Mirendil-Base)上执行5项RULAR任务。 它使用贪婪的解码,思考和精确的字符串匹配。

寻觅坚固。 多跳推理在10M时下降到45%. 每个10M细胞只使用20个实例,而其他地方则使用100个实例。 Mirendil 称更广泛的长文成果即将到来。

Fern 0.1对代理基准测试怎么样?

米伦迪尔将Fern 0.1与开放式和前沿型号进行比较。 其他型号的得分来自型号牌,领头牌或Mirendil自己的跑步。

Fern 0.1在5个测试中的4个测试中击败了Inkling和Nemotron 3 Ultra. 它将Beam连接在SWE-Pro v2 Hard上76.5. 它在SWE-Bench Verife上追踪到Beam,73.4对81.6. 桌子上的每一个前沿和大型的开放模型都会引领它。

费尔恩如何与类似的模型进行比较?

* 米伦迪尔的公告图图图。

关键外卖

- Fern 0.1支持最多10M令牌,约23MB代码。

- 23M字节窗口每字节的比特数持续下降到0.155

- RULAR单针保持从32K到10M的百分率。

- 代理编码滞后:6.1%在终端座椅4.0.

- 由1名研究人员建造的基座模型加上1 000美元以下的agents。

请检查fern公告,Mirendil-Base预训站,并要求提前访问。 并加入我们的通讯。 等等你在电报里吗现在你也可以加入我们的电报。

需要和我们合作推广您的 GitHub Repo OR Hugging Face Page OR Product Release OR Webinar 等吗?联系我们

米哈尔·萨特(Michal Sutter)是一名数据科学专业人员,拥有帕多瓦大学的数据科学硕士学位。 在统计分析、机器学习和数据工程方面有一个坚实的基础,Michal在将复杂的数据集转化为可操作的见解方面表现突出。

本文由 AI图鉴自动抓取并翻译,版权归原作者所有;如需查看原文请点下方链接。

相关 AI 工具

相关免费羊毛

同源资讯

阅读原文(marktechpost.com)

标题、摘要与正文均来自该信源的公开页面,版权归原作者所有;本站自动聚合与翻译,仅作出处跳转。

← 返回 AI 资讯列表AI工具图鉴首页

返回 AI图鉴首页 · 提交工具 · 商务合作 · 关于本站 · 593 款 AI 工具分类导航 · 每日 AI 热门项目与动态