AI图鉴

AI图鉴首页 › AI 资讯 › 统一边缘AI:珊瑚NPU开放标准带来便携式,能动智能从模型到硅是如何实现的

统一边缘AI:珊瑚NPU开放标准带来便携式,能动智能从模型到硅是如何实现的

来源:Google Developers · 发布时间:11-03 · 由 AI图鉴每小时自动聚合

Google 研究完成了32位的开源珊瑚 NPU RISC-V 架构,采用了其矩阵执行单元,该单元可提供最多1至1个

OCT. 20, 2026 (英语).

一些对AI最有说服力的使用案例正直接发生在我们周围的装置上。 在个人设备中首先看到它,比如需要实时理解上下文的可穿戴设备,在企业和工业系统中,如自主机器人和智能传感器中,它也越来越多。 这些经历需要低纬度,严格的隐私,以及全天的可靠性,这些可靠性不能依赖不断的往返到云端。

Edge AI补充云,带来最好的AI体验。 这些系统依靠连续不断的上下文和情报流动,在正确的时间在正确的地点收集和处理信息。 边缘的超低功率模型可以持续感应和实时响应,同时当需要更深的推理时,可以无缝地传递给更大的端侧或云模型。

然而,建造边墙比应该的要困难得多。 虽然云基础设施已经围绕几个标准软件堆叠而汇合,但边缘被分割成数百个专有芯片架构和不兼容的工具链。 对于 ML 开发者来说,这创造了沉重的破碎税,在那里你最终会重写内核,重新量化模型,并调试每个目标芯片的供应商专用编译器。

去年,Google Research 推出 Coral NPU有了简单的想法:开放的硬件和软件标准是统一边缘,解锁开发者生产力和可移植性的唯一途径。 我们基于标准,ML-First RISC-V架构与可靠的开源工具链对齐,让开发者相信他们的模型会编译和运行,让团队一次优化一个模型,并在不同的SoC供应商,设备和电源封套上部署。

今天,我们正在珊瑚努力中达到三个主要里程碑:

- 完整的32位珊瑚NPU架构(Milestones 1–4):包括我们新的母体执行组最多可配置1超过并瞄准10mW的平均能量进行推断

- 珊瑚编译器 v1.0,基于IREE/MLIR:开源,端对端编译器和模拟堆栈将JAX,PyTorch,TensorFlow模型直接带到珊瑚NPU硬件目标。

- 新的MCU芯片,配有Coral NPU:解析2-gen Synaptics Astra® SR200系列(400 GOPS)微控制器芯片。

- 新的珊瑚板工具包:新的珊瑚板TM SR的发布,加上来自DigiKey的珊瑚板SL(1超过)的全球可用性。

修复边缘的破碎比发布指令集要多。 历史上,许多边缘加速器被设计成在光谱板上击打高峰计算数字,让编译组日后去计算软件支持。 在实际操作中,不支持的神经网络层会回落到通用CPU,这可以伤害耐久性和排水电池。

我们从一开始就一起设计了珊瑚NPU架构及其编译器。 而不是追求峰值度量衡,我们的焦点是能动计算:帮助在合适的电源信封上为您的应用提供正确的性能。

在过去的一年中,我们发布是32位珊瑚NPU设计的前三个里程碑:用于控制流的可编程的RISC-V Scalar前端(Milestone 1),用于SIMD操作的RV v1.0矢量协同处理器(Milestone 2),以及具有浮点支持的紧密结合的内存子系统(Milestone 3). 随着本月发布矩阵执行单元(Milestone 4),32位架构完成。

Scalar和矢量单元对于一般的控制逻辑和信号处理是巨大的,但现代的ML工作量——从视觉编码器到变压器的注意层——将其大部分时间花在2D矩阵-矩阵(GEMM)和矩阵-变量(GEMV)乘法上。 在1D向量引擎上运行2D矩阵数学迫使芯片从内存中反复加载重量和激活,这可能意味着花费更多的能量移动数据而不是做数学。

我们的矩阵执行股利用RISC-V VME规格(形式上是Zvt家族的一部分)来满足这一需要,并使用专用的外产倍积(MAC)引擎。 由于外产发动机在单个周期(每周期256MAC)中计算出一整块2D瓦的操作,它直接在本地登记册中重新使用权重和激活。 这种带来四进制的吞吐量放大到核心,可配置最多1超过。

在子-10 mW信封中拥有一个专用矩阵引擎会改变开发者可以在一个小电池上建立什么。 设备与其停留在简单的关键词标注或基本运动探测上,不如运行连续的,多模式的工作量,包括Gemma,实时等紧凑变压器模型在可穿戴器上的语音翻译,可听器上的空间音频过滤,机器人上的低纬度视觉感知。

为了帮助硅组将这种开放式设计直接投入商业生产,完整的32位RTL今天可以在GitHub上提供。

为了方便硬件在不写入自定义组装的情况下瞄准,我们还在释放我们的开源 MLIR/IRE编译器工具链的v1.0基础。

有了这个堆栈,就可以通过StableHLO和TOSA等标准表示,从JAX,PyTorch,或TensorFlow带来模型。 编译器在主机CPU和Coral NPU核心之间的工作量分配,处理操作员聚变,瓦片矩阵以适应本地的SRAM和矩阵累积器,并逐渐将工作量直接降低到Coral NPU scalar,RVV v1.0向量,以及VME矩阵指令。 除了我们的开源 MPACT模拟器和参考FPGA设计外,硬件和软件团队可以在芯片开始制造之前,使用基准测试模型和调音硅配置。

将开放标准转化为商业硅将对整个半导体价值链进行协作。 为了帮助硅伙伴将这种开放设计直接带入商业生产,今天在GitHub上可以获得完整的32位的RTL,我们正与VeriSilicon合作进行设计实施和验证(DV),以确保硅磁带的通关准备。 我们还在与全球基金会合作,研究其12LP+ FinFET进程 - 加速核心时间的70%,并在整个RTL迭代中将标准细胞面积减少高达15%,同时正在为矩阵执行单位评价12LP+超低功率库。

在商业硅方面,我们与Synaptics 显示的合作如何迅速将这个开放的标准转换成真正的硬件跨越非常不同的动力预算而不分割软件的经验。

在Synaptics Tech Day(2026年10月20日),Synaptics是发布三款基于Coral NPU技术,并由开放的IRE/MLIR工具链支持的商业硅和硬件产品:

- 2th-Gen硅—突触Astra SR200系列:本月磁带和发布,SR200系列集成第二代珊瑚NPU IP(包括里程碑2 RISC-V矢量核心支持),在超低功率MCU包中交付400 GOPS. 它是为电池动力的可穿戴设备和工业传感器节点而建造的。

- 新的突触珊瑚板SR 发布:由Astra SR200系列提供动力的新珊瑚板SR开发者工具包,旨在快速原型化MCU级边缘和物理AI应用。

- Synaptics Coralboard SL Reaches General Problicity(GA):继我们在Google I/O的有限版预览后,Coralboard SL现在一般通过DigiKey在全球范围提供,SDK和文档在Synaptics Coralboard开发者页面上。 由Astra SL2619处理器提供动力,并配有1个超过 TorqTM / Coral NPU子系统,其带来变压器和多流视加速器配属至Linux基于IOT和机器人。

因为两个产品家族都建立在相同的架构和编译器基础上,ML团队可以一次优化一个模型,并部署到一个毫瓦级的可穿戴(Coralboard SR)或使用同一工作流程的1超过板(Coralboard SL). 与硬件和System-on-Module partner Grinn合作开发的Coralboard排队也为团队提供了从devkit原型到商业生产硬件的直接路径。

随着我们的32位架构和v1.0编译器堆栈的到位,我们已经在进行下一阶段的路线图,包括64位Coral NPU架构和CHERI对安全的支持。

无论是在设计自定义边缘 SoC,在 ML 编译器上工作,还是在可穿戴和机器人上部署模型,Coral NPU 都可以帮助给您一个从模型到硅的开放路径。 在这里你可以开始:

- 阅读文件:访问开发者.google.com/做建筑指南、文档和教程。

- 探索代码:检查完整的32位RTL(包括里程碑4矩阵执行单元),v1.0 IREE/MLIR编译器堆栈,以及GitHub上的MPACT模拟器。

- 获得devkit:在DigiKey上订购今天普遍可用的突触珊瑚板SL,并在突触珊瑚板开发者页面上探索新的Astra SR200系列和珊瑚板SR.

我们要感谢对这项工作的核心贡献者和领导团队,特别是:比利·拉特利奇、本·劳里、德里克·周、摇摆弗卢尔、亚历克斯·范达姆、比拉尔汗、大卫·加奥、格雷戈里·基连、朱利安·穆林斯-布莱克、卡莱德·塔拉克德、伦东、马修·威尔逊、迈克尔·霍恩、穆拉里·维贾亚拉哈万、纳维·多达、罗曼·卢考、斯特凡·霍尔、托尔·耶雷米森、王延凯、玛尼亚·达萨里、阿基布·乌丁、迪维亚·潘迪亚、史蒂夫·贺、普德雅、普雷蒂·辛格、安东尼·法伦、汉斯·雷佩尔、埃斯梅拉尔达·卡德纳斯、伊沙·米什拉、凯·齐马、雷廷·帕里赫、汉纳·拜尔·鲁兴、泰勒·蒙哥马利、凯伊克、斯穆罗尔、辛迪、刘邦、邦菲·潘、阿莱克、格、杰夫·斯特林、罗宾·杜亚、高

本文由 AI图鉴自动抓取并翻译,版权归原作者所有;如需查看原文请点下方链接。

相关 AI 工具

相关免费羊毛

同源资讯

阅读原文(developers.googleblog.com)

标题、摘要与正文均来自该信源的公开页面,版权归原作者所有;本站自动聚合与翻译,仅作出处跳转。

← 返回 AI 资讯列表AI工具图鉴首页

返回 AI图鉴首页 · 提交工具 · 商务合作 · 关于本站 · 608 款 AI 工具分类导航 · 每日 AI 热门项目与动态