Semidynamics获SK海力士战略投资 加速内存中心AI推理芯片布局

Semidynamics周三宣布,已获得全球领先内存制造商SK海力士的战略投资。Semidynamics称,此次投资体现双方共识:在下一代AI推理基础设施中,决定经济性的关键不只在计算能力,内存架构同样重要,而“每个token的成本”是衡量指标之一。

Semidynamics表示,随着大型语言模型规模扩大,以及多轮代理任务需要在更长推理会话中维持持续上下文,系统性能瓶颈正更多来自内存容量与数据移动,而非纯算力。公司称,其方案可提供高于传统基于HBM的推理系统的内存容量,从而支持更大的模型、更大的键值缓存(KV-cache)以及更长上下文,并使单机架可承载更多用户,进而降低每个token成本。

总部位于巴塞罗那的Semidynamics称,公司从零开始围绕“内存墙”设计其专有开源RISC-V架构处理器,并将这一理念作为设计核心。该架构集成公司专有的Gazzillion®内存子系统技术,并配套不断扩展的专利组合,目标是减少当前AI基础设施中的数据移动瓶颈。公司介绍,Gazzillion®属于其专有的延迟容忍技术,贯穿处理器多个部分,包括核心、张量单元及内存子系统,以在传统AI加速器因内存访问时间较长而停滞时维持系统效率。

在制造进展方面,Semidynamics表示,公司近期与台积电合作完成3纳米硅片流片,这是其首个3纳米流片项目;公司称,这也是欧洲半导体公司在该工艺节点上少数成功案例之一,标志其在交付高性能AI推理处理器及垂直整合系统路线图上迈出一步。

Semidynamics称,此次投资也反映出处理器与先进内存技术之间进行架构协同的重要性。双方将探索共同优化Semidynamics架构与下一代内存技术的机会,以支持日益严苛的AI推理工作负载。

公司表示,其内存中心架构面向对现有AI基础设施压力较大的工作负载,包括执行多步骤推理的代理推理系统。这类系统需要在长上下文中保持状态会话并持续运行,而非处理离散请求;Semidynamics称,这些工作负载本质上是数据移动问题,通过优化数据流动可缓解带宽与延迟瓶颈,从而影响大规模token成本。

Semidynamics创始人兼CEO Roger Espasa在声明中表示,SK海力士的投资反映了AI基础设施的发展方向,即内存架构与计算同等重要;他称,此次合作强化了公司市场地位,并将推动其推理平台走向市场。

SK海力士美国风险投资高级副总裁Heejin Chung表示,AI工作负载本质上受内存限制,行业在架构级解决方案上的投资不足;他称,Semidynamics是少数从根本原则出发围绕这一限制构建系统的公司之一。

Semidynamics表示,资金将用于支持未来流片及系统级开发,包括机架平台建设。公司称,迄今已从欧洲及西班牙创新项目获得4500万欧元非稀释性资金,用于支持其AI硅片及基础设施技术开发,并正构建覆盖芯片、板卡及机架级系统的全栈AI基础设施平台,面向数据中心规模的推理部署。


分享:


发表评论

登录后才可评论。 去登录