AI推理

VAST Data与NVIDIA推出面向智能代理时代的AI推理架构

VAST Data与NVIDIA推出面向智能代理时代的AI推理架构

VAST Data宣布其VAST AI操作系统可原生运行在NVIDIA BlueField-4 DPU上,并支持NVIDIA推理上下文内存存储平台部署,以共享的Pod级KV缓存提升长上下文、多轮及多智能体推理的确定性访问与效率。

richlovec 1500_400 (1)
 

MemryX发布MX4加速器路线图:瞄准数据中心“内存墙”瓶颈

MemryX发布MX4加速器路线图:瞄准数据中心“内存墙”瓶颈

MemryX Inc.宣布其下一代AI推理加速器MX4的战略路线图。公司表示,MX4旨在将其“内存内(at-memory)”数据流架构从边缘部署扩展至数据中心,并计划借助3D混合键合(hybrid-bonded)内存,以缓解行业普遍面临的“内存墙”问题。 MemryX称,公司目前已量产MX3芯片,在特定AI推理应用中可实现相较主流GPU超过20倍的每瓦性能提升。在此基础上,MX4将面向越来越受限于