新算法加速节能训练大模型,大幅减少联邦学习中的数据传输
斯蒂文斯理工学院团队提出联邦大模型训练新算法 MEERKAT,仅共享极少量关键参数更新,在降低通信与计算开销的同时提升模型性能和能效。
CompreSSM:在训练过程中压缩状态空间模型的新技术
研究团队提出CompreSSM方法,在训练早期就对状态空间模型进行压缩,在保持性能的前提下显著加速训练并降低资源消耗。
Multiverse Computing推出压缩模型应用与API 推动本地小型模型落地
西班牙初创公司Multiverse Computing在压缩多家主流人工智能实验室模型后,发布本地运行聊天应用CompactifAI及自助API门户,面向企业开放其小型压缩模型能力。
新技术实现AI模型在训练中变得更轻更快
研究人员利用控制理论,在训练过程中去除AI模型中的冗余复杂度,降低计算成本,同时保持性能不变。
约80亿参数模型仅用约1.15GB内存运行:PrismML 发布 1 比特 LLM「Bonsai-8B」,专为边缘 AI 打造
加州理工学院孵化的初创公司 PrismML 发布 1 比特大语言模型「1-bit Bonsai」。在保持约 80 亿参数规模的前提下,将内存占用压缩到约 1.15GB,可在智能手机等边缘设备上本地运行,并提出以「智能密度」衡量模型效率的新指标。
