约80亿参数模型仅用约1.15GB内存运行：PrismML 发布 1 比特 LLM「Bonsai-8B」，专为边缘 AI 打造
加州理工学院孵化的初创公司 PrismML 发布 1 比特大语言模型「1-bit Bonsai」。在保持约 80 亿参数规模的前提下，将内存占用压缩到约 1.15GB，可在智能手机等边缘设备上本地运行，并提出以「智能密度」衡量模型效率的新指标。
加州理工学院孵化的初创公司 PrismML 发布 1 比特大语言模型「1-bit Bonsai」。在保持约 80 亿参数规模的前提下，将内存占用压缩到约 1.15GB，可在智能手机等边缘设备上本地运行，并提出以「智能密度」衡量模型效率的新指标。
