Google 发布 Gemma 4 的 Multi-Token Prediction:推理最高提速 3 倍,轻量草稿模型先写、大模型并行验算
Google 为开源模型家族 Gemma 4 推出 Multi-Token Prediction(MTP)drafters。通过“轻量草稿模型先预测、多 Token 并行验证”的架构,在不牺牲输出质量和推理逻辑的前提下,将推理速度最高提升至 3 倍,适用于低延迟聊天、语音应用、智能代理和端侧应用等场景。
推理初创公司 Inferact 完成1.5亿美元种子轮融资 估值达8亿美元
vLLM 项目团队将开源工具商业化为初创公司 Inferact,并在种子轮融资中获得 Andreessen Horowitz 和 Lightspeed 领投,投后估值约8亿美元。
