vLLM 开源项目的创始团队宣布,将这一广泛使用的大模型推理工具商业化,成立新公司 Inferact,并完成1.5亿美元种子轮融资,公司估值约为8亿美元。
本轮融资由 Andreessen Horowitz(a16z)和 Lightspeed Venture Partners 联合领投。此次交易也印证了此前 TechCrunch 关于 vLLM 获得 a16z 资本支持的相关报道。
知情人士透露,Inferact 的亮相与另一项同源技术 SGLang 的商业化路径类似。SGLang 近期以 RadixArk 之名启动公司化运作,并获得由 Accel 领投的融资,估值约为4亿美元。TechCrunch 于本周三就此进行了报道。

在人工智能产业中,关注重点正从模型训练环节逐步转向模型在具体应用中的部署与推理环节。市场参与者认为,vLLM 和 SGLang 等技术能够在推理阶段提升运行效率并降低成本,因此正受到风险投资机构的密切关注。
公开信息显示,vLLM 和 SGLang 均于2023年在加州大学伯克利分校孵化,二者同出自 Databricks 联合创始人 Ion Stoica 领导的实验室。
Inferact 首席执行官、vLLM 项目的原始创始人之一 Simon Mo 此前在接受彭博社采访时表示,vLLM 的现有用户包括亚马逊的云服务以及其购物应用。
发表评论
登录后才可评论。
去登录
