Meta内部备忘录:全新Avocado成公司迄今“最强能力”大模型

摘要:

据《信息》杂志获取的一份内部备忘录显示,元宇宙平台公司(Meta Platforms)对其新成立 AI 团队即将推出的首款核心大模型,态度愈发乐观。这份日期为1 月 20 日的备忘录由 Meta 超级智能实验室(Meta Superintelligence Labs)产品经理梅根・傅(Megan Fu)发布,其中明确指出,下一代大语言模型Avocado(牛油果)已完成预训练,是 “Meta 迄今能力最强的预训练基础模型”。预训练是 AI 模型开发的初始阶段,模型需接触海量数据,学习通用知识、模式与关联关系。

左为王士立(Alexandr Wang)与马克・扎克伯格
左为王士立(Alexandr Wang)与马克・扎克伯格

备忘录称,Avocado 的性能已超越当前最优的开源基础模型。(基础模型指仅完成预训练、尚未通过 “后训练” 阶段优化的大语言模型;后训练阶段会通过人类反馈强化学习等技术,针对特定任务对模型进行精调。)尽管 Avocado 尚未完成后训练,但其在知识储备、视觉感知及多语言能力上,已与顶尖的后训练模型持平。

在 Avocado 正式公开发布前,Meta 内部对其 AI 模型进展的乐观评估,能否经受住外界检验,目前尚无定论。但考虑到 Meta 过去一年在 AI 领域的坎坷经历,即便在内部过度宣传这一进展,对公司而言也存在风险。

2025 年,Meta 旗下上一代大语言模型Llama 4的表现未达预期,迫使公司推迟其发布时间。最终 Meta 推出 Llama 4 的两个版本 ——Maverick(游侠)与Scout(侦察兵),但部分开发者对其实际表现感到失望。

这些挫折直接推动了 Meta 整体 AI 业务的大规模重组。重组包括:去年 6 月 Meta 以143 亿美元收购 Scale AI,该初创公司 CEO王士立(Alexandr Wang)随之加入 Meta,负责统领全新的 AI 综合组织 ——Meta 超级智能实验室。此后,Meta 向 AI 业务投入的资金创历史纪录:公司近期预测,2026 年包含 AI 算力成本在内的资本支出,将较 2025 年增长约 73%,达到1150 亿至 1350 亿美元。

Meta 在新模型上取得的技术进展,或有助于控制相关成本。去年 12 月中旬的另一份备忘录显示,在文本相关任务中,Avocado 的计算效率较 Maverick提升 10 倍,较 Behemoth提升超 100 倍。Behemoth 是 Meta 去年推迟发布、至今未公开的 Llama 4 版本。

Meta 表示,通过获取更高质量的数据、投入模型基础设施建设,以及采用确定性训练(该方法可确保模型在相同训练方式下输出稳定结果),成功实现了效率突破。这一效率提升有助于降低 AI 研发的能耗与成本 —— 在 Meta 全力追赶竞争对手的当下,这是至关重要的因素。

Meta 内部备忘录的积极基调,与近期高管的公开表态相呼应。上月 Meta 首席技术官安德鲁・博斯沃思(Andrew Bosworth)在瑞士达沃斯世界经济论坛的新闻发布会上,也暗示了类似的效率提升,并称 Meta 的 AI 模型 “表现非常出色”。博斯沃思还表示,要开发出面向消费者的可用模型,需要进行大量的后训练工作。

与此同时,在上周的财报电话会议上,Meta 首席执行官 马克・扎克伯格(Mark Zuckerberg) 谈及 Meta 超级智能实验室计划推出的首批大模型时表示:“我预计我们的首批模型会表现不错,但更重要的是,它们将展现出我们快速的发展轨迹。我还预计,今年我们将持续推出新模型,稳步推进技术前沿。”

查看评论