少即是多，10 亿参数“小巨人”xLAM-1B 在特定任务中击败 GPT-3.5 Turbo

【新智元前言】仅有 10 亿参数的 xLAM-1B 在一定任务时战胜了 LLM 主宰：OpenAI 的 GPT-3.5 Turbo 和 Anthropic 的 Claude-3 Haiku。上一个月刚发布的苹果智能模型仅有 30 亿参数，哪怕是阿尔特曼均表示，我们正处于大模型时代的发展后期。那样，小语言模型（SLM）将会是 AI 未来的发展吗？

大语言表达模型的 Scaling Law 被一些人视作「至理名言」，但另一些人却不以为然。前不久，港大马毅教授就公开宣称，「如果相信仅靠 Scaling Law 就可以做到 AGI，你应该改行了」。

确实有一些模型并不是单靠资源堆积，反而是凭着自主创新能力出类拔萃。证明了一条有别于 Scaling Law 的路 —— 少即是多。

xLAM-1B 就是这样，仅有 10 亿参数，可是在功能启用每日任务中的表现好于更大规模模型，包含 OpenAI 的 GPT-3.5 Turbo 和 Anthropic 的 Claude-3 Haiku。

它还被人们称为「Tiny Giant」—— 孵化器！

凭着远超预期的卓越性能，这种小模型也许会更改端侧 AI 的局面。

西方国家把这种以少胜多故事称作「David-versus-Goliath」（彼得应战歌利亚），这源于一个圣经故事 —— 彼得与巨人歌利亚作战时只是个孩子，他不像歌利亚那般衣着铠甲，他捡到一块石头，放到投石器里。把石块甩出来，打中歌利亚的额头，打倒了这些豪门。

时尚媒体 Venturebeat 在报道这种小模型时，就把之比喻成人工智能领域内的「彼得应战歌利亚」时时刻刻。

大家最关注的一点是，xLAM-1B 是如何做到的？

简而言之，也得益于在数据处理方法的创新方式。这背后精英团队研发了 APIGen，这是一套自动化流程，可以生成高品质、多元化且验证的数据集，用以练习 AI 模型在函数调用每日任务上的表现。

毕业论文详细地址：https://arxiv.org/pdf/2406.18518

xLAM-1B 最令人欣喜的取决于，它不占地儿。由于模型规模较小，所以适合设备上运用。这会对公司人工智能产生的影响是非常大的，它有可能使 AI 小助手作用更加强大、反映更敏感，而且可在云计算服务器比较有限智能手机或另一台上本地运作。

训练样本质量以及多元性是推动 xLAM-1B 强劲性能的关键所在。APIGen 全自动数据生成生产流水线运用 21 个不同类别的 3673 个可操作 API，对每一个数据值进行了严格的三阶段认证：文件格式查验、具体函数公式执行和词义认证。

各种各样 AI 模型在各个评价指标中的性能前后对比。GPT-4-0125-Preview 在总体精确性层面名列前茅，而 xLAM-7B 等比较小的模型在一定任务时展现出了竞争能力，这会对大模型一直表现更好这样的说法提出挑战

此方法代表着人工智能发展战略规划的巨大的转变。

虽然许多公司都在争相创建非常大的模型，但 xLAM-1B 所使用的方法说明，更智能的数据处理方法能够带来更有效、更高效的人工智能系统。

通过关注基础数据并非模型尺寸，xLAM-1B 提供了一个很好的事例，它可以用比竞争对手少得多的参数实行繁杂的每日任务。

这一跨越的潜在影响决不仅限 xLAM-1B 这一模型的发布。

根据证实比较小、更有效的模型可以和更多的模型市场竞争，xLAM-1B 已经考验人工智能行业主流思想，做为小语言模型（SLM）的国防军，和一统江湖大语言表达模型（LLM）宣战。

科技有限公司一直在竞相创建较大大语言表达模型。比如，在今年的 4 月，Meta 公司发布了有着 4000 亿参数的 Llama 3，它所包含的参数量是 2022 年 OpenAI 最初 ChatGPT 模型两倍。

虽然并未被证实，但 GPT-4 可能拥有约 1.8 万亿个参数。

但是，在过去的好多个月里，包含苹果和微软在内的一些最大的一个科技有限公司纷纷推出小语言模型。

这种模型大小仅是 LLM 相匹配模型的一小部分，但很多统计检验中，它在文本生成方面可以与 LLM 相提并论，乃至更胜一筹。

6 月 10 日，在苹果公司的全世界开发者大会上，发布拥有约 30 亿参数的苹果智能模型。

4 月底，微软发布了该 Phi-3 SLM 系列产品，有着 38 亿到 140 亿次参数。

在一系列检测中，微软公司最小模型 Phi-3-mini 与 OpenAI 的 GPT-3.5（1750 亿次参数）旗鼓相当，其表现也好于谷歌的 Gemma（70 亿次参数）。

测试通过向模型明确提出有关数学、哲学思想、法律法规等一系列问题，评估了模型对知识的理解能力。

更有趣的是，有着 70 亿次参数的微软公司 Phi-3-small 在很多统计检验上的表现都优于 GPT-3.5。

墨尔本沈阳工业大学科学研究语言表达模型 Aaron Müller 并不是诧异 SLM 在某些功能上能够与 LLM 一概而论。

Müller 说，「主要是因为一味提升参数总数并非提升模型性能的唯一方法，在更高质量的数据中进行练习也可以造成相似的结论。」

比如，微软的 Phi 模型要在通过调整的「教材品质」数据中训练出来的，这些数据的设计风格更为一致，比 LLM 一般依靠的来自互联网高度多元化文字比较容易学习培训。

一样，美国苹果公司同样在高品质、更加复杂的数据集上练习 SLM。

Müller 表明，更为关键的是，SLM 能使语言表达模型的应用大众化。

目前为止，人工智能的研发一直都集中在几个有实力布署高档基础设施建设大企业手上，但是其他小规模的公司与试验室则迫不得已付款高昂的费用来获得授权。

因为 SLM 还可以在价钱更低廉的硬件上轻轻松松练习，因而资源是有限的的人更容易得到 SLM。

SLM 的崛起恰逢 LLM 间的性能差别快速变小，科技有限公司希望在 Scaling Law 以外，探寻别的性能更新方式。

在 4 月份一次活动中，OpenAI 的首席执行官 Altman 表明，他坚信我们正处于大模型时代的发展后期。「我们以多种方式让模型变得越来越好。」

换句话说，通过精心策划的 SLM 向搭建可解释性人工智能更近了一步。

对于像苏黎世联邦理工大学电子信息科学研究者 Alex Warstadt 那样研究人员而言，SLM 还能给一个长期存在的关键问题提供了新的看法：幼儿是怎样用极少的文本数据信息就学会思维和语言思想的。

Warstadt 和包含沈阳工业大学 Müller 等在内的一批科研人员一起举办了 BabyLM 争霸赛，参赛选手需在小数据上提升语言表达模型练习。

SLM 不但有很有可能解开人们理解的新隐秘，还能促进改善生成式人工智能。

在幼儿 13 岁那年，已经接触到了约 1 亿次英语单词，在语言上比对话机器人更胜一筹，但是他们只能获得 0.01% 的信息。

Warstadt 说，尽管没有人知道是什么让人们这般高效率，但「在较小规模上进行高效的种人学习培训，当拓展到 LLM 经营规模时，可能带来很大的改善」。

xLAM-1B 展现出来的端侧 AI 发展潜力，很有可能意味着人工智能领域内的巨大的转变 —— 考验「模型越高越好」的思想，让人工智能在耗费有限的资源条件下也可以不断生长发育。

现阶段，因为中涉及模型规模和复杂，很多前沿的人工智能作用都依赖于云计算技术。

如果像 xLAM-1B 这种比较小模型也能提供相似的作用，就可以让更强的人工智能小助手立即在客户的机器上运行，进而提升响应时间，并处理与基于云的人工智能有关的隐私泄露。

伴随着工业物联网和物联网产品的猛增，对更强的设备中人工智能作用的需求也将猛增。

xLAM-1B 的成就可能激发新一轮的人工智能开发设计的浪潮，其关键是建立为特定每日任务量身打造的超高效率模型，而非「每样通」的佼佼者。

这可能带来一个更加分布式人工智能绿色生态系统，在这样一个绿色生态系统中，技术专业模型在设备网络中协调工作，可能给予更加强大、反映迅速、更容易保护个人隐私的人工智能服务项目。

这一发展趋势还能让人工智能水平民主建设，让比较小的公司与开发者无需很多云计算服务器就能建立繁杂的人工智能运用。

除此之外，它还能减少人工智能碳排放量，由于比较小的模型在练习和运行中所需要的电力能源要少得多。

xLAM-1B 给业内带来的影响有很多，但有一点是非常明显的：在人工智能的世界中，彼得刚证明了他不但可以与歌利亚市场竞争，还可能把它取代。人工智能的以后可能不再受大佬所操控云空间，而是你自己手上。

参考文献：

https://venturebeat.com/ai/salesforce-proves-less-is-more-xlam-1b-tiny-giant-beats-bigger-ai-models/

https://x.com/SFResearch/status/1807811770267971984?t=j_LOjgVPy41ZpjwkoXmRiQ s=19

本文来自微信公众平台：新智元（ID：AI_era）

广告宣传申明：文章正文所含的对外开放跳转页面（包含不限于网页链接、二维码、动态口令等方式），用以传递更多信息，节约优选时长，结论仅作参考，电脑系统网全部文章内容均包括本声明。