AI的工程化革命：从Transformer到百模大战

上个月，AI界爆发了一场"动物战争"。一方是Meta推出的Llama系列模型，由于开源特性深受开发者欢迎。另一方是名为Falcon的大模型，由阿联酋的科技创新研究所开发。这两个模型在开源LLM排行榜上轮流刷榜。

有趣的是，阿联酋参与AI竞赛的目标是"颠覆核心玩家"。不久后，阿联酋人工智能部长入选了《时代周刊》评选的"AI领域最具影响力的100人"。

如今，AI领域已进入"百家争鸣"阶段。许多国家和企业都在打造自己的大语言模型。仅在海湾地区,已不止一个玩家投身其中。这种现象引发了一些业内人士的感慨,认为硬科技领域竟也出现了"百模大战"的局面。

Transformer吞噬世界

当前大模型的蓬勃发展,要归功于2017年发表的《Attention Is All You Need》论文。该论文提出的Transformer算法,成为了此轮AI热潮的催化剂。

在Transformer出现之前,"教机器读书"是一个公认的学术难题。早期的神经网络难以理解上下文语境。2014年,循环神经网络(RNN)的出现在一定程度上解决了这个问题,但其顺序计算的特性限制了处理大规模数据的能力。

Transformer通过位置编码和并行计算等创新,既提高了训练效率,又增强了理解上下文的能力。这使得AI从理论研究转向了工程实践,为大模型时代铺平了道路。

随着Transformer的普及,底层算法创新速度放缓,数据工程、算力规模等工程要素成为AI竞赛的关键。这也使得只要有一定技术实力的公司,都可以尝试开发大模型。

建在玻璃上的护城河

目前,"百模大战"已成为现实。据报道,截至今年7月,中国大模型数量已达130个,超过美国的114个。除中美之外,日本、印度、韩国等国家也纷纷推出了本土大模型。

然而,入场容易并不意味着人人都能成为AI时代的巨头。以Falcon和Llama的竞争为例,虽然Falcon在某些排名上领先,但很难说对Meta造成了多大冲击。对开源大模型而言,活跃的开发者社群才是核心竞争力。Meta凭借其社交媒体基因和开源策略,在这方面占据优势。

此外,大多数大模型在性能上仍与GPT-4有明显差距。在最近的AgentBench测试中,GPT-4以4.41分的成绩遥遥领先,第二名的Claude仅2.77分,而多数开源模型得分仅在1分左右。

这种差距源于顶级AI公司拥有的高水平科学家团队和长期积累的经验。因此,大模型的核心竞争力可能在于生态建设(开源路线)或纯粹的推理能力(闭源路线)。

价值的锚点

尽管AI热潮汹涌,但目前能从中盈利的企业并不多。高昂的算力成本成为行业发展的一大障碍。据估算,全球科技公司每年在大模型基础设施上的支出可能达2000亿美元,而大模型产生的收入最多750亿美元,存在巨大缺口。

即使是行业领军企业如微软和Adobe,也面临着AI服务定价和成本控制的挑战。对于大多数参数规模庞大的大模型来说,最主要的应用场景仍然停留在聊天功能上。

随着同质化竞争加剧和开源模型的普及,单纯依靠提供大模型服务的商业模式可能面临更大压力。未来,AI技术的真正价值或许更多体现在具体应用场景和解决实际问题的能力上。