AI的工程化革命：從Transformer到百模大戰

上個月，AI界爆發了一場"動物戰爭"。一方是Meta推出的Llama系列模型，由於開源特性深受開發者歡迎。另一方是名爲Falcon的大模型，由阿聯酋的科技創新研究所開發。這兩個模型在開源LLM排行榜上輪流刷榜。

有趣的是，阿聯酋參與AI競賽的目標是"顛覆核心玩家"。不久後，阿聯酋人工智能部長入選了《時代周刊》評選的"AI領域最具影響力的100人"。

如今，AI領域已進入"百家爭鳴"階段。許多國家和企業都在打造自己的大語言模型。僅在海灣地區,已不止一個玩家投身其中。這種現象引發了一些業內人士的感慨,認爲硬科技領域竟也出現了"百模大戰"的局面。

Transformer吞噬世界

當前大模型的蓬勃發展,要歸功於2017年發表的《Attention Is All You Need》論文。該論文提出的Transformer算法,成爲了此輪AI熱潮的催化劑。

在Transformer出現之前,"教機器讀書"是一個公認的學術難題。早期的神經網路難以理解上下文語境。2014年,循環神經網路(RNN)的出現在一定程度上解決了這個問題,但其順序計算的特性限制了處理大規模數據的能力。

Transformer通過位置編碼和並行計算等創新,既提高了訓練效率,又增強了理解上下文的能力。這使得AI從理論研究轉向了工程實踐,爲大模型時代鋪平了道路。

隨着Transformer的普及,底層算法創新速度放緩,數據工程、算力規模等工程要素成爲AI競賽的關鍵。這也使得只要有一定技術實力的公司,都可以嘗試開發大模型。

建在玻璃上的護城河

目前,"百模大戰"已成爲現實。據報道,截至今年7月,中國大模型數量已達130個,超過美國的114個。除中美之外,日本、印度、韓國等國家也紛紛推出了本土大模型。

然而,入場容易並不意味着人人都能成爲AI時代的巨頭。以Falcon和Llama的競爭爲例,雖然Falcon在某些排名上領先,但很難說對Meta造成了多大衝擊。對開源大模型而言,活躍的開發者社群才是核心競爭力。Meta憑藉其社交媒體基因和開源策略,在這方面佔據優勢。

此外,大多數大模型在性能上仍與GPT-4有明顯差距。在最近的AgentBench測試中,GPT-4以4.41分的成績遙遙領先,第二名的Claude僅2.77分,而多數開源模型得分僅在1分左右。

這種差距源於頂級AI公司擁有的高水平科學家團隊和長期積累的經驗。因此,大模型的核心競爭力可能在於生態建設(開源路線)或純粹的推理能力(閉源路線)。

價值的錨點

盡管AI熱潮洶湧,但目前能從中盈利的企業並不多。高昂的算力成本成爲行業發展的一大障礙。據估算,全球科技公司每年在大模型基礎設施上的支出可能達2000億美元,而大模型產生的收入最多750億美元,存在巨大缺口。

即使是行業領軍企業如微軟和Adobe,也面臨着AI服務定價和成本控制的挑戰。對於大多數參數規模龐大的大模型來說,最主要的應用場景仍然停留在聊天功能上。

隨着同質化競爭加劇和開源模型的普及,單純依靠提供大模型服務的商業模式可能面臨更大壓力。未來,AI技術的真正價值或許更多體現在具體應用場景和解決實際問題的能力上。