AI領域的"百模大戰"：一場基於工程的競賽

上個月，AI業界上演了一場"動物之爭"。

一方是Meta推出的Llama（美洲駝）模型，因其開源特性深受開發者青睞。日本電氣公司NEC在研究Llama論文和代碼後，迅速開發出日語版ChatGPT，爲日本解決了AI技術瓶頸。

另一方是名爲Falcon（獵鷹）的大模型。今年5月，Falcon-40B問世，超越美洲駝登上了開源LLM排行榜榜首。

該排行榜由開源模型社區制作，提供了評估LLM能力的標準。排名基本在Llama和Falcon之間交替。

Llama 2發布後暫時領先，但9月初Falcon推出180B版本再次奪回榜首。

有趣的是，Falcon的開發者並非科技公司，而是阿聯酋首都的一家科技研究所。政府人士表示，他們參與這場競賽是爲了打破主導者的格局。

180B版本發布次日，阿聯酋AI部長入選《時代周刊》"AI領域最具影響力100人"榜單，與"AI教父"辛頓、OpenAI的阿爾特曼等同臺。

如今AI領域已進入百花齊放階段。有一定財力的國家和企業都在嘗試打造本土版ChatGPT。在海灣地區，沙特剛爲國內大學購買了3000多塊H100芯片用於LLM訓練。

有投資人曾吐槽：當年看不起互聯網的商業模式創新，覺得沒有壁壘。沒想到硬科技大模型創業，依然是百模大戰。

號稱高難度的硬科技，怎麼演變成了人人都能參與的競賽？

Transformer算法改變了遊戲規則

美國初創公司、中國科技巨頭、中東石油大亨能夠投身大模型研發，都要感謝那篇著名論文《Attention Is All You Need》。

2017年，8位谷歌科學家在這篇論文中公開了Transformer算法。這是AI歷史上被引用第三多的論文，Transformer的出現引發了此輪AI熱潮。

當前各種大模型,包括轟動一時的GPT系列,都建立在Transformer的基礎之上。

此前,"教會機器閱讀"一直是公認的學術難題。不同於圖像識別,人類閱讀時不僅關注當前詞句,還會結合上下文理解。早期神經網路難以處理長文本,無法理解上下文。

2014年,谷歌科學家伊利亞首次取得突破。他使用循環神經網路(RNN)處理自然語言,使谷歌翻譯性能大幅提升。RNN引入了"循環設計",讓神經網路具備了理解上下文的能力。

RNN的出現引發學術界熱議,Transformer作者沙澤爾也曾深入研究。但開發者們很快發現RNN存在嚴重缺陷:順序計算效率低下,難以處理大量參數。

從2015年開始,沙澤爾等人着手開發RNN替代品,最終成果便是Transformer。相比RNN,Transformer有兩大變革:

一是用位置編碼取代循環設計,實現並行計算,大幅提升訓練效率,使AI進入大模型時代。

二是進一步增強了理解上下文的能力。

Transformer一舉解決了多項技術難題,逐漸成爲NLP領域的主流方案。連RNN的創始人伊利亞也轉而投入Transformer陣營。

可以說,Transformer是當今所有大模型的基石,它讓大模型從理論研究變成了工程問題。

2019年,OpenAI基於Transformer開發的GPT-2引起學術界轟動。谷歌隨即推出了性能更強的Meena,僅靠增加訓練參數和算力就超越了GPT-2。Transformer作者沙澤爾對此深感震撼,寫下了"Meena吞噬世界"的備忘錄。

Transformer的問世,使學術界底層算法創新速度放緩。數據工程、算力規模、模型架構等工程要素,逐漸成爲AI競賽的關鍵。只要有一定技術能力的科技公司,都能開發出大模型。

計算機科學家吳恩達在斯坦福大學演講時指出:"AI是一系列工具的集合,包括監督學習、無監督學習、強化學習以及現在的生成式人工智能。這些都是通用技術,與電力和互聯網等其他通用技術類似。"

OpenAI仍是LLM的領跑者,但半導體分析機構認爲,GPT-4的優勢主要來自工程解決方案。如果開源,競爭對手很快就能復制。該分析師預計,其他大型科技公司可能很快就能開發出與GPT-4性能相當的大模型。

脆弱的護城河

目前,"百模大戰"已成爲客觀現實。

報告顯示,截至今年7月,中國大模型數量已達130個,超過美國的114個。各種神話傳說已經不夠國內科技公司取名用了。

除中美外,其他富裕國家也初步實現了"一國一模":日本和阿聯酋已有自己的模型,印度政府主導開發了Bhashini,韓國互聯網公司Naver推出了HyperClova X等。

這場景仿佛回到了互聯網初期,各路資本燒錢圈地的時代。

正如前文所述,Transformer讓大模型變成了純工程問題,只要有人有錢有算力,就能開發。但入場門檻雖低,並不意味着人人都能成爲AI時代的巨頭。

開頭提到的"動物之爭"就是典型案例:Falcon雖然暫時領先,但很難說對Meta造成了多大衝擊。

企業開源自身成果,既是分享科技紅利,也希望調動社會智慧。隨着各界不斷使用、改進Llama,Meta可以將這些成果應用到自己的產品中。

對開源大模型而言,活躍的開發者社群才是核心競爭力。

Meta早在2015年成立AI實驗室時就確定了開源路線。扎克伯格深諳"搞好羣衆關係"之道。

10月,Meta還專門舉辦了"AI版創作者激勵"活動:用Llama 2解決社會問題的開發者,有機會獲得50萬美元資助。

如今,Meta的Llama系列已成爲開源LLM的風向標。

截至10月初,某開源LLM排行榜前10名中,有8個基於Llama 2開發。僅在該平台上,使用Llama 2開源協議的LLM就超過1500個。

提高性能固然重要,但目前大多數LLM與GPT-4仍有明顯差距。

例如最近GPT-4以4.41分的成績登頂AgentBench測試榜首。AgentBench由多所大學聯合推出,用於評估LLM在多維度開放環境中的推理和決策能力。

測試結果顯示,第二名Claude僅2.77分,差距明顯。那些聲勢浩大的開源LLM,成績多在1分上下,還不到GPT-4的1/4。

要知道GPT-4發布於今年3月,這還是全球同行追趕大半年後的結果。造成這種差距的,是OpenAI高水平的科學家團隊和長期積累的LLM研究經驗。

也就是說,大模型的核心能力並非參數,而是生態建設(開源)或純粹的推理能力(閉源)。

隨着開源社區日益活躍,各LLM性能可能趨同,因爲大家使用相似的模型架構和數據集。

另一個更直觀的難題是:除了Midjourney,似乎還沒有哪個大模型能盈利。

價值的錨點

今年8月,一篇題爲"OpenAI可能會於2024年底破產"的文章引發關注。文章主旨是:OpenAI的燒錢速度過快。

文中提到,自開發ChatGPT以來,OpenAI虧損迅速擴大,2022年虧損約5.4億美元,只能等待微軟投資。

文章標題雖誇張,但道出了大模型提供商的現狀:成本與收入嚴重失衡。

過高的成本導致目前靠AI賺大錢的只有英偉達,頂多再加個博通。

據諮詢公司估計,英偉達今年二季度售出超30萬塊H100芯片。這是一款高效的AI芯片,全球科技公司和研究機構爭相購買。如果將這些H100疊在一起,重量相當於4.5架波音747。

英偉達業績隨之飆升,同比營收增長854%,震驚華爾街。目前H100在二手市場炒到4-5萬美元,而其成本僅約3000美元。

高昂的算力成本已成爲行業發展阻力。有機構測算:全球科技公司每年預計將花費2000億美元用於大模型基礎設施,而大模型每年最多產生750億美元收入,存在至少1250億美元缺口。

此外,除少數例外,多數軟件公司在巨額投入後還未找到盈利模式。即便是行業領頭羊微軟和Adobe也走得不太順暢。

微軟與OpenAI合作開發的AI代碼生成工具GitHub Copilot,雖每月收費10美元,但因設施成本,微軟反而每月虧損20美元,重度用戶甚至讓微軟虧損80美元。由此推測,定價30美元的Microsoft 365 Copilot可能虧損更多。

同樣,剛發布Firefly AI工具的Adobe也迅速推出積分系統,防止用戶過度使用導致公司虧損。用戶超出每月積分後,Adobe會降低服務速度。

要知道微軟和Adobe已是業務清晰、擁有大量付費用戶的軟件巨頭。而多數參數龐大的大模型,最大應用場景仍是聊天。

不可否認,沒有OpenAI和ChatGPT,這場AI革命可能不會發生。但目前,訓練大模型帶來的價值還有待商榷。

而且,隨着同質化競爭加劇和開源模型增多,單純的大模型供應商可能面臨更大壓力。

iPhone 4的成功不是因爲45nm制程的A4處理器,而是它能玩植物大戰僵屍和憤怒的小鳥。