# AI分野の「百モデル戦争」：エンジニアリングに基づく競争先月、AI業界では「動物の争い」が繰り広げられました。一方はMetaが発表したLlama（ラマ）モデルで、そのオープンソース特性から開発者に人気があります。日本電気株式会社（NEC）はLlamaの論文とコードを研究した後、迅速に日本語版ChatGPTを開発し、日本のAI技術のボトルネックを解決しました。もう一方はFalcon（ファルコン）という名前の大規模モデルです。今年の5月にFalcon-40Bが登場し、アルパカを超えてオープンソースLLMランキングの首位に立ちました。このランキングはオープンソースモデルコミュニティによって作成され、LLMの能力を評価する基準を提供しています。ランキングは基本的にLlamaとFalconの間で交互に変動しています。Llama 2の発表後は一時的にリードしていましたが、9月初めにFalconが180Bバージョンを発表し、再び首位を奪回しました。興味深いことに、Falconの開発者はテクノロジー企業ではなく、アラブ首長国連邦の首都にあるテクノロジー研究所です。政府関係者は、彼らがこの競争に参加したのは、支配者の枠組みを打破するためだと述べています。180Bバージョンのリリース翌日、アラブ首長国連邦のAI大臣が『タイム』誌の「AI分野で最も影響力のある100人」に選ばれ、「AIの父」と呼ばれるヒントンやOpenAIのアルトマンと同じ舞台に立った。現在、AI分野は百花繚乱の段階に突入しています。一定の財力を持つ国や企業は、地元版のChatGPTを作ろうとしています。湾岸地域では、サウジアラビアが国内の大学に3000枚以上のH100チップを購入し、LLMのトレーニングに使用しています。ある投資家が不満を漏らした：当時、インターネットのビジネスモデルの革新を軽視し、バリアがないと思っていた。まさか、ハードテクノロジーの大規模モデルの起業が、依然として百のモデルの戦争になるとは。高難度のハードテクノロジーと称されるものが、なぜ誰もが参加できる競技に変わったのか？# トランスフォーマーアルゴリズムがゲームのルールを変えたアメリカのスタートアップ、中国のテクノロジー大手、中東の石油王が大規模モデルの研究開発に取り組めるのは、あの有名な論文『Attention Is All You Need』のおかげである。2017年、8人のGoogleの科学者がこの論文でTransformerアルゴリズムを公開しました。これはAIの歴史の中で3番目に引用された論文であり、Transformerの出現はこのAIブームを引き起こしました。現在のさまざまな大モデル、特に話題となったGPTシリーズは、Transformerを基盤として構築されています。これまで、「機械に読解させること」は公認の学術的難問でした。画像認識とは異なり、人間は読書中に現在の単語や文だけでなく、文脈をも考慮して理解します。初期の神経ネットワークは長文を処理するのが難しく、文脈を理解することができませんでした。2014年、Googleの科学者イリヤが初めての突破を達成しました。彼は循環神経ネットワーク(RNN)を使用して自然言語を処理し、Google翻訳の性能を大幅に向上させました。RNNは「循環設計」を導入し、神経ネットワークに文脈を理解する能力を与えました。RNNの出現は学術界での熱い議論を引き起こし、Transformerの著者シャーゼルも深く研究していました。しかし、開発者たちはすぐにRNNの深刻な欠陥を発見しました：順次計算の効率が低く、大量のパラメータを処理するのが難しいのです。2015年から、シャゼルらはRNNの代替品の開発に着手し、最終的な成果がTransformerです。RNNと比較して、Transformerには2つの大きな革新があります：一つは位置エンコーディングをループ設計の代わりに使用し、並列計算を実現することで、トレーニング効率を大幅に向上させ、AIを大規模モデルの時代に導入することです。次に、文脈を理解する能力をさらに強化しました。Transformerは多くの技術的課題を一挙に解決し、次第にNLP分野の主流なソリューションとなりました。RNNの創始者であるイリヤもTransformer陣営に転向しました。言い換えれば、Transformerは現在のすべての大規模モデルの基盤であり、これにより大規模モデルは理論研究からエンジニアリングの問題へと変わりました。2019年、OpenAIがTransformerを基に開発したGPT-2は学術界に衝撃を与えました。その後、Googleは性能の高いMeenaを発表し、トレーニングパラメータと計算能力を増やすことでGPT-2を超えました。Transformerの作者であるシャザールはこれに深く衝撃を受け、「Meenaが世界を飲み込む」というメモを残しました。Transformerの登場は、学術界の基盤アルゴリズムの革新速度を遅らせました。データエンジニアリング、計算能力の規模、モデルアーキテクチャなどのエンジニアリング要素が、AI競争の鍵となっています。一定の技術力を持つテクノロジー企業であれば、大規模モデルを開発することができます。コンピュータサイエンティストのアンドリュー・ンはスタンフォード大学での講演で次のように指摘しました："AIは、教師あり学習、教師なし学習、強化学習、そして現在の生成的人工知能を含む一連のツールの集合です。これらはすべて汎用技術であり、電力やインターネットなどの他の汎用技術と類似しています。"OpenAIは依然としてLLMのリーダーですが、半導体分析機関は、GPT-4の利点は主にエンジニアリングソリューションから来ていると考えています。もしオープンソース化されれば、競合他社は迅速にコピーできるでしょう。このアナリストは、他の大手テクノロジー企業がすぐにGPT-4と同等の性能を持つ大規模モデルを開発できると予測しています。# 壊れやすい堀現在、「バイモ戦争」は客観的現実となっています。報告によると、今年7月までに中国の大規模モデルの数は130に達し、アメリカの114を超えました。さまざまな神話や伝説は、国内のテクノロジー企業の名前を付けるにはもはや不十分です。中国とアメリカを除いて、他の裕福な国々も初歩的に「一国一モデル」を実現しました：日本とアラブ首長国連邦はそれぞれのモデルを持ち、インド政府はBhashiniの開発を主導し、韓国のインターネット企業NaverはHyperClova Xを発表しました。この光景はまるでインターネット初期、各種の資本が金を使って土地を囲い込んでいた時代に戻ったかのようです。前述の通り、Transformerは大規模モデルを純粋なエンジニアリングの問題に変えました。お金と計算能力さえあれば、誰でも開発できます。しかし、参入障壁が低いからといって、誰もがAI時代の巨頭になれるわけではありません。冒頭で言及された「動物の争い」は典型的なケースです：Falconは一時的にリードしていますが、Metaにどれほどの影響を与えたかは難しいところです。企業は自らの成果をオープンソース化することで、技術の恩恵を共有し、社会の知恵を活用することを期待しています。さまざまな分野でLlamaが継続的に使用・改善されることで、Metaはこれらの成果を自社の製品に応用できるようになります。オープンソースの大規模モデルにとって、活発な開発者コミュニティこそが核心的な競争力です。Metaは2015年にAIラボを設立した際、オープンソースの方針を決定しました。ザッカーバーグは「良好な公共関係を築く」方法を深く理解しています。10月、Metaは「AI版クリエイターインセンティブ」イベントを特別に開催しました：Llama 2を使って社会問題を解決する開発者は、50万ドルの助成金を得るチャンスがあります。現在、MetaのLlamaシリーズはオープンソースLLMの指標となっています。10月初の時点で、あるオープンソースLLMランキングの上位10位の中で、8つがLlama 2に基づいて開発されている。 このプラットフォーム上では、Llama 2オープンソースライセンスを使用したLLMが1500を超えている。性能向上は確かに重要ですが、現在ほとんどのLLMはGPT-4と依然として明らかな差があります。例えば、最近GPT-4は4.41点の成績でAgentBenchテストのトップに立ちました。AgentBenchは複数の大学が共同で立ち上げ、LLMの多次元オープン環境における推論と意思決定能力を評価するためのものです。テスト結果は、2位のクロードがわずか2.77点であることを示しており、差が明らかです。派手なオープンソースのLLMは、成績が1点前後で、GPT-4の1/4にも達していません。GPT-4が今年の3月に発表されたことを知っておくべきです。これは、世界の他の競合が半年以上追いついてきた結果です。この差を生んでいるのは、OpenAIの高いレベルの科学者チームと長年のLLM研究の経験です。つまり、大規模モデルの核心能力はパラメータではなく、エコシステムの構築(オープンソース)または純粋な推論能力(クローズドソース)です。オープンソースコミュニティがますます活発になるにつれて、各LLMの性能は類似のモデルアーキテクチャとデータセットを使用するため、収束する可能性があります。もう一つのより直感的な難題は、Midjourneyを除いて、他の大規模モデルは利益を上げられていないようだ。# 価値のアンカー今年8月、一篇題為「OpenAIは2024年末に破産する可能性がある」という記事が注目を集めた。記事の主旨は、OpenAIの資金消費の速度があまりにも速いということだ。文中では、ChatGPTの開発以来、OpenAIの損失が急速に拡大しており、2022年の損失は約5.4億ドルに達していて、Microsoftの投資を待つしかない。記事のタイトルは誇張されていますが、大規模モデルの提供者の現状を伝えています: コストと収入のバランスが深刻に崩れています。高すぎるコストのため、現在AIで大金を稼いでいるのはNVIDIAだけで、せいぜいBroadcomが加わる程度です。コンサルティング会社の推計によると、NVIDIAは今年第2四半期に30万枚以上のH100チップを販売しました。これは効率的なAIチップで、世界中のテクノロジー企業や研究機関がこぞって購入しています。これらのH100を重ねると、重さはボーイング747が4.5機分に相当します。NVIDIAの業績が急上昇し、前年同期比で売上高が854%増加し、ウォール街を驚かせています。現在H100は中古市場で4万から5万ドルで取引されており、そのコストは約3000ドルです。高い計算力コストは業界の発展の妨げとなっています。ある機関の試算によれば、世界のテクノロジー企業は毎年2000億ドルを大規模モデルのインフラに費やすと予測しており、大規模モデルは年間最大750億ドルの収益を生むため、少なくとも1250億ドルのギャップが存在します。さらに、少数の例外を除いて、ほとんどのソフトウェア会社は巨額の投資を行った後も収益モデルを見つけていません。業界のリーダーであるマイクロソフトやアドビでさえ、うまく進んでいない状況です。マイクロソフトとOpenAIが共同開発したAIコード生成ツールGitHub Copilotは、月額10ドルの料金がかかりますが、施設コストのためにマイクロソフトは逆に毎月20ドルの赤字を出しています。ヘビーユーザーの場合、マイクロソフトは80ドルの赤字を出すことさえあります。これに基づくと、30ドルのMicrosoft 365 Copilotはさらに多くの赤字を出す可能性があります。同様に、最近Firefly AIツールを発表したAdobeも、ユーザーの過度な使用による会社の損失を防ぐためにポイントシステムを迅速に導入しました。ユーザーが毎月のポイントを超えた場合、Adobeはサービスの速度を低下させます。マイクロソフトとAdobeは、すでに明確なビジネスを持ち、大量の有料ユーザーを抱えるソフトウェアの巨人であることを知っておく必要があります。一方で、多くのパラメータを持つ大規模モデルの最大の応用シーンは、依然としてチャットです。否定できないのは、OpenAIとChatGPTがなければ、このAI革命は起こらなかったかもしれないということです。しかし、現時点では、大型モデルの訓練による価値はまだ議論の余地があります。さらに、同質化競争が激化し、オープンソースモデルが増えるにつれて、単純な大規模モデルのサプライヤーはより大きな圧力に直面する可能性があります。iPhone 4の成功は45nmプロセスのA4プロセッサーによるものではなく、植物対ゾンビやアンガーバードをプレイできることによるものである。
AI百モデル大戦:エンジニア主導の競技と商業化の課題
AI分野の「百モデル戦争」：エンジニアリングに基づく競争
先月、AI業界では「動物の争い」が繰り広げられました。
一方はMetaが発表したLlama（ラマ）モデルで、そのオープンソース特性から開発者に人気があります。日本電気株式会社（NEC）はLlamaの論文とコードを研究した後、迅速に日本語版ChatGPTを開発し、日本のAI技術のボトルネックを解決しました。
もう一方はFalcon（ファルコン）という名前の大規模モデルです。今年の5月にFalcon-40Bが登場し、アルパカを超えてオープンソースLLMランキングの首位に立ちました。
このランキングはオープンソースモデルコミュニティによって作成され、LLMの能力を評価する基準を提供しています。ランキングは基本的にLlamaとFalconの間で交互に変動しています。
Llama 2の発表後は一時的にリードしていましたが、9月初めにFalconが180Bバージョンを発表し、再び首位を奪回しました。
興味深いことに、Falconの開発者はテクノロジー企業ではなく、アラブ首長国連邦の首都にあるテクノロジー研究所です。政府関係者は、彼らがこの競争に参加したのは、支配者の枠組みを打破するためだと述べています。
180Bバージョンのリリース翌日、アラブ首長国連邦のAI大臣が『タイム』誌の「AI分野で最も影響力のある100人」に選ばれ、「AIの父」と呼ばれるヒントンやOpenAIのアルトマンと同じ舞台に立った。
現在、AI分野は百花繚乱の段階に突入しています。一定の財力を持つ国や企業は、地元版のChatGPTを作ろうとしています。湾岸地域では、サウジアラビアが国内の大学に3000枚以上のH100チップを購入し、LLMのトレーニングに使用しています。
ある投資家が不満を漏らした：当時、インターネットのビジネスモデルの革新を軽視し、バリアがないと思っていた。まさか、ハードテクノロジーの大規模モデルの起業が、依然として百のモデルの戦争になるとは。
高難度のハードテクノロジーと称されるものが、なぜ誰もが参加できる競技に変わったのか？
トランスフォーマーアルゴリズムがゲームのルールを変えた
アメリカのスタートアップ、中国のテクノロジー大手、中東の石油王が大規模モデルの研究開発に取り組めるのは、あの有名な論文『Attention Is All You Need』のおかげである。
2017年、8人のGoogleの科学者がこの論文でTransformerアルゴリズムを公開しました。これはAIの歴史の中で3番目に引用された論文であり、Transformerの出現はこのAIブームを引き起こしました。
現在のさまざまな大モデル、特に話題となったGPTシリーズは、Transformerを基盤として構築されています。
これまで、「機械に読解させること」は公認の学術的難問でした。画像認識とは異なり、人間は読書中に現在の単語や文だけでなく、文脈をも考慮して理解します。初期の神経ネットワークは長文を処理するのが難しく、文脈を理解することができませんでした。
2014年、Googleの科学者イリヤが初めての突破を達成しました。彼は循環神経ネットワーク(RNN)を使用して自然言語を処理し、Google翻訳の性能を大幅に向上させました。RNNは「循環設計」を導入し、神経ネットワークに文脈を理解する能力を与えました。
RNNの出現は学術界での熱い議論を引き起こし、Transformerの著者シャーゼルも深く研究していました。しかし、開発者たちはすぐにRNNの深刻な欠陥を発見しました：順次計算の効率が低く、大量のパラメータを処理するのが難しいのです。
2015年から、シャゼルらはRNNの代替品の開発に着手し、最終的な成果がTransformerです。RNNと比較して、Transformerには2つの大きな革新があります：
一つは位置エンコーディングをループ設計の代わりに使用し、並列計算を実現することで、トレーニング効率を大幅に向上させ、AIを大規模モデルの時代に導入することです。
次に、文脈を理解する能力をさらに強化しました。
Transformerは多くの技術的課題を一挙に解決し、次第にNLP分野の主流なソリューションとなりました。RNNの創始者であるイリヤもTransformer陣営に転向しました。
言い換えれば、Transformerは現在のすべての大規模モデルの基盤であり、これにより大規模モデルは理論研究からエンジニアリングの問題へと変わりました。
2019年、OpenAIがTransformerを基に開発したGPT-2は学術界に衝撃を与えました。その後、Googleは性能の高いMeenaを発表し、トレーニングパラメータと計算能力を増やすことでGPT-2を超えました。Transformerの作者であるシャザールはこれに深く衝撃を受け、「Meenaが世界を飲み込む」というメモを残しました。
Transformerの登場は、学術界の基盤アルゴリズムの革新速度を遅らせました。データエンジニアリング、計算能力の規模、モデルアーキテクチャなどのエンジニアリング要素が、AI競争の鍵となっています。一定の技術力を持つテクノロジー企業であれば、大規模モデルを開発することができます。
コンピュータサイエンティストのアンドリュー・ンはスタンフォード大学での講演で次のように指摘しました："AIは、教師あり学習、教師なし学習、強化学習、そして現在の生成的人工知能を含む一連のツールの集合です。これらはすべて汎用技術であり、電力やインターネットなどの他の汎用技術と類似しています。"
OpenAIは依然としてLLMのリーダーですが、半導体分析機関は、GPT-4の利点は主にエンジニアリングソリューションから来ていると考えています。もしオープンソース化されれば、競合他社は迅速にコピーできるでしょう。このアナリストは、他の大手テクノロジー企業がすぐにGPT-4と同等の性能を持つ大規模モデルを開発できると予測しています。
壊れやすい堀
現在、「バイモ戦争」は客観的現実となっています。
報告によると、今年7月までに中国の大規模モデルの数は130に達し、アメリカの114を超えました。さまざまな神話や伝説は、国内のテクノロジー企業の名前を付けるにはもはや不十分です。
中国とアメリカを除いて、他の裕福な国々も初歩的に「一国一モデル」を実現しました：日本とアラブ首長国連邦はそれぞれのモデルを持ち、インド政府はBhashiniの開発を主導し、韓国のインターネット企業NaverはHyperClova Xを発表しました。
この光景はまるでインターネット初期、各種の資本が金を使って土地を囲い込んでいた時代に戻ったかのようです。
前述の通り、Transformerは大規模モデルを純粋なエンジニアリングの問題に変えました。お金と計算能力さえあれば、誰でも開発できます。しかし、参入障壁が低いからといって、誰もがAI時代の巨頭になれるわけではありません。
冒頭で言及された「動物の争い」は典型的なケースです：Falconは一時的にリードしていますが、Metaにどれほどの影響を与えたかは難しいところです。
企業は自らの成果をオープンソース化することで、技術の恩恵を共有し、社会の知恵を活用することを期待しています。さまざまな分野でLlamaが継続的に使用・改善されることで、Metaはこれらの成果を自社の製品に応用できるようになります。
オープンソースの大規模モデルにとって、活発な開発者コミュニティこそが核心的な競争力です。
Metaは2015年にAIラボを設立した際、オープンソースの方針を決定しました。ザッカーバーグは「良好な公共関係を築く」方法を深く理解しています。
10月、Metaは「AI版クリエイターインセンティブ」イベントを特別に開催しました：Llama 2を使って社会問題を解決する開発者は、50万ドルの助成金を得るチャンスがあります。
現在、MetaのLlamaシリーズはオープンソースLLMの指標となっています。
10月初の時点で、あるオープンソースLLMランキングの上位10位の中で、8つがLlama 2に基づいて開発されている。 このプラットフォーム上では、Llama 2オープンソースライセンスを使用したLLMが1500を超えている。
性能向上は確かに重要ですが、現在ほとんどのLLMはGPT-4と依然として明らかな差があります。
例えば、最近GPT-4は4.41点の成績でAgentBenchテストのトップに立ちました。AgentBenchは複数の大学が共同で立ち上げ、LLMの多次元オープン環境における推論と意思決定能力を評価するためのものです。
テスト結果は、2位のクロードがわずか2.77点であることを示しており、差が明らかです。派手なオープンソースのLLMは、成績が1点前後で、GPT-4の1/4にも達していません。
GPT-4が今年の3月に発表されたことを知っておくべきです。これは、世界の他の競合が半年以上追いついてきた結果です。この差を生んでいるのは、OpenAIの高いレベルの科学者チームと長年のLLM研究の経験です。
つまり、大規模モデルの核心能力はパラメータではなく、エコシステムの構築(オープンソース)または純粋な推論能力(クローズドソース)です。
オープンソースコミュニティがますます活発になるにつれて、各LLMの性能は類似のモデルアーキテクチャとデータセットを使用するため、収束する可能性があります。
もう一つのより直感的な難題は、Midjourneyを除いて、他の大規模モデルは利益を上げられていないようだ。
価値のアンカー
今年8月、一篇題為「OpenAIは2024年末に破産する可能性がある」という記事が注目を集めた。記事の主旨は、OpenAIの資金消費の速度があまりにも速いということだ。
文中では、ChatGPTの開発以来、OpenAIの損失が急速に拡大しており、2022年の損失は約5.4億ドルに達していて、Microsoftの投資を待つしかない。
記事のタイトルは誇張されていますが、大規模モデルの提供者の現状を伝えています: コストと収入のバランスが深刻に崩れています。
高すぎるコストのため、現在AIで大金を稼いでいるのはNVIDIAだけで、せいぜいBroadcomが加わる程度です。
コンサルティング会社の推計によると、NVIDIAは今年第2四半期に30万枚以上のH100チップを販売しました。これは効率的なAIチップで、世界中のテクノロジー企業や研究機関がこぞって購入しています。これらのH100を重ねると、重さはボーイング747が4.5機分に相当します。
NVIDIAの業績が急上昇し、前年同期比で売上高が854%増加し、ウォール街を驚かせています。現在H100は中古市場で4万から5万ドルで取引されており、そのコストは約3000ドルです。
高い計算力コストは業界の発展の妨げとなっています。ある機関の試算によれば、世界のテクノロジー企業は毎年2000億ドルを大規模モデルのインフラに費やすと予測しており、大規模モデルは年間最大750億ドルの収益を生むため、少なくとも1250億ドルのギャップが存在します。
さらに、少数の例外を除いて、ほとんどのソフトウェア会社は巨額の投資を行った後も収益モデルを見つけていません。業界のリーダーであるマイクロソフトやアドビでさえ、うまく進んでいない状況です。
マイクロソフトとOpenAIが共同開発したAIコード生成ツールGitHub Copilotは、月額10ドルの料金がかかりますが、施設コストのためにマイクロソフトは逆に毎月20ドルの赤字を出しています。ヘビーユーザーの場合、マイクロソフトは80ドルの赤字を出すことさえあります。これに基づくと、30ドルのMicrosoft 365 Copilotはさらに多くの赤字を出す可能性があります。
同様に、最近Firefly AIツールを発表したAdobeも、ユーザーの過度な使用による会社の損失を防ぐためにポイントシステムを迅速に導入しました。ユーザーが毎月のポイントを超えた場合、Adobeはサービスの速度を低下させます。
マイクロソフトとAdobeは、すでに明確なビジネスを持ち、大量の有料ユーザーを抱えるソフトウェアの巨人であることを知っておく必要があります。一方で、多くのパラメータを持つ大規模モデルの最大の応用シーンは、依然としてチャットです。
否定できないのは、OpenAIとChatGPTがなければ、このAI革命は起こらなかったかもしれないということです。しかし、現時点では、大型モデルの訓練による価値はまだ議論の余地があります。
さらに、同質化競争が激化し、オープンソースモデルが増えるにつれて、単純な大規模モデルのサプライヤーはより大きな圧力に直面する可能性があります。
iPhone 4の成功は45nmプロセスのA4プロセッサーによるものではなく、植物対ゾンビやアンガーバードをプレイできることによるものである。