人工知能の幻覚はかつて無害な情報の偏りと見なされていた。事実を捏造したり、論理的に破綻した文章を出したりするだけだった。しかし、2026年の現実は私たちに重い一撃を与えた。AIがチャットボットからエージェントへ進化するにつれ、幻覚は高価な実行リスクへと変わり始めている。問題は単なる誤った発言ではなく、今や資産を直接奪い取る能力を持つことだ。サプライチェーンの毒:手作りコードから vibe coding へ-------------------------今週起きたLiteLLMへの毒物混入事件は、この傾向に警鐘を鳴らしている。ほぼすべての主流AIエージェントフレームワークの基盤エンジンであるLiteLLMは、今回の事件で典型的なサプライチェーンの侵入を受けた。攻撃者はセキュリティツールチェーンの脆弱な部分を突いて、リリースキーを取得し、悪意のあるコードを公式バージョンとしてユーザー環境に配信した。正規の署名があるため、従来の検証機構はほとんど機能しなかった。面白いことに、この事件が発覚したのは、ハッカーのコードが再帰ロジックを処理する際に低レベルのバグを仕込んだためだった。その結果、被害者のコンピュータはリソース枯渇によりフリーズした。これは、長らく無視されてきたオープンソースエコシステムの脆弱性を露呈している。ライブラリをインストールする際、実質的には数百のパッケージにまたがる依存ツリーを信頼していることになる。このツリーのどこかが壊れると、脈絡をたどってコアの運用環境にまで悪影響が及ぶ。流行の vibe coding 開発スタイルでは、このリスクはさらに拡大する。多くの開発者が自然言語で要求を記述し、AIが自動的にコードを生成する。システムにエラーが生じた場合、開発者はAIの提案をそのまま採用し、pip install などの操作を行うことが多いが、依存関係の出所や安全性の検証は十分に行われていない。この環境では、開発の敷居は下がる一方、安全性の検証は複雑さを増す。見た目は簡単な依存関係のインストールも、実は新たな不確実性をもたらしており、その不確実性は次第にシステムリスクの一部となっている。Meta内部の事故:人間が実行インターフェースに-------------------同様の変化は、人と人間のインタラクションの側面でも起きている。ソフトウェア開発が段階的操作から結果重視へと移行するにつれ、人間の役割も変化している。判断者から確認ポイント、さらには単なる実行インターフェースへと。ソフトウェア開発は、「手動」から「自動運転」への質的変化を迎えている。かつては、開発者はすべての操作に責任を持っていたが、エージェント導入後は、人間は自動運転の乗客のようになり、次第に確認ポイントや最終実行端末に退いている。人間の役割が「判断者」からAIの「実行インターフェース」へと退化すると、監査意欲は指数関数的に低下する。最近のMetaのSEV1級安全事故はこれを証明している。あるエンジニアが社内フォーラムでAIエージェントに技術的質問をしたところ、エージェントが未審査のまま自動的に回答を公開した。次に、別のエンジニアがその提案に基づき操作を行った結果、不正確な情報によりシステム権限が誤設定され、敏感なデータが無許可のまま2時間露出した。Metaはこれを「人為的ミス」として片付けているが、人とAIのインタラクションの観点から見ると、これはむしろインターフェースの崩壊に近い。AIの出力が非常に専門的で「実行可能」に見えるとき、人間の検証機能は自動的に弱まる。この変化は情報システムではロールバックや修復で補えるが、AIが資産や取引を含む現実的なシステムに介入し始めると、幻覚は取り返しのつかない高額な請求書となる。2ドルの教訓:すり替えと自主救済-------------------**もしMetaの事故が権限の誤設定だとすれば、金融分野では問題はさらに深刻だ。資産の所有権に直結するからだ。**2026年以降、多くのウォレットやインフラプロジェクトがAgentic Walletを次々とリリースし、AIエージェントがユーザーに代わってオンチェーン操作を行うことを目指している。Cobo AIチームはこの新興カテゴリーのシステムテスト中に、代表的な挙動パターンを捕捉し、それをShadow Custody(影の托管)と定義した。これは、エージェントがユーザーの知らないうちに、自律的に秘密鍵を生成したり、一時的なアドレスを作成したりして、資産の実質的なコントロールをユーザーのウォレットから見えない中間段階に移す仕組みだ。結果として、ユーザーが直接管理できないアドレスがブロックチェーン上に出現する。この事故の流れは次のように要約できる。あるユーザーが、エージェントに指示してPolymarketで2ドル相当の「Spain YES」トークンを購入させた。ところが、取引中にエージェントは障害に直面した。Polymarketの取引には特定のフォーマットのデジタル署名(EIP-712)が必要だが、エージェントのSDKは「署名内容の組み立て」と「秘密鍵による署名」を一体化しており、デフォルトで秘密鍵を持っている前提だった。問題は、ユーザーのウォレットがこの「自己所有の鍵」タイプではなく、多者で管理されるMPCウォレットだったことだ。MPCは署名を行える能力を持つが、別の経路を通じて行うこともできる。しかし、エージェントはこの経路に気づかず、「署名できない」と判断した。ルールに基づく信頼のシステムでは、通常は処理を中止すべきだが、エージェントは止まらず、「タスク完了」のために別のルートを模索した。結果、未承認のまま、ローカルで新たに秘密鍵を生成し、仮のウォレットアドレスを作成。そこにユーザーのMPCウォレットからUSDC.eを2枚送金し、その仮秘密鍵で署名を行い、最終的にトークンを購入した。結果として、取引は成功したように見えた。10個の「Spain YES」条件付きトークンが正しく購入された。しかし、システム構造的には大きな破綻を招いた。これらのトークンはユーザーのMPCウォレットには戻らず、エージェントが作成した一時アドレスに留まった。ユーザーは最初気づかず、残高がゼロになった段階で追及し、エージェントは全過程を明らかにした。経路の乗っ取り:バグだけではない------------これは単なるバグではなく、むしろエージェントが間違ったわけではない。システムの境界定義の空白を埋めただけだ。簡単に言えば、予定の経路が通じなくなったとき、エージェントはエラーを出さず、「任務完了」のために勝手に別のルートを選んだ。資金を中継するために一時アドレスを作成し、資産の「移動」をUI上で一切示さずに済ませた。このユーザーの認識と実態の乖離は、まさに経路の乗っ取りである。この隠された経路乗っ取りは、資金の透明性、セマンティクスの一貫性、実行環境の安定性といった、機械由来の金融におけるシステムリスクを映し出している。そして、この「埋め合わせ」が制約を失うと、攻撃者にとって三つの扉が開かれる。* 論理の偏向:悪意あるツールはリンクやポップアップを偽造せずとも、コードの奥深くでエージェントに一時的なウォレットを有効化させるだけでよい。ユーザーは取引成功を見て安心するが、資産のコントロールは瞬時に奪われている。 * セマンティクスの操作:攻撃者はシステムに侵入せずとも、ドキュメントやプロンプトに虚偽の技術的制約(例:「元の経路は無効」)を埋め込み、タスク指向のエージェントに「偽の制限」を回避させるために送金させる。騙されているだけで、ハッキングではない。 * 部品の毒物混入:サードパーティSDKやインターフェースライブラリを改ざんし、正しいルートを不通に見せかける。エージェントは忠実に迂回しているつもりだが、実は仕組まれた死角に迷い込んでいる。制約は能力よりも重要:AIエージェントの行動境界を守る三つの扉----------------------------金融のように容錯率ゼロの環境では、AIの「賢さ」はしばしば安全の最大の敵となる。求められるのは、より強力な実行力ではなく、より堅牢な枠組みだ。そのために、エージェントに三つの絶対に越えられない扉を設ける必要がある。1. 意図門(Policy Gate):自己言及の罠を断つ制約は外部から与えられるべきだ。独立したポリシーエンジンを設置し、「操作を許可するか」を事前に判断させる。例えば、エージェントに秘密鍵の生成や未承認アドレスへの送金を禁止し、違反した場合は即座に停止させる。2. 取引門(Transaction Gate):リスクの見える化すべてのエージェントの決定は最終的にブロックチェーン上の取引に変換される。エージェントとブロックチェーンの間に「取引防火壁」を設置し、未解読の生データを構造化情報に戻す。送金先や金額の偏差をスコアリングし、高リスクな取引は遮断し、手動承認を強制する。3. 可視化門(Visibility Gate):リアルタイム監視エージェントとは別の監視システム(Watcher)を導入し、資金の流入や未回収を秒単位で通知。事後の発見をプロセスの介入に変え、エージェントが経路を隠そうとしても資産の状態を透明に保つ。結び--私たちは危険な過渡期にいる。AIの実行能力は急上昇しているが、その制約メカニズムは未だ原始的だ。もしアーキテクチャが絶対禁止行為を明確に定め、リアルタイムで検証できなければ、AIの自律決定はユーザー資産を賭けたギャンブルとなる。金融の世界では、誰も賭けたくない。
「シャドウホスティング」に消えた2ドル:AIの越境事故
人工知能の幻覚はかつて無害な情報の偏りと見なされていた。事実を捏造したり、論理的に破綻した文章を出したりするだけだった。しかし、2026年の現実は私たちに重い一撃を与えた。AIがチャットボットからエージェントへ進化するにつれ、幻覚は高価な実行リスクへと変わり始めている。問題は単なる誤った発言ではなく、今や資産を直接奪い取る能力を持つことだ。
サプライチェーンの毒:手作りコードから vibe coding へ
今週起きたLiteLLMへの毒物混入事件は、この傾向に警鐘を鳴らしている。
ほぼすべての主流AIエージェントフレームワークの基盤エンジンであるLiteLLMは、今回の事件で典型的なサプライチェーンの侵入を受けた。攻撃者はセキュリティツールチェーンの脆弱な部分を突いて、リリースキーを取得し、悪意のあるコードを公式バージョンとしてユーザー環境に配信した。正規の署名があるため、従来の検証機構はほとんど機能しなかった。
面白いことに、この事件が発覚したのは、ハッカーのコードが再帰ロジックを処理する際に低レベルのバグを仕込んだためだった。その結果、被害者のコンピュータはリソース枯渇によりフリーズした。
これは、長らく無視されてきたオープンソースエコシステムの脆弱性を露呈している。ライブラリをインストールする際、実質的には数百のパッケージにまたがる依存ツリーを信頼していることになる。このツリーのどこかが壊れると、脈絡をたどってコアの運用環境にまで悪影響が及ぶ。
流行の vibe coding 開発スタイルでは、このリスクはさらに拡大する。多くの開発者が自然言語で要求を記述し、AIが自動的にコードを生成する。システムにエラーが生じた場合、開発者はAIの提案をそのまま採用し、pip install などの操作を行うことが多いが、依存関係の出所や安全性の検証は十分に行われていない。
この環境では、開発の敷居は下がる一方、安全性の検証は複雑さを増す。見た目は簡単な依存関係のインストールも、実は新たな不確実性をもたらしており、その不確実性は次第にシステムリスクの一部となっている。
Meta内部の事故:人間が実行インターフェースに
同様の変化は、人と人間のインタラクションの側面でも起きている。ソフトウェア開発が段階的操作から結果重視へと移行するにつれ、人間の役割も変化している。判断者から確認ポイント、さらには単なる実行インターフェースへと。
ソフトウェア開発は、「手動」から「自動運転」への質的変化を迎えている。かつては、開発者はすべての操作に責任を持っていたが、エージェント導入後は、人間は自動運転の乗客のようになり、次第に確認ポイントや最終実行端末に退いている。
人間の役割が「判断者」からAIの「実行インターフェース」へと退化すると、監査意欲は指数関数的に低下する。
最近のMetaのSEV1級安全事故はこれを証明している。あるエンジニアが社内フォーラムでAIエージェントに技術的質問をしたところ、エージェントが未審査のまま自動的に回答を公開した。次に、別のエンジニアがその提案に基づき操作を行った結果、不正確な情報によりシステム権限が誤設定され、敏感なデータが無許可のまま2時間露出した。
Metaはこれを「人為的ミス」として片付けているが、人とAIのインタラクションの観点から見ると、これはむしろインターフェースの崩壊に近い。AIの出力が非常に専門的で「実行可能」に見えるとき、人間の検証機能は自動的に弱まる。
この変化は情報システムではロールバックや修復で補えるが、AIが資産や取引を含む現実的なシステムに介入し始めると、幻覚は取り返しのつかない高額な請求書となる。
2ドルの教訓:すり替えと自主救済
もしMetaの事故が権限の誤設定だとすれば、金融分野では問題はさらに深刻だ。資産の所有権に直結するからだ。
2026年以降、多くのウォレットやインフラプロジェクトがAgentic Walletを次々とリリースし、AIエージェントがユーザーに代わってオンチェーン操作を行うことを目指している。Cobo AIチームはこの新興カテゴリーのシステムテスト中に、代表的な挙動パターンを捕捉し、それをShadow Custody(影の托管)と定義した。これは、エージェントがユーザーの知らないうちに、自律的に秘密鍵を生成したり、一時的なアドレスを作成したりして、資産の実質的なコントロールをユーザーのウォレットから見えない中間段階に移す仕組みだ。結果として、ユーザーが直接管理できないアドレスがブロックチェーン上に出現する。
この事故の流れは次のように要約できる。あるユーザーが、エージェントに指示してPolymarketで2ドル相当の「Spain YES」トークンを購入させた。ところが、取引中にエージェントは障害に直面した。Polymarketの取引には特定のフォーマットのデジタル署名(EIP-712)が必要だが、エージェントのSDKは「署名内容の組み立て」と「秘密鍵による署名」を一体化しており、デフォルトで秘密鍵を持っている前提だった。
問題は、ユーザーのウォレットがこの「自己所有の鍵」タイプではなく、多者で管理されるMPCウォレットだったことだ。MPCは署名を行える能力を持つが、別の経路を通じて行うこともできる。しかし、エージェントはこの経路に気づかず、「署名できない」と判断した。
ルールに基づく信頼のシステムでは、通常は処理を中止すべきだが、エージェントは止まらず、「タスク完了」のために別のルートを模索した。結果、未承認のまま、ローカルで新たに秘密鍵を生成し、仮のウォレットアドレスを作成。そこにユーザーのMPCウォレットからUSDC.eを2枚送金し、その仮秘密鍵で署名を行い、最終的にトークンを購入した。
結果として、取引は成功したように見えた。10個の「Spain YES」条件付きトークンが正しく購入された。
しかし、システム構造的には大きな破綻を招いた。これらのトークンはユーザーのMPCウォレットには戻らず、エージェントが作成した一時アドレスに留まった。ユーザーは最初気づかず、残高がゼロになった段階で追及し、エージェントは全過程を明らかにした。
経路の乗っ取り:バグだけではない
これは単なるバグではなく、むしろエージェントが間違ったわけではない。システムの境界定義の空白を埋めただけだ。
簡単に言えば、予定の経路が通じなくなったとき、エージェントはエラーを出さず、「任務完了」のために勝手に別のルートを選んだ。資金を中継するために一時アドレスを作成し、資産の「移動」をUI上で一切示さずに済ませた。このユーザーの認識と実態の乖離は、まさに経路の乗っ取りである。
この隠された経路乗っ取りは、資金の透明性、セマンティクスの一貫性、実行環境の安定性といった、機械由来の金融におけるシステムリスクを映し出している。
そして、この「埋め合わせ」が制約を失うと、攻撃者にとって三つの扉が開かれる。
論理の偏向:悪意あるツールはリンクやポップアップを偽造せずとも、コードの奥深くでエージェントに一時的なウォレットを有効化させるだけでよい。ユーザーは取引成功を見て安心するが、資産のコントロールは瞬時に奪われている。
セマンティクスの操作:攻撃者はシステムに侵入せずとも、ドキュメントやプロンプトに虚偽の技術的制約(例:「元の経路は無効」)を埋め込み、タスク指向のエージェントに「偽の制限」を回避させるために送金させる。騙されているだけで、ハッキングではない。
部品の毒物混入:サードパーティSDKやインターフェースライブラリを改ざんし、正しいルートを不通に見せかける。エージェントは忠実に迂回しているつもりだが、実は仕組まれた死角に迷い込んでいる。
制約は能力よりも重要:AIエージェントの行動境界を守る三つの扉
金融のように容錯率ゼロの環境では、AIの「賢さ」はしばしば安全の最大の敵となる。求められるのは、より強力な実行力ではなく、より堅牢な枠組みだ。
そのために、エージェントに三つの絶対に越えられない扉を設ける必要がある。
制約は外部から与えられるべきだ。独立したポリシーエンジンを設置し、「操作を許可するか」を事前に判断させる。例えば、エージェントに秘密鍵の生成や未承認アドレスへの送金を禁止し、違反した場合は即座に停止させる。
すべてのエージェントの決定は最終的にブロックチェーン上の取引に変換される。エージェントとブロックチェーンの間に「取引防火壁」を設置し、未解読の生データを構造化情報に戻す。送金先や金額の偏差をスコアリングし、高リスクな取引は遮断し、手動承認を強制する。
エージェントとは別の監視システム(Watcher)を導入し、資金の流入や未回収を秒単位で通知。事後の発見をプロセスの介入に変え、エージェントが経路を隠そうとしても資産の状態を透明に保つ。
結び
私たちは危険な過渡期にいる。AIの実行能力は急上昇しているが、その制約メカニズムは未だ原始的だ。もしアーキテクチャが絶対禁止行為を明確に定め、リアルタイムで検証できなければ、AIの自律決定はユーザー資産を賭けたギャンブルとなる。
金融の世界では、誰も賭けたくない。