Googleは、携帯電話で完全にオフラインで動作するAI Edge Galleryアプリを発表しました。

Googleは、インターネットやビッグテックサーバーとのデータ共有を必要とせずに、スマートフォンに直接配置できるAIアプリケーションであるAI Edge Galleryを5月31日からひっそりとリリースしたばかりです。

• オープンソースアプリ (Apache 2.0)はGitHubで入手可能で、Androidから始まり、iOSが近日中にリリースされます。
• Gemma 3nのようなAIモデルを完全にオフラインで実行し、画像分析からコードを書くまでを電話のハードウェアだけで処理します。 *主な機能には、AIチャット(trò chuyện)、Ask Image (phân ảnh)、Prompt Lab (tác bản)の書き換えなどの単一タスクが含まれます。 *ユーザーはHugging Faceからモデルをダウンロードできますが、.task形式に限定されており、競合他社ほどのサポートはありません。
• パフォーマンス: 小さなモデルが高速で滑らかに動作し、(~20 トークン/秒 CPU、100 トークン/秒以上 GPU)、GPT-3.5 初期モデルと同等の応答性を示します。
• 大きな利点: ネットワーク不要, 高いセキュリティ, 医師やジャーナリストのようにプライベートなデータを保持する必要があるユーザーに適しています。
• 制限: 大きなメモリ (大きなモデルは約4.4 GB)、コンテキストウィンドウの制限は4096トークンで、モデルの多様性が不足しており、GPUは時々CPUよりも精度が劣る。
• 中央集権的なサービスのように厳しい検閲を心配する必要はなく、簡単にjailbreakを使用できます。
• コストを節約できるのは、クラウド料金がかからず、携帯電話のリソースのみを使用するためです。

要するに、このアプリは、安全なAIが必要な人、ネットワークに接続されていない人、またはオフラインのAIモデルをテストする人に適していますが、速度とエクスペリエンスは最新のクラウドAIサービスと比較することはできません。