集中智能：新型盆栽AI模型家族實現超越數據中心的高性能AI

簡介

PrismML 從隱身階段出來，推出 Bonsai，這是一款體積很小的開源 AI 模型，能在其規模之內展現出強大的智慧，並且可在消費級硬體上運行。

PrismML 是一家位於加州的 AI 研究實驗室，已揭示一個新的 1-bit Bonsai 模型家族，目標是將先進智慧直接提供給人們生活與工作的裝置，而不是把 AI 限制在大型資料中心中

PrismML 表示，其研究源自在 Caltech 進行的工作，重點在於最大化「智慧密度」，即衡量一個模型在每單位尺寸與部署足跡下能提供的實用能力。這種做法與傳統 AI 開發形成對比；傳統開發通常著重於在犧牲可部署性與效率的代價下，提升模型大小與參數數量。

該實驗室的旗艦模型是 1-bit Bonsai 8B，採用所有元件的完整 1-bit 設計，包含嵌入（embeddings）、注意力層（attention layers）、MLP 層以及輸出頭（output head），且沒有更高精度的後備層。該模型大小為 1.15 GB，與同一參數級別中可比的 16-bit 模型相比約小 14 倍；然而 PrismML 報告稱，它在標準基準測試中仍維持具競爭力的表現。模型尺寸的縮小使其能部署在 iPhone、iPad 與 Mac 等裝置上，以及標準 GPU 上，能比傳統的大型模型提供更快的推論速度與更低的記憶體用量。

PrismML 強調，這項突破不僅關於效能，也關於 AI 能在哪裡運作。更小且高效率的模型可帶來更低延遲的應用；透過裝置端運算增強隱私；並在離線或受頻寬限制的環境中維持持續運作的功能

潛在應用包括持續運行的裝置端代理（persistent on-device agents）、即時機器人（real-time robotics）、企業端助理（enterprise copilots）以及為安全或資源受限場景而設計的 AI 原生工具。PrismML 主張，集中式智慧擴大了 AI 的設計空間，讓系統更具回應性、更可靠，且能更廣泛地部署。

擴展 Bonsai：更小的 1-Bit 模型將效率與智慧延伸到邊緣裝置

除了 Bonsai 8B 之外，PrismML 也推出了更小的模型 1-bit Bonsai 4B 與 1.7B，它們將相同的效率與智慧密度原則延伸到更小的模型規模。早期展示顯示，整個產品線具備高吞吐量、能源效率，且在基準測試上達到具競爭力的準確度。該實驗室也指出，這些模型能在現有的商用硬體上有效運行，並且針對 1-bit 推論進行最佳化的未來裝置，可能帶來更大的效率提升。

PrismML 的發布代表 AI 開發更廣泛的轉向：強調集中式智慧與可攜性，而不是單純追求規模。該實驗室構想未來先進 AI 能在雲端與邊緣裝置之間無縫運作，讓智慧型系統在任何需要的地方都能使用。1-bit Bonsai 模型採用 Apache 2.0 授權，支援在 Apple 裝置、NVIDIA GPU 以及各種其他平台上部署。