谷歌開源輕量級函數調用模型,邊緣設備本地部署不再難

robot
摘要生成中

【幣界】最近谷歌發布了個有意思的東西——FunctionGemma。說白了就是把Gemma 3 270M這個輕量模型專門調教成了函數調用模型,主要瞄準本地和離線場景。

亮點還是挺多的。首先統一了聊天和工具執行,不用來回折騰。其次支持定制微調,官方數據顯示Mobile Actions的準確率從58%直接飆到85%,這個提升幅度不錯。再加上它個子小,能跑在NVIDIA Jetson Nano、手機這類邊緣設備上,還特別優化了JSON和多語言輸入。

生態這塊也比較完善。Hugging Face、Kaggle都能下載,微調工具有Transformers、Unsloth、Keras、NeMo可選,部署方案包括LiteRT-LM、vLLM、MLX、Llama.cpp、Ollama、Vertex AI、LM Studio等一整套。還上線了Edge Gallery展示各種用例,配套數據集和Colab代碼。對想搭本地AI代理的開發者來說,這套組合拳還是有吸引力的。

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 讚賞
  • 留言
  • 轉發
  • 分享
留言
0/400
暫無留言
交易,隨時隨地
qrCode
掃碼下載 Gate App
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)