Google Mã nguồn mở mô hình gọi hàm nhẹ, triển khai cục bộ trên thiết bị biên không còn khó khăn nữa

【币界】Gần đây, Google đã phát hành một thứ thú vị - FunctionGemma. Nói một cách đơn giản, đó là việc tinh chỉnh mô hình nhẹ Gemma 3 270M thành mô hình gọi hàm, chủ yếu nhắm vào các tình huống cục bộ và ngoại tuyến.

Điểm nổi bật vẫn khá nhiều. Đầu tiên là đã thống nhất việc thực hiện trò chuyện và công cụ, không cần phải lăn tăn đi lại. Thứ hai, hỗ trợ điều chỉnh tùy chỉnh, dữ liệu từ chính phủ cho thấy độ chính xác của Mobile Actions đã tăng từ 58% lên 85%, mức tăng này khá tốt. Thêm vào đó, nó nhỏ gọn, có thể chạy trên các thiết bị biên như NVIDIA Jetson Nano, điện thoại di động và còn được tối ưu hóa đặc biệt cho JSON và đầu vào đa ngôn ngữ.

Khu vực sinh thái cũng khá hoàn thiện. Hugging Face, Kaggle đều có thể tải xuống, công cụ tinh chỉnh có sẵn là Transformers, Unsloth, Keras, NeMo, các giải pháp triển khai bao gồm LiteRT-LM, vLLM, MLX, Llama.cpp, Ollama, Vertex AI, LM Studio và một bộ hoàn chỉnh. Cũng đã ra mắt Edge Gallery để trình diễn các trường hợp sử dụng khác nhau, kèm theo bộ dữ liệu và mã Colab. Đối với các nhà phát triển muốn xây dựng một đại lý AI cục bộ, bộ công cụ này vẫn có sức hấp dẫn.