Gemma 4 no llama.cpp finalmente está estável

Em 2 de abril, a Google lançou o Gemma 4, e no primeiro dia já tinha suporte para llama.cpp, mas com muitos bugs. Agora todos os problemas foram resolvidos
E2B, E4B, 26B MoE, 31B Dense
31B ocupa a 3ª posição no ranking da Arena AI, 26B fica em 6º
O grupo de modelos de código aberto mais forte
Use --chat-template-file para carregar o modelo intercalado
Recomenda-se ativar --cache-ram 2048
O comprimento do contexto depende da memória de vídeo
O melhor localmente no ano passado foi o Llama 3.1 70B quantizado, que funciona com dificuldade
Agora, o Gemma 4 31B Q5 roda suavemente no Mac Studio, próximo ao nível do GPT-4
Aplicações de IA que não dependem de API começam a ter viabilidade comercial. Os dados permanecem no próprio dispositivo, o custo é zero, a latência é extremamente baixa
Para uma empresa individual, o modelo local é a verdadeira infraestrutura. Enquanto os concorrentes pagam por API, seu custo marginal é a conta de eletricidade
Gemma 4 + llama.cpp = solução ótima para inferência local, pode ir para produção