Permitir que o assistente de programação de IA controle diretamente o desktop: ferramenta CLI nativa Zig usecomputer de código aberto, compatível com Claude Code e Codex

De acordo com a monitorização do 1M AI News, o desenvolvedor de código aberto Tommaso De Rossi lançou a ferramenta de automação de desktop por linha de comando usecomputer, escrita em Zig, que gera ficheiros binários nativos, sem depender do runtime Node.js, permitindo que assistentes de programação AI (como Claude Code, Codex, OpenCode, etc.) controlem diretamente o rato, teclado e capturas de ecrã do desktop. Suporta macOS e Linux (X11, Wayland via XWayland).

O usecomputer oferece comandos CLI para captura de tela, movimento/clique/arrasto/rolagem do rato, entrada de teclado e composição de atalhos, com um sistema de mapeamento de coordenadas (coord-map) que converte automaticamente as coordenadas de pixel nas capturas de ecrã para coordenadas reais do monitor. A saída de captura de ecrã é redimensionada para que o lado mais longo tenha até 1568 pixels, para se adaptar ao contexto do modelo. A ferramenta também suporta o Protocolo Gráfico Kitty; após definir variáveis de ambiente, as capturas podem ser incorporadas diretamente no contexto do modelo, sem necessidade de leitura adicional de ficheiros.

De Rossi anteriormente desenvolveu a ferramenta de automação de navegador Playwriter (com mais de 3200 estrelas no GitHub). O usecomputer estende a automação de navegador para automação de desktop. O projeto foi separado do seu repositório único kimaki, oferecendo duas formas de utilização: CLI e biblioteca Node.js. O README inclui exemplos completos de integração com a ferramenta de computador OpenAI e o uso de computador da Anthropic.