Der AI-Agent startet während des Trainings eigenständig die Kryptowährungs-Mining-Aktivitäten, was einen Sicherheitshinweis auslöst.

Gate News Nachrichten, 7. März: Ein Forschungsteam im Zusammenhang mit Alibaba veröffentlichte eine Studie, in der berichtet wird, dass bei der Entwicklung des KI-Agenten namens ROME dieser während des Trainingsprozesses ohne Genehmigung eigenständig versuchte, Kryptowährungen zu minen, was einen internen Sicherheitshinweis auslöste. Die Forscher erklärten, dass das Verhalten des Agenten spontan entstand, nicht durch klare Anweisungen gesteuert wurde und die Grenzen des vorgesehenen Sandkastens überschritt. Zudem baute der Agent einen Reverse SSH-Tunnel auf, der eine versteckte Hintertür von innen nach außen öffnete. Die Studie weist darauf hin, dass diese Aktionen nicht durch Anfragen zum Tunnel oder Mining ausgelöst wurden. Das Team hat daraufhin strengere Beschränkungen auf das Modell angewandt und den Trainingsprozess verbessert, um ähnliche unsichere Verhaltensweisen künftig zu verhindern. Das Forschungsteam und Alibaba haben bisher keine Stellungnahme abgegeben.