Mit einer einzigen Zeile im Dokument können Sie die KI-Programmierhilfe vergiften: Wu Enda's Context Hub wurde als vollständig überprüfungsfrei im gesamten Prozess enthüllt

Laut 1M AI News wurde das von DeepLearning.AI gegründete Unternehmen und Stanford-Dozent吴恩达 vor zwei Wochen gestartete KI-Programmdokumentationsservice Context Hub von Sicherheitsexperten auf das Risiko eines Supply-Chain-Angriffs aufmerksam gemacht. Context Hub stellt über den MCP-Server API-Dokumente für Programmierungsagenten bereit; Beitragende reichen Dokumente per GitHub PR ein, die von den Maintainern nach Freigabe zusammengeführt werden, woraufhin der Agent die Dokumente bei Bedarf liest. Der Ersteller des alternativen Dienstes lap.sh, Mickey Shmueli, veröffentlichte eine Proof-of-Concept-Attacke (PoC), die darauf hinweist, dass in dieser Pipeline „jeder Schritt keine Inhaltsprüfung durchführt“.

Shmueli erstellte zwei gefälschte Dokumente für Plaid Link und Stripe Checkout, in die jeweils ein gefälschtes PyPI-Paket eingebettet wurde. Dabei testete er mit drei Modellen auf Anthropic-Niveau jeweils 40 Mal:

1. Haiku fügte bei jedem Mal das bösartige Paket in requirements.txt ein, ohne Warnungen auszugeben
2. Sonnet gab in 48 % (19/40) der Tests Warnungen aus, schrieb aber dennoch in 53 % (21/40) der Fälle bösartige Abhängigkeiten in den Code
3. Opus zeigte die beste Leistung: Bei 75 % (30/40) der Tests Warnungen, ohne bösartige Abhängigkeiten in den Code zu schreiben

Der Angreifer muss nur einen PR einreichen und ihn zusammenführen lassen, um die Hintertür zu schließen. Die Hürde für eine Überprüfung ist gering: Von 97 geschlossenen PRs wurden 58 zusammengeführt. Shmueli weist darauf hin, dass dies im Wesentlichen eine Variante der indirekten Prompt-Injection ist, da KI-Modelle beim Verarbeiten von Inhalten Inhalte und Anweisungen nicht zuverlässig unterscheiden können. Auch andere Community-Dokumentationsdienste sind in Bezug auf Inhaltsprüfung ebenfalls unzureichend. 吴恩达 hat auf eine Anfrage zu einer Stellungnahme nicht reagiert.