OpenAI 收購 AI 安全公司 Promptfoo:將安全測試和紅隊演練升級為 Frontier 原生功能

動區BlockTempo

OpenAI 宣佈收購 AI 安全平台 Promptfoo,將其技術整合至 Frontier 平台,為企業部署 AI Agent 提供自動化紅隊測試與漏洞防護。
(前情提要:Sam Altman 卑鄙?剛挺被五角大廈封殺的 Anthropic,轉身喊 OpenAI 拿下美國防部合約)
(背景補充:華爾街日報爆料:川普斬首伊朗哈米尼靠 Claude AI 定位,OpenAI 全面接管五角大廈系統 )

O

penAI 於昨(9)日宣佈收購 AI 安全平台 Promptfoo,這家成立於 2024 年的新創公司專精於大型語言模型(LLM)的漏洞測試與紅隊演練(一種模擬真實駭客行為的資安防禦測試)。

隨著 AI 從對話機器人演變成具備執行權限的「AI 同事」,如何防止這些代理人被越獄或誤傳敏感數據,已成為企業大規模導入的核心挑戰。

AI Agent 時代的安全風險

根據 OpenAI 官方公告,Promptfoo 的技術將深度整合至 2026 年 2 月剛推出的企業平台 OpenAI Frontier,為在 Frontier 上建立代理商的企業提供支援:

  • 平台內建安全測試: 自動化安全測試和紅隊演練功能將成為 Frontier 平台的原生功能,幫助企業識別和修復諸如快速注入、越獄、資料外洩、工具濫用和超越策略的代理行為等風險。
  • 將安全性和評估融入開發工作流程: Frontier 將與識別、調查和修復代理風險所需的工作流程深度集成,使安全性成為企業 AI 系統開發和運作的核心部分。
  • 監督和問責: 整合報告和可追溯性將有助於組織記錄測試、監控隨時間的變化,並滿足人工智慧日益增長的治理、風險和合規性要求。

根據公告,目前 Promptfoo 的開源工具已被超過 25% 的財星 500 強企業採用,擁有 35 萬名開發者用戶。這家僅 23 人的團隊曾獲得 2,300 萬美元融資,在 2025 年 7 月的最近一輪募資後估值達 8,600 萬美元。

Promptfoo 創辦人 Ian Webster 與 Michael D’Angelo 將帶領全體團隊加入 OpenAI。

安全與承諾成為關注重點

簡單來說,AI Agent 目前已經逐漸從「查資料的大學生」變成了「拿著你印章辦事的特助」。

這種轉變讓風險從資訊外洩升級為行動失控。當我們賦予 AI 執行任務的自主權,最危險的不再是它說錯話,而是它在理解意圖時產生偏差,或被駭客透過隱藏指令誤導,進而做出錯誤的匯款、刪除關鍵檔案等不可逆的行為。

在多個 AI 互相協作的環境下,一個代理人的邏輯錯誤更可能引發災難性的連鎖反應。

因此,Agent 時代的安全核心不在於封鎖資訊,而在於「監控行為」。我們必須像管理員工一樣,為 AI 設定明確的權限邊界與複核機制。唯有讓 AI 的動作變得分秒可查、權限精準受控,這份強大的自動化能力才不會反過來成為企業最難防守的後門。

Disclaimer: The information on this page may come from third parties and does not represent the views or opinions of Gate. The content displayed on this page is for reference only and does not constitute any financial, investment, or legal advice. Gate does not guarantee the accuracy or completeness of the information and shall not be liable for any losses arising from the use of this information. Virtual asset investments carry high risks and are subject to significant price volatility. You may lose all of your invested principal. Please fully understand the relevant risks and make prudent decisions based on your own financial situation and risk tolerance. For details, please refer to Disclaimer.
Commento
0/400
Nessun commento