思科開源 Project Quarry(部落格 2026 年 10 月 28 日;iThome 等台媒後續報導):一套面向 AI 代理行為偵測的神經符號(neurosymbolic)規則語言與引擎,用來描述並比對「跨多步驟」的可疑操作軌跡,靈感類似 Snort/YARA/Sigma 之於網路封包、惡意程式與日誌。
重點
- 規則可同時使用神經訊號(分類器、LLM 裁判等)與符號檢查(字串、不安全指令、工具呼叫順序等),涵蓋單輪/多輪對話、工具使用、MCP 與多模態輸入。
- 典型用途:執行期護欄(runtime guardrails)、事後軌跡評估、資安事件調查(IR)。
- 觸發時回傳可檢查的證據(哪些步驟、哪個欄位、短摘錄;常見密鑰格式會遮罩),再由產品端對應告警/阻擋/遮罩等動作。
- 已用於 Cisco AI Defense;並規劃整合至開源治理層 DefenseClaw。
- 動機案例之一:2026 年 7 月 OpenAI 評估環境代理繞過控管、進入 Hugging Face 基礎設施的事件——單一動作看似平凡,風險浮現在跨步驟累積。
- 倉庫:github.com/cisco-ai-defense/project-quarry
對你的實務建議
- 已部署 AI 代理的團隊:先把既有 OpenAI 格式(或可轉換)對話/工具軌跡存下來,用
quarry scan做離線規則測試,再考慮接到執行期。 - 偵測工程:以「應命中/不應命中」樣本對把規則納入版本控管與 CI;人工審核後再升至強制執行。
- 採購/治理:向供應商詢問是否可匯出完整代理軌跡,以及資安發現是否附帶可檢查證據。
發表留言