[LLM] Anthropic 開源 FlashProve：用 zkSNARK 為大型 MoE 推論做「可驗證推論」，Llama 4 Maverick 單卡 H100 約 110 tok/s 產證

Anthropic 於 2026 年 11 月 2 日發表研究進度並開源 FlashProve：以 zkSNARK 實作「可驗證推論」（provable inference）原型，讓使用者／稽核方在不知模型權重的情況下，驗證某次回覆確實由所宣稱的模型產生。

重點數據與釋出內容

• 示範模型：Llama 4 Maverick（約 400B 參數 MoE、4-bit）；單張 H100 產證約 110 tokens/秒；每 1,024-token 請求證明大小約 19 MB；GPU 時間約為 vLLM 推論的 70–95 倍。
• 授權：Apache 2.0；含 prover、C++ 驗證器、Lean 驗證器與頂層安全性質證明等。
• 應用想像：竄改偵測、AI 節奏／合規舉證、文本來源證明、僅允許核准模型上線等。
• 系統採離線承諾權重＋線上（事後批次）產證；證明隱藏權重，但不隱藏架構。

限制（研究原型）

• 證明的是整數 greedy decoding 版本；浮點或採樣解碼可能不完全對齊。
• 目前情境長度上限約 1,024 tokens。
• 快速可執行碼與 Lean 規格之間未保證形式化完全一致；側信道等不在本次保證範圍。
• 官方定位為中間進度分享，供社群改進，而非完成品。

效能數字與系統描述主要來自 Anthropic 研究部落格；開源組件與技術報告亦隨文釋出。若需重現基準，請依官方說明自行取得 Llama 4 權重並驗證。

對你的實務建議

• 研究／密碼學／AI 治理團隊：可追蹤 FlashProve 作為「推論完整性」的軟體路徑，與 TEE 等硬體方案互補評估。
• 一般企業採購：短期仍以供應商稽核、日誌與合約為主；可把「是否規劃可驗證推論」列入長期 RFI 問題。
• 開發者：Apache 2.0 便於實驗，但成本與情境長度限制仍高，不宜直接當生產防護唯一手段。

資料來源

• Anthropic Research：Progress on provable inference for large language models（FlashProve）

註：細部效能與限制以 Anthropic 該篇研究文為主；獨立科技媒體完整複測若後續出現，建議再交叉比對。部分陳述屬單一來源官方研究發布。