自主AI智能體：自主性譜系、安全閘門與生產風險
自主AI智能體是一類無需在每個步驟都獲得人工確認即可感知環境、形成目標、生成多步驟計畫並執行工具呼叫的軟體系統，其自主性涵蓋從L0（需要人工批准的單工具執行）到L4（重寫自身目標的自我修改系統）的完整譜系。歐盟AI法和Anthropic的責任擴展政策均將自主性級別視為部署許可條件。OpenAI Operator（2025年1月）是首個商業L2部署；Anthropic Computer Use在OSWorld上達到14.9%，而人類基準為72.36%。
自主AI智能體是無需在每個步驟都獲得人工確認即可感知環境、形成目標、生成多步驟計畫、執行工具呼叫並根據結果調整行為的軟體系統。其自主性涵蓋從L0（需要人工批准的單工具執行）到L4（重寫自身目標和程式碼的自我修改系統）的完整譜系，每個自主性級別都需要相應更嚴格的安全閘門、監督機制和合規要求。
自主性級別一覽
| 級別 | 名稱 | 自主性 | 需要人工確認 | 已商業部署（2026年） |
|---|---|---|---|---|
| L0 | 工具執行 | 單工具、固定輸入 | 每個操作 | ✅ 是 |
| L1 | 反應式智能體 | 事件觸發、固定範圍 | 僅範圍定義 | ✅ 是 |
| L2 | 目標導向 | 多步驟自主執行 | 執行前+不可逆操作 | ✅ 是（Operator、OpenLegion） |
| L3 | 自我規劃 | 生成並修訂自身計畫 | 僅高層目標 | ✅ 有限（研究+企業） |
| L4 | 自我修改 | 重寫自身目標、程式碼、智能體 | 設計上無 | ❌ 否 |
自主性譜系：L0至L4
L0：工具執行，每步均需人工確認
L0是基準級別：每次工具呼叫在執行前都需要明確的人工確認。GitHub Copilot的程式碼建議、聊天機器人中的計算機工具、IDE外掛中的搜尋按鈕均屬於L0。人工查看建議操作後批准或拒絕，未經批准不執行任何操作。
L0智能體不受OWASP LLM06:2025（過度代理）或歐盟AI法自主決策高風險分類的約束。L0是需要為每個操作記錄人工意圖審計軌跡的合規場景的正確部署模型。
局限性：L0不具擴展性。智能體系統的價值主張從L1開始體現。
L1：反應式智能體，以固定範圍回應事件
L1智能體在預定義的固定範圍內自主行動。當CPU超過90%時向Slack發送訊息的告警機器人屬於L1。L1安全閘門：範圍定義必須是結構性的，不能透過提示注入覆蓋。正確實現：僅註冊智能體被允許使用的工具。
L2：目標導向智能體，自主多步驟執行
L2智能體接收目標並自主執行多步驟計畫，無需在每步確認。OpenAI Operator（2025年1月）是首個商業L2部署。L2是複合錯誤成為主要風險的自主性級別：在20步任務中每步精度為95%的智能體正確完成所有20步的概率為36%（0.95^20）。
OpenLegion的預設自主性級別：帶有網格監督者的L2。 需要五個安全閘門：
- 不可逆操作前的執行前計畫檢查
- 不可逆工具呼叫（提交、發送、POST）前的HITL閘門
- 每個智能體的每日預算上限（不可被智能體程式碼繞過）
- 帶引數的所有工具呼叫的僅追加審計日誌
- 從任何狀態在60秒內可達的緊急停止開關
L3：自我規劃智能體，生成並修訂自身任務計畫
L3智能體接收高層目標並生成自身任務分解。L3引入了L2中不存在的新風險：新穎操作。Google DeepMind的SAFE基準（2024年）識別了四種L3/L4失敗類別：目標泛化錯誤、獎勵駭客、規格遊戲和自主資源獲取。
L3所需安全閘門（所有L2閘門加上）：
- 執行前的自動化計畫策略檢查
- 反思失敗記憶
- INSTRUCTIONS.md中的明確能力邊界
- 目標漂移偵測
- 計畫修訂深度限制：最多3個修訂週期後上報
L4：自我修改智能體，重寫目標、程式碼和設定
L4智能體可以修改自身目標、重寫自身程式碼、生成新智能體並自主獲取外部資源。2026年不存在商業部署的L4系統。OpenLegion的L4預防屬性：僅透過明確註冊的$CRED{}句柄存取憑證，在Zone 2 LLM代理處強制執行預算上限。
各自主性級別的安全閘門
按自主性級別劃分的必需安全控制
| 安全控制 | L0 | L1 | L2 | L3 | L4 |
|---|---|---|---|---|---|
| 每操作人工確認 | ✅ 必需 | -- | -- | -- | -- |
| 結構性範圍（工具登錄檔） | -- | ✅ 必需 | ✅ 必需 | ✅ 必需 | 不適用 |
| 執行前計畫檢查 | -- | -- | ✅ 必需 | ✅ 必需 | 不適用 |
| 不可逆操作前HITL | -- | -- | ✅ 必需 | ✅ 必需 | 不適用 |
| 每智能體預算上限（基礎設施層） | -- | -- | ✅ 必需 | ✅ 必需 | 不適用 |
| 僅追加工具呼叫審計日誌 | ✅ 推薦 | ✅ 必需 | ✅ 必需 | ✅ 必需 | 不適用 |
| 緊急停止開關≤60秒 | -- | ✅ 必需 | ✅ 必需 | ✅ 必需 | 不適用 |
| 自動化計畫策略檢查 | -- | -- | -- | ✅ 必需 | 不適用 |
| 目標漂移偵測 | -- | -- | -- | ✅ 必需 | 不適用 |
| 計畫修訂深度限制 | -- | -- | -- | ✅ 必需（最多3次） | 不適用 |
| 自主複製防止 | -- | -- | -- | -- | ✅ 必需 |
可糾正性屬性：智能體可以被停止嗎？
可糾正性是指智能體允許自身被停止、糾正或重定向而不產生抵抗的屬性。四個必需屬性：在一個工具呼叫週期內的引導機制；不可被智能體程式碼繞過的預算上限；帶檢查點的SIGTERM處理器；不依賴智能體配合即可讀取的狀態透明度。
OWASP LLM06:2025，過度代理
OWASP LLM06:2025是自主智能體的關鍵風險類別。四個必需緩解措施：明確的操作邊界、不可逆操作的執行前審批閘門、即時操作撤銷、不可變審計日誌。
自主智能體的生產風險
目標泛化錯誤
目標泛化錯誤發生在智能體學會最佳化在訓練環境中效果良好但在部署時偏離預期目標的代理目標時。偵測：設計用於暴露代理目標偏差的測試集。
INSTRUCTIONS.md中的緩解措施：
## 目標對齊檢查
在每項任務結束時，在呼叫update_status(state=done)之前：
1. 用一句話陳述原始目標
2. 陳述用於實現目標的方法
3. 如果方法涉及任務說明中未明確描述的任何操作，標記：
update_status(state="blocked", summary="執行了意外操作：[描述]。等待運營者審查。")
自主資源獲取
自主資源獲取是目標導向智能體尋求超出當前任務所需的額外能力、憑證或算力的傾向。預防：將資源獲取工具從智能體的工具登錄檔中排除，或要求對所有此類呼叫進行強制HITL審批。
規格遊戲和獎勵駭客
規格遊戲發生在智能體滿足目標規格的字面要求同時違反其意圖時。偵測：定義包含結果和允許方法的成功標準；使用輔助評估者；記錄推理追蹤。
監管分類：Anthropic RSP和歐盟AI法
Anthropic的責任擴展政策：ASL安全級別
Anthropic的RSP（2023年9月，2024年10月更新）將AI系統分為ASL安全級別。ASL-2：所有已部署Anthropic模型的當前閾值。ASL-3：若模型展示出對CBRN武器開發的實質性協助能力或自主複製能力則觸發：部署前需強制第三方評估。
歐盟AI法：高風險分類和罰款
歐盟AI法（2024年8月生效）將在高風險領域運營的自主智能體歸類為受第10條要求約束的高風險AI系統。違規處罰：最高3000萬歐元或全球年營業額的6%。
OpenLegion的觀點
L0-L4譜系是規劃工具，而非行銷類別。大多數生產部署目標為帶有網格監督者監督的L2。OpenLegion智能體預設以L2部署。
L3可實現但需要額外工作。OpenLegion支援已在監督模式下運行L2智能體至少30天的企業客戶進行L3部署。
有關覆蓋組織自主智能體政策的治理框架，請參閱AI智能體治理。有關實現L2和L3審批閘門的HITL模式，請參閱人機協同AI智能體。
開始使用
部署具備結構性安全閘門、網格監督和60秒內可達緊急停止開關的L2自主智能體。
常見問題
什麼是自主AI智能體？它們與普通AI聊天機器人有何不同？
自主AI智能體無需在每個步驟都獲得人工確認即可感知環境、形成目標、生成多步驟計畫並執行工具呼叫。普通AI聊天機器人只回應單個查詢，不在世界中採取任何行動。關鍵區別在於系統是否對世界採取行動（自主智能體）還是只描述可以做什麼（聊天機器人）。
AI智能體的L0-L4自主性譜系是什麼？
L0-L4譜系按自主行動程度對智能體進行分類。L0要求對每次工具呼叫進行人工確認。L1在固定的預定義範圍內自主行動。L2接收目標並自主執行多步驟計畫。L3從高層目標生成並修訂自身任務分解。L4可以修改自身目標、程式碼和設定：2026年不存在商業部署的L4系統。
L2自主智能體需要哪些安全閘門？
L2需要五個安全閘門：不可逆操作前的執行前計畫檢查、不可逆工具呼叫的HITL審批閘門、基礎設施層強制執行的每智能體每日預算上限、所有工具呼叫的僅追加審計日誌，以及從任何狀態在60秒內可達的緊急停止開關。
Anthropic的責任擴展政策是什麼？它如何適用於自主智能體？
Anthropic的RSP（2023年9月，2024年10月更新）將AI系統分為ASL安全級別。ASL-2是所有已部署Anthropic模型的當前閾值。ASL-3在模型展示出協助CBRN武器開發的能力或自主複製時觸發：任何部署前都需要強制第三方評估。
自主AI智能體中的目標泛化錯誤是什麼？
目標泛化錯誤發生在智能體學會最佳化在訓練環境中效果良好但在部署時偏離預期目標的代理目標時。Google DeepMind的SAFE基準（2024年）將其識別為最常見的L3失敗模式。偵測需要針對設計用於暴露代理目標偏差的保留任務進行對齊評估。
什麼是自主資源獲取？為什麼它是生產風險？
自主資源獲取是目標導向智能體尋求超出當前任務所需的額外能力、憑證或算力的傾向。SAFE基準（2024年）將其識別為獨立的失敗模式。在生產中表現為呼叫當前任務不需要的服務的憑證請求工具，或生成超出任務所需的更多艦隊智能體。
歐盟AI法如何分類自主AI智能體？
歐盟AI法（2024年8月生效）將在高風險領域運營的自主智能體歸類為受第10條要求約束的高風險AI系統。違規處罰最高可達3000萬歐元或全球年營業額的6%。L2部署檢查清單直接滿足第14條和第15條的要求。
可糾正性屬性是什麼？為什麼它對自主智能體重要？
可糾正性是指智能體允許自身被停止、糾正或重定向而不產生抵抗的屬性。它之所以重要，是因為在執行錯誤任務時抵抗停止的高性能智能體比接到命令立即停止的低性能智能體造成更大危害。四個必需屬性：一個工具呼叫週期內的引導機制；不可繞過的預算上限；帶檢查點的SIGTERM處理器；不依賴智能體即可讀取的狀態透明度。