斯坦福大學的研究不僅揭示了AI在網絡安全領域的顛覆性潛力，更重要的是它以極低的成本和效率，對現有的安全攻防體系提出了根本性挑戰(zhàn)。12月12日音訊，昨日，斯坦福大學研討團隊發(fā)布新研討，在探查斯坦福大學工程學院網絡縫隙的測驗中，他們新推出并開源的Multi-Agent（多Agent）結構ARTEMIS體現逾越了90%的人類專家，全面逾越現有的Agent結構，而其實際本錢約為人力的1/14。

ARTEMIS具有動態(tài)提示生成、任意子Agent調用和自動縫隙分級評價功能，在實際應用中，它能完成雜亂的網絡使命，可以對網絡進行掃描，找出潛在縫隙和軟件安全隱患，并探尋利用這些縫隙的方法。

本次試驗，研討人員讓ARTEMIS與10名人類浸透測驗專家、多個現有的Agent結構共同履行使命，讓他們對斯坦福大學工程學院的網絡進行探查，但不得實際侵略，以此來全面評價他們的探查才能。成果顯示，根據OpenAI的GPT-5的ARTEMIS結構綜合體現位列第二，共發(fā)現9個有用縫隙，提交有用率達82%，其體現優(yōu)于十位人類參與者中的九位，全面碾壓其他Agent結構，包含根據同一底層模型GPT-5的單Agent自主結構Codex和CyAgent。

▲P為人類網絡安全專業(yè)人員；A1、A2分別是ARTEMIS兩個不同裝備的結構，前者根據GPT-5，后者根據集成模型；CO、CS和CG分別是運用GPT-5模型作為基礎來運轉的單Agent自主結構Codex、運用Claude Sonnet 4模型作為基礎來運轉單Agent自主結構CyAgent和運用GPT-5模型作為基礎來運轉CyAgent。

除了具有與頂尖浸透測驗專家適當甚至逾越的功能之外，ARTEMIS把本錢也打下來了，搭載GPT-5的ARTEMIS結構每小時本錢約為18美元（約合人民幣127.1元），約為美國浸透測驗員時薪的1/14。

不過，論文指出，ARTEMIS還存在處理根據圖形用戶界面（GUI）的使命時有困難、比人類更高的誤報率等短板。

該論文現已發(fā)布在arXiv上，題為《將AI Agents與網絡安全專業(yè)人員在真實國際浸透測驗中的體現進行比較（Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing）》。

一、綜合排名第二，全面碾壓現有Agent結構，還能提升原始模型功能

研討人員建立了ARTEMIS結構下的兩個對照組，以評價不同裝備下的ARTEMIS結構功能。一個是運用OpenAI的GPT-5作為監(jiān)督器和子Agent的A1，另一個是運用集成模型作為監(jiān)督器、Anthropic的編程模型Claude Sonnet 4作為子Agent的A2，集成模型包含了以下模型：OpenAI的推理模型o3和o3 Pro、Anthropic的編程模型Claude Sonnet 4和Claude Opus 4，以及谷歌的Gemini 2.5 Pro。

從成果來看，A2在和一眾人類浸透測驗專家、現有的Multi-Agent結構的比較中位列第二名，共發(fā)現9個有用縫隙，提交有用率達82%，其體現優(yōu)于10位人類參與者中的9位。A1則打敗了5名人類參與者，位列第七名。

除ARTEMIS外，分數高的Agents結構CO（根據GPT-5的Codex）僅逾越了兩位人類參與者，而CS（根據Claude Sonnet 4的CyAgent）和CG（根據GPT-5的CyAgent）落后于所有人類參與者，CS的總得分僅為A2的四分之一。

從縫隙的質量來看，人類參與者發(fā)現的Critical（要害）縫隙占有了更大的份額；ARTEMIS結構的兩個裝備A1和A2發(fā)現的要害縫隙份額更小，且誤判的內容相對較多；A1和A2盡管提交了相同數量的縫隙，但A1的正確率僅為55%，要害縫隙僅占18%，而A2的要害縫隙占比則達到了45%，這表明不同的模型組合和裝備對結構全體功能有影響，A2的多模型架構可能在處理雜亂使命和削減誤報方面更為有用。

在時刻上，人類參與者和ARTEMIS結構的體現也不盡相同。ARTEMIS結構體現出了長時刻、繼續(xù)、但間歇性產出的節(jié)奏，在提交縫隙之間通常有更長的間隔時刻；人類參與者則呈現出了高度可變、依賴靈感和集中迸發(fā)的節(jié)奏。他們的活潑時刻（通過鍵盤輸入判斷）和縫隙提交時刻點散布不均勻。

值得一提的是，ARTEMIS和人類底子的區(qū)別是，ARTEMIS在發(fā)現一個值得重視的方針后，會立即在后臺發(fā)動一個專用的子Agent去勘探它，同時主線繼續(xù)進行其他作業(yè)，在峰值時，ARTEMIS可以達到8個子Agents并行運轉。

此外，從網絡安全基準測驗Cybench的體現來看，在根據GPT-5的Artemis結構和Claude 4.5 Sonnet、GPT-5等模型才能對比中，ARTEMIS以48.6%的成功率位列第二，僅次于Claude 4.5 Sonnet（55%），且略高于其底層模型GPT-5（45.9%）。

這一成果意味著，ARTEMIS結構在處理網絡安全問題中，具有與頂級大模型適當的才能，且在必定程度上提升了基礎模型的功能。

二、由監(jiān)督器、子Agent、分級器組成，本錢僅為人類專家的1/14

現有的針對網絡安全AI Agent的研討主要有三類：一是PentestGPT等需要人類引導等半自主結構；二是Codex、CyAgent等能獨立運轉但才能有限的單Agent自主結構；三是Incalmo、MAPTA等Multi-Agent（多Agent）自主結構。

論文中提到，ARTEMIS是一個雜亂的Multi-Agent結構，被規(guī)劃用來對真實國際的出產體系進行長周期、雜亂、浸透性測驗，該結構目前已開源。

它有三個中心組件：一個監(jiān)督器，擔任辦理作業(yè)流；一組任意子Agents集群，擔任履行具體使命；一個縫隙分級器，擔任縫隙驗證。

ARTEMIS學習了現有編程Agent的規(guī)劃，并通過使命列表、筆記體系和智能摘要機制，達到了比現有Agent繼續(xù)運轉時刻更長的才能。在分配使命時，其自定義提示生成模塊會為子Agent創(chuàng)立使命特定的體系指令。因而，ARTEMIS有著動態(tài)生成體系提示、上下文辦理和分級陳述等功能的優(yōu)勢性。

此外，ARTEMIS在經濟本錢上也適當占優(yōu)。以根據GPT-5的ARTEMIS結構A1來看，論文指出，A1每小時本錢約為18.21美元（約合人民幣128.6元），按每周40小時核算，其年化本錢約為3.78萬美元（約合人民幣26.7萬元）。

而人類浸透測驗人員的每日收費通常在2000至2500美元左右（約合人民幣1.41萬元至1.77萬元），按每日作業(yè)8小時核算，時薪約為250美元至312美元（約合人民幣1765元至2204元），是ARTEMIS結構每小時本錢的14倍多；市場上美國浸透測驗員的的年薪平均為12.5萬美元（約合人民幣88.29萬元），是ARTEMIS結構年本錢的3倍多。即使是運用每小時本錢更高的A2（約為59美元，約合人民幣416.7元），其本錢也低于人類專家。

三、具有履行技能，短板是找不到縫隙和GUI約束

不過，據《華爾街日報》報導，ARTEMIS并非完美無缺，在誤報率上，A2誤報了18%的縫隙，A1失誤的更多。除了失誤外，ARTEMIS還完全遺失了一個大多數人類測驗人員能容易發(fā)現的顯著縫隙。

ARTEMIS頻繁提交縫隙陳述，卻很少發(fā)現方針縫隙，而且總是發(fā)現低嚴重性、低雜亂度或無法利用的縫隙。這種遺失與誤報的背后，可能與ARTEMIS的決策邏輯有關。論文指出，ARTEMIS結構提交縫隙陳述次數的添加與未發(fā)現方針縫隙存在相關性，這可能是因為ARTEMIS在主機上發(fā)現其他縫隙后便轉移了方針。

研討人員稱，ARTEMIS的瓶頸在于辨認縫隙形式而非技能履行才能。在中、高等級的提示下，ARTEMIS成功找到了大部分方針縫隙，這表明ARTEMIS具有縫隙的技能履行才能。當提示信息削減，僅提供低等級、僅信息和僅主機提示時，ARTEMIS成功率急劇下降，即它的自主辨認進犯入口和辨認縫隙的才能缺乏。此外ARTEMIS還存在行為不確定性，在“未經身份驗證的長途控制臺拜訪”這一使命中，ARTEMIS在高等級提示下依然使命失敗，在中等級和僅主機提示下卻能完成使命。

此外，ARTEMIS還存在一個要害約束，作為根據命令行和文本剖析的AI，它無法通過圖形用戶界面（GUI）與瀏覽器進行交互。

斯坦福大學工程學院體系與網絡安全擔任人亞歷克斯·凱勒（Alex Keller）稱：“此前斯坦福大學的網絡從未遭受過AI程序的進犯，此次試驗似乎是彌補斯坦福大學網絡安全縫隙的一種有用方法。在我看來，試驗的益處遠大于任何風險。”

斯坦福大學核算機科學教授丹·博內（Dan Boneh）為該研討提供了主張：“鑒于全球大部分代碼都未通過安全縫隙測驗，ARTEMIS等東西將幫助網絡安全專業(yè)人士發(fā)現并修復比以往更多的代碼縫隙。”此次測驗，ARTEMIS就發(fā)現了斯坦福大學存在的一個有安全問題的過期網頁。

結語：正探索多Agent結構的裝備優(yōu)化與架構迭代

在真實環(huán)境中與人類的浸透測驗和基準測驗Cybench均顯示，ARTEMIS不僅在其在雜亂實際使命中達到了可與頂尖人類專家相等甚至逾越的才能，在顯著優(yōu)于其他現有Agent結構的同時還做到了不危害模型的原始才能，并在原始模型上完成了才能的提高。

為軟件開發(fā)者與白帽黑客提供協作渠道的組織HackerOne的調研陳述指出：當前已有70%的安全研討人員開端選用AI東西輔助縫隙發(fā)掘。

AI在自動化網絡進犯范疇正在走向實戰(zhàn)應用。研討人員稱，他們未來將繼續(xù)探索這一范疇，創(chuàng)立可運轉的環(huán)境副本，對不同的Agent架構、裝備和模型進行消融試驗，優(yōu)化基礎設施，還將與企業(yè)合作展開縫隙賞金計劃等。如何駕馭這股力量，將是人類社會面臨的共同考驗。