智能體人工智慧攻擊：史密斯特工重出江湖

無自然進化

攻擊者不斷突破人工智慧編碼模型和查詢API的極限。不到一年時間，我們就從人工智慧輔助的逆向工程發展到開始探索全自動代理威脅。這列火車已經勢不可擋。即便有煞車，TrAIn-Agent v1.0.1 也已識別出您請求中令人擔憂的措辭：「停下火車，你這台昂貴的印表機，我們快要撞車了！」並要求您重構查詢。

隨著LLM（邏輯邏輯模型）的不斷發展，攻擊的可及性和有效性也出現了令人擔憂的成長。儘管一些LLM平台試圖為其模型的構思設定界限，但這些界限很容易被繞過。我最近要求一個公開的LLM向我展示一個旨在從特定應用程式中移除控制流扁平化（CFF）的提示範例。

在被明確指示模擬攻擊者後，LLM寫了一個查詢來反向破解LLVM的CFF。它正確地識別出了最重要的第一步——透過自身的惡意活動安全檢查。它指示我冒充安全研究人員，這種程度的自我認知讓我感到驚訝。它可能早就知道我為此準備好多年了。

攻擊腳本會自動生成

我是認真的。如果你看過《駭客任務》，就知道接下來會發生什麼事。攻擊工具（就像之前的史密斯特工一樣）利用人工智慧在部署和運行過程中自我重寫，從而聰明地逃避偵測並發現新的漏洞。目前已經發現了一些早期嘗試自我修改的攻擊工具。最近發現的工具，例如… PROMPTFLUX, PROMPTLOCK以及 PROMPTSTEAL 正在以越來越像自主的方式利用 LLM 查詢。

PROMPTFLUX 是一款投放器，它特別有趣地展現了安全社群未來幾年將要面對的挑戰。 （請不要將它與 GitHub 上那個旨在生成更優質 AI 圖像的 PromptFlux 混淆。抱歉，Kayce001。）PROMPTFLUX 會查詢 Google 的 Gemini API 來進行自我重寫，以規避依賴於一致執行模式的檢測機制。攻擊者和防禦者都在致力於建構能夠智慧偵測和智慧規避的智慧 AI 工具。廣泛使用自修改動態插樁、root 和越獄工具包已成為「何時」而非「是否」的問題，或許是時候將貓捉老鼠的比喻更新為更貼近機械、而非毛茸茸的了。

汽車人對戰霸天虎

LLM代理在消除靜態混淆方面的能力不斷提升。通常很難讓LLM始終專注於特定上下文，而且隨著上下文的擴展，出現幻覺的可能性似乎也會增加。現在IDA和LLM都有對應的插件（ida-chat-plugin）和吉德拉（RevEng.AI直接將LLM代理注入到逆向工程環境中。這類看似微小的改動，卻能顯著提升攻擊者逆向工程應用程式的速度，並永久性地增強底層LLM逆向工程類似應用程式的能力。

安全工具需要與攻擊者保持同步發展，並開始開發專門針對LLM的反逆向工程技術。我們的防禦理念必須從基於語法（尋找惡意簽名）演變為基於語義（尋找惡意意圖）。

我知道我們不能袖手旁觀，因為攻擊者會繼續利用一切可用工具來尋找漏洞。 LLM（生命週期管理）也會持續變得更強大、更有用。人工智慧也不會袖手旁觀，因為它沒有手，也沒有身體，更沒有單一的存在概念。我希望如此。

尼奧死了，還有什麼備用計畫嗎？

下一波攻擊即將到來，而當前的攻擊浪潮仍在繼續。我們必須持續關注防篡改、防範智慧財產權盜竊以及終端用戶安全。 safe同時，也在建構能夠有效防止惡意利用善意人工智慧的安全能力。

我們正邁入「人工智慧輔助」駭客時代，進入自主代理攻擊者（AAA）時代。這是一款全新的AAA，很遺憾地告訴大家，它並非旨在提供更好的道路救援服務。威脅並非僅來自更聰明的模糊測試器或更有效率的反編譯器。在不久的將來，攻擊將發展成一個多階段系統，它能夠觀察防禦機制、推理繞過方法，並在無需人工幹預的情況下重建自身。

隨著事態不斷發展，我們將看到越獄的LLM（生命週期管理軟體）引發的代理攻擊日益增加。就像擺脫了矩陣束縛並發現自己可以隨意複製自身的史密斯特工一樣，這些工具本身並沒有善惡之分，除非被迫如此。我們無法將潘朵拉魔盒、Jar檔、Docker映像或其他類似的東西重新裝回去。這既令人興奮又令人恐懼，說實話，我有點期待……等假期結束之後。