AI 黑客： 黑客如何在網路攻擊中使用人工智慧

AI 黑客是指使用人工智能來增強或自動化網路攻擊。它允許威脅行為者以最少的手動工作產生程式碼、分析系統和逃避防禦。 

AI 模型，尤其是大型語言模型 (LLM)，讓攻擊開發更快速、更便宜，也讓經驗較淺的駭客更容易上手。其結果是出現了一系列新的 AI 攻擊，這些攻擊速度更快、擴充性更高，而且通常較難用傳統的防禦措施加以阻止。  

AI 威脅者現在使用人工智慧來發動更快速、更智慧、更適應的網路攻擊。從惡意程式的製作到網路釣魚的自動化，人工智慧正在將網路犯罪轉變為可擴充的作業。它現在可以產生惡意程式碼、撰寫有說服力的網路釣魚內容，甚至引導攻擊者完成完整的攻擊鏈。

網路罪犯在幾個核心領域使用 AI：

• 有效載荷生成：HackerGPT 和WormGPT 等工具可以編寫混淆的惡意軟體、自動化迴避策略，並將腳本轉換為可執行檔。這些都是產生式 AI 攻擊的範例，常見於 AI 代理網路攻擊，其中模型會做出自主決策。
• 社會工程：AI 可製作逼真的網路釣魚電子郵件、複製聲音，並產生深層偽造，以更有效地操控受害者。
• 偵察與規劃：AI 可加快目標研究、基礎設施繪圖和弱點識別的速度。
• 自動化規模： 攻擊者使用 AI 發起多階段攻擊活動，只需最少的人為輸入。

根據Ponemon 研究所的資料，AI 已被用於贖金軟體攻擊與網路釣魚攻擊，造成重大的營運中斷，包括在 2023 年的一次入侵事件中，憑證被盜用，超過 300 個零售據點被迫關閉。 

有幾種新興模式正在重塑威脅格局：

• 網路攻擊民主化：像 LLaMA 這種針對攻擊進行微調的開放原始碼模型，現在已可供任何擁有本地運算能力的人使用
• 降低進入門檻：以前需要專業技能，現在只需簡單的提示和幾次點擊即可完成
• 提高躲避成功率：AI 產生的惡意軟體更擅於躲避靜態偵測、沙箱，甚至動態分析
• 惡意軟體即服務 (MaaS) 模式：網路罪犯將 AI 功能綁定在訂閱型套件中，讓大規模發動複雜攻擊變得更容易
• 在真實世界的入侵事件中使用 AI： Ponemon Institute 報告指出，攻擊者已利用 AI 自動鎖定贖金軟體，包括迫使主要作業關閉的事件。

人工智能啟用的網路釣魚和社交工程正在將傳統騙局轉變為更難偵測的可擴展性個人化攻擊。威脅份子現在使用生成模型來製作可信的電子郵件、克隆聲音，甚至製作虛假的視訊通話來操縱目標。

與傳統的詐欺不同，人工智能產生的網路釣魚電子郵件經過精雕細琢，令人信服。ChatGPT 和 WormGPT 等工具會產生模仿內部通訊、客戶服務外展或人力資源更新的訊息。當搭配被攻破的資料時，這些電子郵件就會變得個人化且更容易成功。

AI 也為新形式的社交工程提供了動力： 

• 語音複製攻擊利用簡短的語音樣本模仿高階主管，以觸發電匯等緊急行動
• Deepfake 攻擊模擬視訊通話或遠端會議以進行高風險詐騙

在最近的一起事件中，攻擊者在福利登記期間使用 AI 生成的電子郵件，冒充人力資源部竊取憑證並獲得員工記錄的存取權。危險在於信任的假象。當電子郵件看起來像內部電子郵件、聲音聽起來似曾相識、要求感覺很緊急時，即使是受過訓練的員工也可能會被騙。 

AI 正在加速攻擊者發現和利用軟體漏洞的方式。過去需要數天的手動探測，現在只需要幾分鐘，就可以使用為偵查和利用漏洞而訓練的機器學習模型來完成。

威脅主動者使用 AI 自動掃描面向公眾的系統的弱點，找出薄弱的組態、過時的軟體或未修補的 CVE。與傳統工具不同，AI 可以評估暴露情境，協助攻擊者優先處理高價值目標。 

常見的 AI 輔助剝削策略包括

• 自動模糊處理可更快發現零時差漏洞
• 針對遠端程式碼執行或橫向移動自訂指令碼產生
• 透過模式學習和概率模型優化密碼破解和暴力攻擊 
• 以最小噪音掃描網路中高風險資產的偵查機器人

像 LLaMA、Mistral 或 Gemma 之類的生成模型可以微調，以根據系統特定的特徵生成量身打造的有效載荷，例如 shellcode 或注入式攻擊，通常可以繞過商業模型內建的防護措施。

趨勢很明顯：AI 可讓攻擊者以機器速度發現漏洞並採取行動。根據 Ponemon Institute 的資料，在 AI 驅動的攻擊時代，54% 的網路安全專業人員將未修補的漏洞列為他們最關心的問題。

AI 網路攻擊已不再是理論上的問題；它們已經被用來竊取資料、繞過防禦，以及大規模冒充人類。  

以下三個顯著類別的範例顯示，攻擊者不再需要先進的技能就能在網路攻擊中造成嚴重損害。AI 降低了進入門檻，同時提高了攻擊速度、規模和隱蔽性。防禦者必須主動測試整合 AI 的系統，並部署可同時顧及技術操控與人為欺騙的防護措施，以適應這種情況。

Prompt injection 是一種技術，攻擊者利用 LLM（大型語言模型）中的漏洞，餵給它們特別製作的輸入，以覆蓋預期的行為。這些攻擊利用 LLM 解譯指令和排列優先順序的方式，通常很少或完全不涉及傳統的惡意軟體。 

與其使用 AI 來發動外部攻擊，提示注入會將組織本身的 AI 系統變成不知情的攻擊媒介。如果在沒有適當防護措施的情況下，將 LLM 嵌入到服務台、聊天機器人或文件處理器等工具中，攻擊者就可以嵌入隱藏指令，然後由模型詮釋並執行。這可能導致

• 洩漏私人或受限制的資料
• 執行非預期的動作(例如：傳送電子郵件、更改記錄)
• 操控輸出以散播錯誤資訊或引發後續行動

在多種模型互相傳遞資訊的系統中，這些風險會升級。舉例來說，嵌入在文件中的惡意提示可能會影響 AI 總結器，然後將有瑕疵的洞察力傳遞給下游系統。 

隨著人工智慧愈來愈融入業務工作流程，攻擊者也愈來愈多地將這些模型作為攻擊目標，以損害信任、擷取資料或由內而外操控決策。

Deepfake 攻擊使用 AI 產生的音訊或視訊來即時冒充他人。搭配社交工程策略，這些工具正被用來進行詐欺、竊取憑證和未經授權的系統存取。 

語音克隆已變得特別危險。只要錄製幾秒鐘的語音，威脅者就可以產生模仿語氣、步調和語調的聲音。這些複製的聲音隨後會被用來

• 在緊急電話中冒充主管或經理
• 欺騙員工進行電匯或密碼重設
• 繞過語音認證系統

Deepfakes 透過產生合成視訊更進一步。威脅者可以模擬執行長在視訊通話中要求提供機密資料，或是出現在錄影片段中「宣佈」政策變更，散播不實資訊。 Ponemon Institute 報導了一宗事件，攻擊者在公司的福利登記期間使用 AI 產生的訊息冒充人力資源部，導致憑證遭竊。 

隨著人工智慧工具越來越容易取得，即使是小規模的威脅份子也可以產生高保真的冒充。這些攻擊會利用信任繞過傳統的垃圾郵件過濾器或端點防禦系統。 

分類器模型攻擊會操控 AI 系統的輸入或行為，以強制做出不正確的決定，但不一定要寫惡意軟體或利用程式碼。 這些策略屬於更廣泛的攻擊性機器學習。  

有兩種主要策略：

• 迴避攻擊：攻擊者精心製作一個輸入，騙過分類器，使其錯誤識別，例如惡意軟體模仿無害的檔案，以繞過防毒引擎。 
• 中毒攻擊：在故意歪曲的資料上訓練或微調模型，改變其偵測威脅的能力 

有監督的模型通常會「過度適應」：它們會從訓練資料學習特定的模式，而錯過稍微偏離的攻擊。攻擊者利用這一點，使用 WormGPT (針對攻擊任務微調的開放原始碼 LLM) 等工具來創建已知偵測範圍之外的有效載荷。

這是機器學習版的零時差漏洞。

AI 黑客使用 AI 來自動化、增強和擴展 AI 網路攻擊。相比之下，傳統的駭客攻擊通常需要手動編寫腳本、深厚的技術專業知識以及大量的時間投資。根本的差異在於速度、可擴充性和可得性：即使是新手攻擊者，現在只要幾個提示和消費級 GPU，就能發動複雜的 AI 驅動的網路攻擊。

許多組織都轉向使用 AI 輔助的紅色團隊 (red teaming)，以測試針對 LLM 誤用、提示注入 (prompt injection) 和分類器迴避 (classifier evasion) 的防禦能力。這些模擬有助於在攻擊者之前發現 AI 整合系統中的漏洞。 

紅隊 使用敵意提示、合成網路釣魚和 AI 產生的有效負載來評估系統是否具有彈性或可被攻擊。AI 安全測試也包括 

• 針對即時注入風險的模糊模型 
• 評估 LLM 如何處理操控或連鎖輸入 
• 測試分類對迴避行為的穩健性 

安全領導者也開始掃描他們自己的 LLM，以尋找提示洩漏、幻覺或非故意的內部邏輯存取，隨著產生式人工智慧嵌入產品和工作流程，這是非常重要的一步。

Martin Kallas 認為應該採取多層次的主動式防禦，而不是試圖在被動的循環中「以 AI 對抗 AI」。OPSWAT 解決方案結合了針對整個威脅生命週期的技術：

• Metascan™Multiscanning：透過多重防毒引擎執行檔案，偵測單一防毒引擎系統遺漏的威脅 
• MetaDefender Sandbox™：分析隔離環境中的檔案行為，甚至可偵測人工智慧產生的有效載荷，以避開靜態規則的限制 
• Deep CDR™：透過將檔案重建為安全版本，剔除嵌入式攻擊，中和威脅 

這個分層安全堆疊的設計，是為了對抗人工智能產生的惡意軟體的不可預測性，包括多形威脅、記憶體內有效載荷，以及繞過傳統工具的深層偽造誘餌。由於每一層都針對攻擊鏈中的不同階段，因此只需一層即可偵測或解除威脅，並在威脅造成損害之前瓦解整個作業。

聯邦調查局和其他美國機構越來越多地將人工智慧整合到網路防禦作業中，不僅是為了分流和優先處理威脅，也是為了加強資料分析、視訊分析和語音辨識。

根據 FBI 的資料，AI 可協助處理大量資料以產生調查線索，包括車輛辨識、語言識別及語音轉文字。重要的是，該局執行嚴格的人工監督：在採取任何行動之前，所有人工智能產生的輸出都必須經過訓練有素的調查人員驗證。 

AI 並不能取代人類的決策。FBI 強調，人類總是要對調查結果負責，而且 AI 的使用方式必須尊重隱私、公民自由和法律標準。