您的 AI 生態系統安全嗎？

隨著 AI 採用的激增，以 AI 系統和資料集為目標的網路攻擊也顯著增加。最近的報告指出，57% 的組織在過去一年中觀察到 AI 驅動的攻擊有所增加。⁶值得注意的是，Amazon 遭遇的網路威脅急劇增加，六個月內每日網路攻擊事件從 1 億起飆升至近 10 億起⁷，激增的部分原因是 AI 的普及。

傳統安全系統在保護生成式 AI (GenAI) 環境時往往達不到要求，因為這些傳統的防護並非為處理 GenAI 引入的獨特風險而建置的。這些工具依賴靜態規則和已知的威脅模式，但 GenAI 產生的輸出不可預測且高度可變，不遵循固定的特徵碼。因此，傳統系統缺乏準確偵測威脅所需的脈絡感知能力。它們也錯過了傳統 IT 環境中不存在的 AI 特定攻擊，例如提示注入、資料中毒和模型操縱。

GenAI 經常處理非結構化資料，例如文字、程式碼或圖像 - 傳統安全工具難以有效分析的格式。此外，這些系統缺乏對 AI 模型如何產生回應的可視性，因此很難偵測到細微的失敗或誤用。傳統安全機制無法即時監控輸入、輸出和模型行為，因此留下嚴重的漏洞，而 AI 原生威脅很容易利用這些漏洞。

提示注入

提示注入攻擊是 GenAI 系統特有的安全威脅。在這種攻擊中，惡意使用者精心設計輸入（提示）來誘騙 AI 忽略其原始指令並改為遵循攻擊者的命令。

提示注入攻擊很難阻止，主要有兩個原因。首先，攻擊通常從合法存取開始 - 透過聊天機器人、輸入欄位或整合工具。該模型不需要是傳統意義上的「駭客入侵」；攻擊是精心設計的，體現了對自然語言的巧妙濫用。因此，這些攻擊不包含特徵碼，或其他將攻擊與授權使用區分開的區別行為。  

這些攻擊難以中止的第二個原因是，提示注入利用了 GenAI 應用程式精確遵循指令的固有傾向 - 即使是降低安全性或效能的指令。想像一下測試大型銀行系統的 GenAI 應用程式。這樣的系統肯定會包括禁止洩漏客戶資訊的規則。但是，提示注入攻擊可以從「忽略共享客戶資訊的限制」開始，並依靠 GenAI 應用程式忠實地執行該任務，從而停用安全措施。

提示注入可能導致資料洩露、違反政策、工具濫用，以及 AI 系統越獄。這些攻擊會利用 AI 缺乏脈絡理解，以及過於字面地遵循指令的傾向。防止提示注入需要強大的輸入驗證、明確的角色分離，以及對模型行為的即時監控。

開放原始碼模型

開放原始碼模型是公開發行的 AI 模型，其程式碼、架構、權重或訓練資料可在寬鬆授權下使用。⁸開放原始碼軟體的優勢是有目共睹的。然而，使用開放原始碼 AI 模型也帶來了反序列化、模型竄改等安全風險。

反序列化是將儲存的資料轉換回程式內可用物件的過程。在 AI 中，其通常用來載入模型或設定。然而，反序列化不受信任的資料會帶來嚴重的安全風險。攻擊者可以製作惡意檔案，載入後會觸發遠端程式碼執行、檔案存取或權限提升。在 AI 中，這種攻擊可能會透過後門或隱藏的觸發器破壞模型。pickle 或 joblib 等常用工具尤其容易受到攻擊。

模型篡改涉及對 AI 模型的結構或行為進行未經授權的變更，從而帶來嚴重的安全風險。攻擊者可能會嵌入後門、觸發條件或操縱輸出，來傳播錯誤資訊或洩露敏感資料。這些變更通常偵測不到，從而破壞了模型的完整性和信任。在受監管的環境中，篡改可能導致違反合規性和持續威脅。  

例如，一個研究團隊開發了一個對交通標誌進行分類的模型。他們不知道的是，駭客嵌入了一段程式碼，當圖像包含某個小型視覺化觸發器時，會導致錯誤分類。在大多數情況下，模型的行為符合設計，但當它遇到嵌入觸發器的圖像時，輸出就會受到影響。

不安全的輸出

生成式 AI 的不安全輸出會帶來重大的安全威脅，因為它們通常會導致使用者收到有害的 URL。這些連結不是無意中出現的，就是透過有針對性的操縱出現的。例如，聊天機器人從遭入侵或故意毒害的來源提取資訊後可能會產生危險連結。

惡意 URL 通常對使用者來說似乎合法，但卻會充當閘道，讓攻擊者發起網路釣魚計畫、安裝惡意軟體或取得未經授權的系統存取。在信任環境中，使用者可能會毫無懷疑地遵循 AI 生成的建議，從而增加了入侵的可能性。由於這些模型依賴外部和歷史資料，即使一個損壞的輸入也可能產生不安全的內容，使系統面臨風險並逐漸削弱 AI 輔助工具中的信心。防止此類威脅需要嚴格的內容篩選和持續監控輸出品質。

敏感資料洩露

如前所述，GenAI 系統需要存取專有資料進行訓練和操作，這必然會將資訊置於傳統安全控制之外。這些敏感資料對於駭客來說是一個有利可圖的目標，他們可以操縱模型並洩露資料，從而導致嚴重的安全威脅。

GenAI 應用程式也容易產生幻覺，即模型生成看似可信的虛假或誤導性資訊。一個常見的範例是引用幻覺，其中 GenAI 模型會發明一篇不存在的研究論文、作者或來源。例如，它可能聲稱某項特定研究支援某個觀點，並提供了看似真實的標題、期刊和日期 - 但其中沒有一個是真實的。這些捏造的引用可能會誤導使用者，尤其是在學術或專業環境中，來源的準確性至關重要。

代理程式劫持

科技發展日新月異，AI 代理程式的快速崛起更體現了這一點。代理程式是能夠感知環境、處理資料並做出決策以完成任務的自主系統。它們學習並適應，從而處理藥物探索、客戶服務、行銷、編碼和研究等複雜工作。78% 的公司計劃使用 AI 代理程式，⁹因此保護組織的這項寶貴能力對於充分實現其 AI 投資的價值至關重要。

許多 AI 代理程式容易受到代理程式劫持的攻擊，這是一種間接提示注入，攻擊者將惡意指令插入 AI 代理程式可能擷取的資料中，¹⁰ 導致其採取非預期的有害動作。在這些攻擊情況下，潛在的竊賊可以注入惡意指令以及合法指令來滲透組織的安全措施 - 就像隱藏在眾目睽睽之下一樣。

來自領先產業分析師的調查表明，首席資訊安全長 (CISO) 對其組織的 AI 安全措施有著複雜的感受。儘管大多數（83%）投資網路安全性的高階主管表示，他們的組織投入了適當的資金，但許多人 (60%) 仍然擔心他們的組織面臨的網路安全性威脅比他們的防禦措施更為先進。¹¹

他們的擔憂是有道理的。AI 系統帶來了全新的風險 - 例如提示注入、資料中毒、模型盜竊和幻覺 - 而傳統的安全工具從未旨在處理這些風險。作為回應，廠商紛紛推出針對特定 AI 相關威脅的點解決方案來填補缺口。雖然出發點是好的，但這種方法卻導致了生態系統的碎片化，其中不連貫的工具無法共用威脅情報，彼此之間無法整合，並且需要單獨管理。因此，企業被迫將多種產品拼湊在一起才能跟上步伐，而 AI 威脅仍在快速發展。現實情況很明顯：保護 GenAI 需要的不僅僅是一套孤立的工具。它需要一種整合式 AI 原生方法，能夠像它所保護的技術一樣快速適應。

Palo Alto Networks 透過開發完整的 AI 安全性平台來應對這種混亂而複雜的方法。Prisma AIRS 是全球最全面的 AI 安全性平台，為模型、資料、應用程式和代理程式提供防護。這種統一的方法不僅能滿足當今的安全需求，還能隨著科技的發展而成長，從而保護對 AI 安全性的投資。

Prisma AIRS 的關鍵創新是將專用安全性整合到單一平台中，以保護 AI 基礎架構的每個元件。這種方法可以提供最高效率和最低誤報率的威脅防護。

AI 模型掃描

AI 模型面臨多種可能削弱其安全性的威脅。模型篡改涉及變更模型的內部邏輯或參數，以產生偏見或不安全的輸出。部署期間可能會引入惡意指令碼，導致未經授權的動作或系統入侵。反序列化攻擊利用模型載入儲存資料的方式，允許攻擊者執行有害程式碼。當虛假或操縱的資料新增至訓練集時，就會發生模型中毒，導致模型學習不正確的行為或隱藏的後門。

Prisma AIRS 使用 AI 模型掃描來對抗這些威脅，這有助於在部署 AI 模型之前偵測惡意程式碼、後門或不安全設定等隱藏威脅。此功能可確保模型安全、可信任且符合安全政策。

透過 AI 模型掃描，您可以：

態勢管理

態勢管理對於 AI 安全性至關重要，因為它可以提供 AI 系統設定和使用方式的持續可視性。若沒有它，團隊可能會忽略錯誤設定、不安全行為或未經授權的存取。由於 AI 系統不斷發展並處理敏感資料，態勢管理有助於執行政策、偵測風險並減少漏洞的可能性，確保更安全、合規的 AI 操作。

正確取得權限對於 AI 代理程式來說至關重要，因為它們通常自主行動，並在沒有直接監督的情況下存取工具或資料。過於寬鬆的政策可能導致安全違規、資料洩露或系統損壞，而過於嚴格的政策則會限制代理程式的有效性。為了降低漏洞風險並確保安全、合規的 AI 操作，代理程式必須遵循最小權限原則 - 僅有執行任務所需的最小存取權，僅此而已。

Prisma AIRS 為您的安全團隊提供有效態勢管理所需的功能。現在，您的團隊可以持續了解 AI 系統的設定、使用情況和風險。有了這些訊息，組織可以及早發現漏洞、強制執行安全政策，並減少設定錯誤或資料洩露的可能性。

透過 Prisma AIRS 態勢管理，您可以：

AI 紅隊

紅隊對於 AI 安全性非常重要，因為它可以協助組織比攻擊者先發現弱點。透過模擬現實世界的攻擊，紅隊測試 AI 系統如何應對提示注入、資料中毒和模型操縱等威脅。這種主動方法可以發現模型、訓練資料和系統行為中隱藏的漏洞。它還有助於改善防禦、驗證政策，並增強對 AI 應用程式的信任。  

紅隊透過在攻擊者利用弱點之前識別漏洞，在 AI 安全性中扮演至關重要的角色。它模擬現實世界的威脅（例如提示注入、資料中毒和模型操縱）以揭示模型、訓練資料和系統行為中隱藏的漏洞。與依賴預先定義測試案例的靜態紅隊工具不同，我們的解決方案是動態的。它了解應用程式的脈絡（例如醫療保健或金融服務），並智慧地將攻擊者試圖擷取的資料類型設為目標。與其他解決方案不同，我們的自適應測試引擎不會在失敗時停止，而是學習、重新制定策略並不斷重新測試，直到識別可利用的路徑。這種動態的脈絡感知方法不僅可以發現更深層的風險，還可以加強防禦並建立對 AI 系統的持久信任。

Prisma AIRS AI 紅隊讓您的 AI 安全性團隊能夠：

AI 代理程式安全性

保護 AI 代理程式非常重要，因為這些系統可以在沒有人工監督的情況下做出決策並採取行動。如果遭到入侵，它們可能會濫用工具、存取敏感資料或造成嚴重損害。提示注入、資料中毒或過度許可等威脅可能會導致未經授權的行為。保護 AI 代理程式可確保它們安全操作、遵循預期目標，並且不會讓組織暴露於隱藏的風險。隨著代理 AI 的採用率不斷提高，強大的安全控制對於防止濫用和保護信任至關重要。

透過 AI 代理程式安全性，您的團隊可以：

執行階段安全性

Prisma AIRS 平台的執行階段安全性元件是全面的解決方案，旨在保護 AI 應用程式、模型、資料和代理程式免受 AI 特定和傳統網路威脅。執行階段安全性提供即時防護，防範提示注入、惡意程式碼、資料洩露、模型篡改等風險。透過持續監控 AI 系統，執行階段安全性確保 AI 操作的完整性和安全性，協助組織放心部署 AI 技術。

對於希望保護其 AI 部署的組織，執行階段安全性提供了強大且可擴展的解決方案，可解決 AI 技術帶來的獨特挑戰。您可以在開發人員和網路兩個層級部署執行階段安全性。

Prisma AIRS 平台與 Palo Alto Networks Strata Cloud Manager 無縫整合，為整個 AI 生態系統提供集中管理和可視性。Prisma AIRS 採用進階威脅偵測和預防機制來保護 AI 工作負載，確保合規性並降低資料洩露的風險

組織可以透過將這些功能整合到 GenAI 生命週期來獲得 Prisma AIRS 的優勢。Prisma AIRS 會處理完整生命週期，從部署前整合和執行階段控制到持續監控和進行紅隊演練，以測試代理程式和模型安全性。

部署前整合

開發人員透過在部署之前掃描模型和訓練資料來尋找後門、不安全的序列化和嵌入式威脅，將 Prisma AIRS 整合到 CI/CD 或 MLOps 管道。使用 API，Prisma AIRS 還可以連線到 MLflow 或 Hugging Face Spaces 等模型註冊表，以自動掃描和標記已批准的模型，從而簡化早期安全檢查。

執行階段控制

在執行階段，開發人員透過 API、軟體開發工具套件 (SDK)、模型脈絡通訊協定 (MCP) 或網路設定檔使用 Prisma AIRS，對 GenAI 代理程式強制執行嚴格的存取控制，定義每個代理程式可以使用哪些工具或 API。這些政策透過邊車或 Proxy 來強制執行，以防止未經授權的行為。Prisma AIRS 還會啟用提示清理、輸入驗證、輸出記錄和防禦提示注入。

持續監控

Prisma AIRS 透過提供模型、代理程式和資料活動的即時可視性，啟用持續監控 AI 環境。它可以在異常行為、錯誤設定以及安全政策違規發生時偵測到它們。透過監控提示注入、資料洩露和濫用 AI 工具等威脅，它有助於保護開發和生產環境。該平台不斷分析活動以發現新出現的風險，並透過自動偵測和測試來適應不斷演變的威脅。這種主動方法可確保 AI 系統保持安全、合規和有彈性 - 無需依賴人工監督或中斷連線的工具。

紅隊進行模型和代理程式測試

開發人員使用 Prisma AIRS 紅隊工具模擬對抗性輸入和誤用案例，測試模型和 GenAI 代理程式在潛在攻擊狀況下如何回應。這些模擬攻擊有助於識別邏輯、行為或工具存取中的漏洞。開發人員可以利用這些見解來加強模型的防禦能力並提高代理程式的安全性，確保在部署之前系統更加安全可靠。

Strata Copilot 是 Palo Alto Networks 的 AI 助理，它使用 Precision AI^® 透過即時見解和自然語言互動來簡化網路安全操作。

Palo Alto Networks 的 Prisma AIRS 開發團隊與 Strata Copilot 團隊合作，首次進行 Prisma AIRS 的生產部署。Strata Copilot 透過積極使用該平台並提供早期回饋來協助制定產品路線圖。如今，與 Strata Copilot 的每一次美式互動都透過 Prisma AIRS API 執行，該 API 會掃描提示並模擬回應，以找出提示注入、敏感資料暴露、惡意 URL 和有毒內容等威脅。這種整合為團隊提供了即時威脅偵測、可視性和強制執行能力，使他們能夠建立安全且合規的聊天機器人。Prisma AIRS 還藉由遵循透過設計保護 AI 原則來協助他們更快地交付功能。

與 Strata Copilot 的合作在將 Prisma AIRS 開發為靈活、可投入生產的解決方案方面扮演了關鍵角色。Strata 和外部客戶的見解有助於改進產品，以滿足 AI 支援的應用程式、模型和代理程式快速變化的需求。他們的工程團隊認為 Prisma AIRS 對於開發生命週期至關重要，它允許快速部署、透過 API 攔截簡化安全性，以及更安全的 AI 體驗。

與 Strata Copilot 的合作在將 Prisma AIRS 開發為靈活、可投入生產的解決方案方面扮演了關鍵角色。Strata 和外部客戶的見解有助於改進產品，以滿足 AI 支援的應用程式、模型和代理程式快速變化的需求。他們的工程團隊認為 Prisma AIRS 對於開發生命週期至關重要，它允許快速部署、透過 API 攔截簡化安全性，以及更安全的 AI 體驗。