影子 AI 是什麼？

文章摘要：

• 影子 AI 是指員工未經許可擅自使用人工智慧工具，這會造成嚴重的安全漏洞，並在 IT 部門不知情或未監督的情況下擴大組織的攻擊面。
• 當員工將機密資訊上傳至未受管理的第三方影子 AI 工具及未經授權的 LLM 端點時，組織將面臨敏感資料外洩與智慧財產權遭洩露的重大風險。
• 有效的影子 AI 偵測需要監控網路流量與 DNS 查詢，以識別隱藏的整合行為，確保有助於提升生產力的工具能夠符合企業的資料安全與合規標準。

影子 AI 是什麼？

「影子 AI」指的是組織成員未經授權且未受監管的人工智慧 (AI) 使用行為。影子 AI 可能構成 AI 安全性問題，因為它會在安全團隊不知情的情況下擴大組織的攻擊面；同時，根據這些 AI 模型所能存取的資料範圍，也可能提高資料外洩的機率。

影子 AI 也可能阻礙組織的整體戰略目標。如果使用的 AI 工具並未透過檢索增強生成 (RAG) 結合內部資料進行最佳化，那麼它可能給出對企業而言次佳的回應。舉例來說，一份由缺乏企業市場定位這一關鍵背景資訊的 AI 工具所產生的報告，可能提出不切實際或毫無幫助的建議。

影子 AI 非常普遍。員工為了提升工作效率，往往會在未經核准的情況下採用 AI 工具，甚至沒有意識到自己正在讓組織暴露在風險之中。有些研究發現，即使在管制嚴格的企業中，仍有數十款未經授權的 AI 工具被實際使用。所幸，組織可以採取一些措施來降低風險，同時讓員工能夠利用這些獨特而強大的工具。

影子 AI 的兩種類型

影子 AI 的使用主要可分為兩大類：

1. 未經批准使用 AI 應用程式
2. 整合到公共應用程式中的未受保護 AI 端點

前者是指員工與承包商將 AI 融入日常工作流程。例如，行銷部門人員可能將潛在客戶資料庫上傳至像 ChatGPT 這類 LLM，並要求產生報告，卻沒有意識到此舉可能構成安全違規。

後者則是指開發人員在未經授權或未妥善監管的情況下，將 AI 模型嵌入面向公眾的應用程式，類似於在應用程式中加入影子 API 端點的情形。想像一下，某位開發人員未經批准，就使用 ChatGPT 來驅動公司的官方聊天機器人。雖然 OpenAI 本身已在模型中內建安全措施與內容防護機制，但該聊天機器人仍可能出現組織意料之外的行為，例如推薦競爭對手的產品。

影子 AI 與影子 IT

影子 IT 泛指未經核准或未受管理的科技使用，特別是 SaaS（軟體即服務）應用程式。影子 IT 包含兩種情況：一是使用未經批准的工具，二是以未經批准的方式存取已核准的工具（後者的例子包括透過個人帳戶登入公司正式的工作工具）。

許多軟體工具價格低廉或免費提供，可隨時透過網際網路取得，且對提升生產力很有幫助。因此，如果某個工具可以幫助員工更快地工作，或者冗長的法律審批流程阻礙了他們採用自認為需要的工具，員工就可能繞過官方管道。

影子 AI 是影子 IT 的一種類型，但成長速度極快，由於其承諾能快速提升生產力，對員工和承包商更具吸引力。

未經授權使用 AI 有哪些風險？

當員工與承包商使用影子 AI 工具時，主要有兩大風險：

• 攻擊面擴大
• 敏感資料外洩

所謂攻擊面，是指攻擊者可能利用的所有潛在進入點的總和。如果安全團隊不清楚攻擊面的完整範圍，就無法加以防護。AI 工具和任何其他應用程式一樣，都有其安全風險與漏洞。若用來處理內部資料，或整合進軟體堆疊與商業流程中，就會讓組織暴露於這些漏洞之下。

如果安全團隊知道風險的內容與所在位置，則影響相對較小；但倘若 AI 工具是在他們不知情的情況下被採用，他們就無法為其實施防護。想像一下：一座銀行的金庫原本只有一道門，但有位員工為了簡化工作流程，私下在辦公室與金庫之間加了一道直通後門。保全人員完全不知道這扇門的存在，因此既無法看守，也無法加鎖。未經授權使用任何技術（包括 AI 工具），就像在公司資料金庫上多加了好幾扇未受保護的門，直接擴大了攻擊面。

另一項重大風險是敏感資料外洩。敏感資料可能包括智慧財產、客戶資料，或員工的個人資料。員工可能為了執行工作任務，將這類資料上傳至 AI 工具；尤其在工具未受管理的情況下，這些資料可能會被工具的其他非組織內部使用者存取。即使資料不是直接暴露給其他使用者，它仍可能儲存在該 AI 工具的資料庫中，一旦發生資料外洩事件，就可能讓外部單位取得這些資料，或導致組織無法遵循資料安全與隱私相關的法規要求。

將影子 AI 整合到應用程式中有哪些風險？

AI 模型可透過 API 整合至應用程式基礎架構中。在這種架構下，主應用程式在執行時會向 AI 工具傳送 API 呼叫，而 AI 工具則回傳所要求的服務或資料。如果這種 API 整合未被監控或保護，那麼該 AI 模型就被視為一個影子 AI 端點。

影子 AI 端點的風險包括：

• 敏感性資料暴露：應用程式可能在向 AI 模型傳送的 API 呼叫中，包含受保護或機密的資料。
• 模型投毒：AI 模型可能因過往遭受過資料投毒攻擊，而存在未知的安全風險。
• 提示詞插入或越獄：AI 模型可能因惡意活動，而表現出與預期不符的行為。
• 聲譽風險：影子 AI 模型可能缺乏足夠的防護機制來保護組織的品牌與聲譽。例如，一個透過影子 AI 整合所打造的聊天機器人，可能會不小心提供某產品 100% 折扣，而該產品本不應免費提供給買家。
• 缺乏文件記錄：由於影子 AI 整合可能未妥善記錄，未來對應用程式進行更新時，可能未考慮到這些整合，進而導致系統故障或功能異常。

許多組織可能希望允許開發人員在開發過程中實驗性地使用 AI 模型，但發現並保護影子 AI 端點，對於安全地進行這類實驗至關重要。

「影子 AI 經濟」是什麼？

「影子 AI 經濟」指的是：由於許多員工在未經授權的情況下使用 AI，導致企業環境中的 AI 使用情況被低估、報告不足。因此，企業導入 AI 所帶來的投資報酬率 (ROI) 可能比官方統計數字還要高。

如何偵測影子 AI

安全團隊可以嘗試使用與偵測其他未授權應用程式使用情況相似的方法，來發現影子 AI 工具的使用情形。他們可以透過具備應用程式感知能力的工具（如新世代防火牆 (NGFW) 和其他安全代理工具提供的功能）來監控應用程式層的網路流量。他們也可以使用 DNS 篩選技術監控 DNS 查詢，以瞭解員工正在存取哪些應用程式。雲端存取安全性代理程式 (CASB) 和資料丟失預防 (DLP) 功能也有助於限制敏感資料的流向。請參閱 AI Security Suite 以瞭解更多資訊。

對於未受保護的 AI 端點，影子 AI 偵測是最有效率的選擇。Cloudflare 的 AI Security for Apps 能夠偵測到所有在安全團隊不知情的情況下被增添到應用程式中的影子 AI 端點。客戶可以完整掌握哪些 LLM 正在執行，以及它們在何處執行。瞭解 AI Security for Apps。

 

常見問題集

在商業環境中，「影子 AI」一詞是什麼意思？

影子 AI 指的是員工或承包商在未經組織 IT 和安全團隊正式授權或監督的情況下，使用人工智慧工具的行為。隨著工作者採用易於取得的 AI 工具來快速提高生產力或擴充對外應用程式的功能，這種做法正變得越來越普遍。

未經授權使用 AI 會如何影響公司的安全性？

使用未經批准的 AI 工具會為公司的私有資料創造未受保護的進入點，從而擴大了攻擊者可以鎖定的整體範圍。由於安全團隊不知道這些工具的存在，他們無法實施必要的防禦措施來保護正在被處理的資訊。

影子 AI 可能透過哪些方式導致敏感資訊暴露？

當員工將智慧財產權或客戶資料上傳到未受管理的 AI 工具時，這些資訊可能會被儲存在外部資料庫中，或在無意中與組織外部的其他使用者分享。如果 AI 提供者遭受資料外洩，這種暴露可能導致違反法規遵循要求，或使資料處於易受攻擊的狀態。

除了安全漏洞之外，未受管理的 AI 使用還會如何影響業務目標？

未使用公司內部資料進行最佳化的 AI 工具，可能因為缺乏關於企業市場定位的具體背景資訊，而產生次佳或不切實際的結果。

將影子 AI 整合至應用程式基礎架構會帶來哪些特定風險？

透過未受監控的 API 整合 AI，可能會導致以下風險：當 AI 包含先前受損的資料時，可能發生模型投毒；或是發生提示詞插入，即惡意活動導致模型出現預期外的行為。此外也存在聲譽風險，例如，一個不受控管的聊天機器人可能錯誤地向客戶提供未經授權的折扣。