シャドーAIとは?

シャドー人工知能(AI)とは、組織の従業員や契約者による認可されていないAIの利用や連携を指します。シャドーAIは、組織を未知のセキュリティリスクにさらす可能性があります。

学習目的

この記事を読み終えると、以下のことができるようになります。

  • シャドーAIを定義する、シャドーITと比較する
  • シャドーAIに関連する主なセキュリティリスクを説明する
  • シャドーAIの検出方法を知る

記事のリンクをコピーする

記事の概要:

  • シャドーAIとは、従業員が承認を受けずに使っている人工知能をいい、IT部門が把握も監視もしないうちに重大なセキュリティギャップが生じさせ、攻撃対象領域を拡大します。
  • 管理されていないサードパーティ製シャドーAIツールや認可されていないLLMエンドポイントに従業員が機密情報をアップロードすると、機密データの露出や知的財産の漏洩といった重大なリスクが発生します。
  • シャドーAIを効果的に検出するには、ネットワークトラフィックやDNSクエリを監視して隠れた連携を突き止め、生産性向上ツールが企業データセキュリティとコンプライアンスの基準に適合していることを確認する必要があります。

シャドーAIとは?

「シャドーAI」とは、従業員が未承認で人工知能(AI)を利用し、追跡ができない状態をいいます。シャドーAIは、AIセキュリティの問題になり得ます。セキュリティ部門が把握しないまま攻撃対象領域が拡大し、AIモデルがアクセス可能な情報によってはデータ漏洩の可能性が高まるからです。

シャドーAIは、組織の全体的な戦略目標を妨げる可能性もあります。検索拡張生成(RAG)を通じて社内データに最適化されていないAIツールを使用した場合、会社にとって最適でない回答が生成されてしまう可能性があります。例えば、市場における会社の立ち位置を知らないAIツールが作成したレポートは、非現実的または役に立たない推奨事項が提示されている可能性があります。

シャドーAIは珍しいものではありません。生産性を高めたいと考える従業員が、リスクや承認の有無を十分に意識しないままAIツールを使用してしまうケースは多くあります。一部の調査によると、厳しく管理していたのも関わらず、数十もの未承認のAIツールが現役で使用されていたケースも存在します。幸いにも、企業がリスクを抑えながら、従業員にAIのメリットを活用してもらうための対策は存在します。

シャドーAIの2つのタイプ

シャドーAIの利用には、大きく分けて次の2種類があります:

  1. 許可されていないAIアプリの利用
  2. 保護されていないAIエンドポイントを公開アプリに組み込むこと

前者は、従業員や請負業者が日常業務の中で勝手にAIを使用するケースです。例えば、セキュリティ侵害につながるリスクを認識しないまま、マーケティング部門のメンバーが見込み客情報のデータベースをLLM(ChatGPTなど)にアップロードしてレポート作成を依頼するケースが考えられます。

後者は、開発者が承認や適切な監視なしにAIモデルを公開アプリケーションに組み込むケースで、シャドーAPIエンドポイントがアプリケーションに組み込まれる場合と同様です。例えば、開発者が承認なく会社の公式チャットボットにChatGPTを使用して稼働させているとします。OpenAIのモデルには一定のセキュリティ対策やコンテンツ制限がありますが、それでも競合他社の商品を勧めてしまうなど、予期しない回答を提示してしまう可能性があります。

シャドーAIとシャドーITの違い

シャドーITとは、認可されていない、または管理されていないテクノロジー(特にSaaS)の使用を指します。シャドーITには、「承認されていないツールを使用する」ことと、「承認されたツールを承認されていない方法で使用する」ことの2つがあります(後者の例としては、会社の公式ツールに個人アカウントでログインすることなどが挙げられます)。

最近はインターネット上で多くの生産性の向上に役立つソフトウェアが安価または無料で手に入ります。そのため、仕事を速く進めたい場合や、正式に利用するために必要な承認手続きが長いといった理由で隠れて使用するケースがあります。

シャドーAIはシャドーITの一種ですが、急速な広がりを見せています。すぐに生産性向上が期待できるため、従業員や請負業者にとってさらに魅力的なものになっています。

未承認のAIを利用することのリスクとは?

従業員や請負業者によるシャドーAIツールの利用には、主に次の2つのリスクが存在します:

  • 攻撃対象領域の拡大
  • 機密データの露出

攻撃対象領域とは、攻撃者が利用できる潜在的な侵入口を総合したものを差し、セキュリティチームはその全容を把握している必要があります。他のアプリケーションと同様に、AIツールにもセキュリティリスクや脆弱性が存在します。そのため、セキュリティリスクや脆弱性のあるAIツールを社内データの処理に使用したり、ソフトウェアスタックや業務プロセスに組み込んだりすると、組織はこうした脆弱性にさらされることになります

セキュリティチームがこうしたリスクの種類や場所を把握していれば懸念は少なくなりますが、隠れて導入された場合、対策をすることもできません。例えば、銀行の従業員が効率を優先してオフィスから金庫室に直結する裏口を勝手に追加した場合を想像してみてください。警備員がその裏口の存在を知らなければ、鍵を付けることも、警備することもできません。AIツールを含むテクノロジーを許可なく使用する行為は、企業のデータ保管庫に保護されていないドアを追加し、攻撃対象領域を拡大するようなものです。

もう1つの大きなリスクは、機密データの漏洩です。機密データには、知的財産、顧客データ、または従業員の個人データが含まれます。従業員が業務のためにAIツール、特に非管理のAIツールにデータをアップロードした場合、そのデータはそのツールを利用する組織とは関係ない別のユーザーに漏洩してしまう可能性があります。直接公開されていない場合でも、その情報がそのAIツールのデータベース内に存在することになり、そのデータが公開されたり、組織がデータセキュリティとプライバシー規制のコンプライアンスから外れる可能性があります。

シャドーAIをアプリに組み込むことのリスクとは?

AIモデルはAPIを通じてアプリケーションの基盤に組み込むことができます。APIを組み込んだ主となるアプリケーションは、実行時にAPI呼び出しをAIツールに送信し、要求を受けたAI側がそれに応じたサービスまたはデータを返します。このAPIの連携部分が監視または保護されていない場合、AIモデルはシャドーAIエンドポイントと見なされます。

シャドーAIエンドポイントを使用した場合のリスクには次のようなものがあります:

  • 機密データの暴露:アプリケーションがAIモデルに送信するAPI呼び出しに対して、保護対象データや機密データを含めてしまう可能性があります。
  • モデルのポイズニング: 過去のデータポイズニング攻撃により、AIモデルに未知のセキュリティリスクが含まれている可能性があります。
  • プロンプトインジェクションまたはジェルブレイク:悪意のある操作によって、AIモデルが想定とは異なる振る舞いをする可能性があります。
  • 評判のリスク:シャドーAIモデルには、組織のブランドや評判を保護するための十分な対策が組み込まれていない可能性があります。例えば、シャドーAIと連携するように構築されたチャットボットが、本来許可されていない100%割引で商品を誤って提供してしまう場合があります。
  • ドキュメントの不足:アプリケーション内のシャドーAIとの連携部分が適切に文書化されていない場合、将来のアプリケーション更新時に考慮されず、アプリケーションが正しく動かなくなる可能性があります。

多くの組織は、開発者に開発プロセス中にAIモデルを実験的に使用することを許可したいと考えていますが、シャドーAIのエンドポイントを把握し、適切に保護することが不可欠です。

「シャドーAI経済」とは?

「シャドーAI経済」とは、多くの従業員が会社の許可を得ずにAIを使っており、報告書に示された企業のAI導入による投資利益率(ROI)が「公式な」数値よりも高い可能性があるということを示した言葉です。

シャドーAIの検出方法

セキュリティチームは、他の無許可のアプリケーションの使用を検出するのと同様の方法で、シャドーAIの利用を検出できます。次世代ファイアウォール(NGFW)やその他のセキュリティプロキシツールが提供する「アプリケーション認識機能」を使用して、アプリケーション層でネットワークトラフィックを監視することができます。また、DNSフィルタリングを使用してDNSクエリーを監視し、従業員がどのアプリにアクセスしているかを確認することもできます。クラウドアクセスセキュリティブローカー(CASB)およびデータ損失防止(DLP)の機能も、機密データの行き先を制限するのに役立ちます。詳しくはAI Security Suiteをご覧ください。

保護されていないAIエンドポイントについては、シャドーAIを検出する仕組みを導入することが最も効率的な対策です。CloudflareのAI Security for Appsは、セキュリティチームが認識しないままアプリに追加されたすべてのシャドーAIエンドポイントを検出します。これにより、どの大規模言語モデル(LLM)が、どこで動いているのかを完全に可視化できます。AI Security for Appsについての詳細はこちらをご覧ください。

 

よくある質問

ビジネスで「シャドーAI」という言葉を使う場合の意味は?

シャドーAIとは、従業員や請負業者が、組織のIT部門やセキュリティ部門の正式な承認または監視なしにAIツールを使用することを指します。生産性をすぐに高められたり、一般向けのアプリケーションの拡張機能として使える便利なAIツールが増えているため、このような利用はますます一般的になっています。

未認可のAIを使用する行為が企業のセキュリティに与える影響は?

未認可のAIツールの使用は、企業が持つ個人データへの保護されていない侵入口が作られ、攻撃者にとっての攻撃対象領域が拡大します。そもそもセキュリティ部門はこれらのツールが使用されていることを認識しないため、扱われる情報を保護することができません。

シャドーAIはどのように機密情報の漏洩につながるか?

従業員が知的財産や顧客データを非管理のAIツールにアップロードすると、その情報が外部データベースに保存されて意図せぬ間に組織外の他のユーザーに共有されてしまう可能性があります。共有されてしまった場合、規制コンプライアンス違反につながったり、そのAIを提供している企業でデータ漏洩が起きた場合の二次被害にさらされる可能性があります。

非管理のAIの利用がセキュリティ以外の、ビジネス目標に与える影響は?

社内データで最適化されていないAIツールは、会社の市場での立ち位置や戦略的背景を理解していないため、会社にとって最適でない回答や非現実的な結果を提示してしまう可能性があります。

シャドーAIをアプリに組み込むことで発生するリスクは?

監視されていないAPI経由でAIを組み込むと、「モデルポイズニング」(AIに過去に改ざんされたデータの影響を受けていること)の可能性や、「プロンプトインジェクション」(悪意のあるアクティビティによってモデルが予期しない動作をすること)の可能性があります。また、例えば、制御されていないチャットボットが、顧客に誤って本来許可されていない割引を提供してしまうことで企業の信頼が損なわれる「評判のリスク」もあります。