AIの不正利用を防ぐ方法

記事の概要：

• AIの悪用を防ぐため、機密データの保護と、プロンプトインジェクションやデータ抽出による大規模言語モデルの悪用防止を中心とした堅牢なセキュリティ層を実装します。
• AIの悪用を防ぐ包括的なガバナンスフレームワークとモニタリングを確立し、自動化システムがディープフェイクの生成、誤情報の拡散、高度なサイバー攻撃の実行に利用されないようにします。
• モデルのトレーニングと展開における脆弱性を無力化することで、AIライフサイクル全体を保護します。これは、AI悪用を防ぎ、進化する脅威に対抗して組織のインテグリティを維持するために必須です。

AIの不正利用を防ぐ方法

人工知能（AI）システムは非常に強力であり、多くの企業が重要な業務プロセスの中に組み込んでいます。AIが不適切に使用された場合、アプリケーションやインフラに対する問題が引き起こされたり、組織がコンプライアンス違反や評判のリスクにさらされたり、最悪の場合、人命に関わる危険につながることもあります。このような不正使用を防ぐために、AIモデルにセキュリティ対策（ガードレール、アクセス制御、指示内容の検証など）を実装する必要があります。また、AIを使ったアプリケーションの基盤に人間が確認に関与する仕組み（HITL：Human-in-the-loop）を取り入れるなどの設計上の工夫によっても、不正利用のリスクを軽減することができます。

AIの不正使用とは？

AIの不正使用とは、開発者が想定した目的以外でAIモデルが利用されること、特に悪意のある目的や不正な目的で使用されることを指します。AIモデルの性能が向上するにつれて、不正使用を防ぐ重要性も高まっています。多くのAI専門家は、ならず者国家やテロ組織によるAIの利用の可能性を懸念しています（これらの組織はすでにAIを利用している可能性があります）。

OWASPの大規模言語モデル（LLM）に関するリスクトップ10では、AIモデルの不正使用例として、プロンプトインジェクションによるAIの動作を操作する行為、機密データの漏洩させる行為、LLMを改ざんすることでそのLLMを使用するアプリケーションにも連鎖的に脆弱性を生じさせる行為などが挙げられています。

これに加え、個人がAIモデルを使用して、武器を作るための指示から有害で露骨なコンテンツまで、危険または違法なコンテンツにアクセスしたり生成したりしようとする行為も考えられます。

日常的にAIを利用する個人や企業にとって、AIの不正使用を防ぐことは、データ、ブランド、顧客を守るだけでなく、データプライバシー規制のコンプライアンスを維持するためにも重要です。

生成AIはどのような形でソーシャルエンジニアリングやその他の攻撃に悪用される可能性があるか？

攻撃者は、さまざまな種類のサイバー攻撃の支援にAIモデルを使用できます。生成AIモデルやAIエージェントにソフトウェアの脆弱性を見つけさせたり、場合によってはゼロデイエクスプロイトにつながる欠陥を発見することも可能です。また、マルウェアを作成したり、フィッシングメッセージを作成してソーシャルエンジニアリング攻撃をより巧妙化したり、攻撃対象となる人物を特定することにも利用される可能性があります。エージェント型AIアプリケーションは、長期間にわたるフィッシング攻撃やランサムウェア攻撃などを自動で実行できる可能性があり、APT攻撃（Advanced Persistent Threat）や組織的な犯罪グループの能力の底上げに利用される恐れがあります。

セキュリティガードレールが設置された生成AIモデルでさえ、プロンプトインジェクションやジェルブレイクなどの手法によって、悪意のある第三者によって自己の目的のためにモデルを悪用される可能性があります。

AIの不正使用を防ぐための戦略

AIアプリケーションやモデルの開発者は、開発から実装までのプロセス全体を通して多くのセキュリティ対策を組み込むことで、AIアプリケーションが意図した目的以外で使用されることを防ぐ必要があります。

トレーニングデータの検証

モデルは本番環境で使われる前にトレーニングを行います。AIの不正使用を防ぐためには、まずトレーニングデータを検証し、偏ったデータ、個人情報を含むデータ、または不正な動作を引き起こす隠れたバックドアが含まれていないことを確認する必要があります。

モデルを高精度なものにするには大量の学習データが必要なため、データはさまざまな場所から集められることが多く、その分サプライチェーン攻撃の影響を受けやすくなります。また、悪意のある攻撃者は意図的に偏りやバックドアを仕込む目的で、データポイズニング攻撃を使用してトレーニングデータを改ざんする可能性もあります。また、データ侵害者が組織外から直接データベースに侵入したり、内部脅威者がトレーニングデータを破損したりする可能性もあります。

データ検証に加えて、次のような対策がデータポイズニング攻撃の防止に役立ちます：

• 最小特権の原則：ゼロトラストの考え方に基づき、トレーニングデータにアクセスできる人やシステムを必要最小限に制限します。これにより、外部からの攻撃者によってトレーニングデータが破壊されるリスクを低減できます。
• 複数のデータソースを利用する：複数のトレーニングデータのソースから抽出することで、単一のソースからのデータに存在する偏りを補正することができます。
• 監視と監査：保存されたトレーニングデータの変更履歴を記録することで、不審な操作を追跡し、トレーニングデータが改ざんされたかどうかを特定することができます。
• 敵対的トレーニング：意図的に誤解を招くような入力を認識できるようにAIモデルをトレーニングします。

多くの組織は、自分たちでLLMをトレーニングしていません。LLMプロバイダーが提供するLLMモデルを利用する企業にとって、LLMプロバイダーがモデルをデータポイズニングから守るためにどのようなセキュリティ対策をとっているかを理解することは重要です。

LLMを利用する企業は、用途に合わせてLLMの性能を最適化するために検索拡張生成（RAG）を使うことが一般的です。そのため、RAGで使用する社内データセットについても、検証とセキュリティ対策を行うことが不可欠です。

AIガードレール

AIガードレールとは、AIモデルの動作を、あらかじめ決められた範囲内に制限するためのポリシーや制御のことです。たとえば、メールの作成を許可しつつフィッシングメールの作成を阻止したり、通常の関数のコードの記述を許可しつつ脆弱性エクスプロイトを書くことを阻止することもできます。

ガードレールは、トレーニングデータ（前述）だけでなく、アプリケーションやインフラストラクチャまで、すべての領域でAIモデルを保護するよう設置する必要があります。

• インフラのガードレール：API保護、ネットワークセキュリティ、暗号化、IDおよびアクセス管理（IAM）などのクラウドネイティブなセキュリティ対策で、クラウド上で動作するAIの処理を保護します。
• アプリケーションのガードレール：AIモデルは通常、APIを介してユーザー向けアプリケーションに組み込まれます。API側でポリシーを設定することで、モデルの制限をすり抜けた危険な内容や不適切な内容をブロックできます。
• モデルのガードレール：意図した目的に向けて最適化するため、モデルを微調整して精度を高めます。望ましくない回答の例を学習させておくことで、推論の際にそのような回答を生成しないようにします。

公開アプリケーションにAIを組み込む企業のほとんどは、既存のAIモデルを使用しています。この場合、アプリケーションのガードレールとインフラストラクチャのガードレールが、最も直接的な制御を提供できます。同時に、利用しているAIモデルの提供元がどのようなガードレールを実装しているかを理解しておくことも重要です。

プロンプト検証

AIモデルは、プロンプトインジェクション攻撃（モデルを騙してガードレールから外れた回答を出すように仕向ける不正なプロンプト）に弱いという特徴があります。意図的な攻撃とは別に、ユーザープロンプトが、違法、危険、または露骨なコンテンツの要求など、モデルの利用規約に違反する場合もあります。

プロンプト検証は、入力されたプロンプトに有害または不正なリクエストが含まれていないことを確認するのに役立ちます。APIスキーマの検証機能がAPIのスキーマに準拠しない不正なリクエストをブロックするのと同じように、プロンプト検証はAIモデルに送られる前に入力内容をチェックし、安全でない内容を検出してブロックします。

ヒューマン・イン・ザ・ループ（HITL）

ヒューマン・イン・ザ・ループ（HITL）は、非監視状態にあるAIモデルが行う判断のリスクを軽減するためのアーキテクチャ上のアプローチの1つで、AIの処理の流れに人間の管理者が介入して、AIモデルが行った判断を承認できるようにするものです。モデルは人間の直接的なフィードバックで訓練することも、プロンプトに対する回答に自信が持てない場合に人間の支援を求めるように設定することもできます。

データ損失防止（DLP）

データ損失防止（DLP）は、機密データがセキュリティで保護された環境の外へ持ち出されるのを防ぐための技術の総称です。DLPは、各APIリクエストやAIへのプロンプトの内容を複数の技術（データのフィンガープリント、キーワード照合、パターン照合など）で調査して機密データを特定し、必要に応じてリクエストをブロックすることができます。

またDLPは、社内情報が外部のLLMに入力されるのを防ぐために、特定のWebページやアプリからのコピー&ペーストを制限することもできます。

シャドーAIの検出

AIの不正使用を防ぐためには、どこで不正使用が起こる可能性があるのか、またどこに影響が出る可能性があるのかを組織が正確に把握しておく必要があります。AIモデルは、多くのアプリ開発者が直面するシャドーAPIの問題と同様に、予期しない場所や不正な場所でアプリケーションインフラストラクチャに組み込まれてしまうことがよくあります。シャドーAIの検出は、AIが不正使用されてしまうリスクがどこにあるかを特定し、組織が適切なガードレールと安全対策を導入するのに役立ちます。

CloudflareでAIの不正使用を防ぐ方法

Cloudflare AI Security Suiteは、組織がシャドーAIを検出し、モデルを不正使用から保護し、AIエージェントへのアクセスを保護し、データ漏洩を阻止することを可能にします。これにより、企業はセキュリティを維持しながらAIの導入を加速することができます。AI Security Suiteについての詳細はこちらをご覧ください。

 

よくある質問

AIの不正使用とは？

AIの不正使用とは、個人や組織がAIモデルを本来の目的とは異なる用途で利用することを指し、特に人を騙したり、違法行為や有害な目的の前段として使う場合を含みます。例えば、AIに危険な内容や制限されている内容を作成させたり、不正行為や詐欺を行う目的でAIを利用することがこれに当たります。

攻撃者はサイバー攻撃に生成AIモデルをどのように利用するか？

悪意のある攻撃者は、生成AIを使用して、マルウェアの作成、ソフトウェアの脆弱性の特定、ゼロデイ攻撃につながる脆弱性を発見することができます。また、説得力のあるフィッシングメッセージを生成したり、長期間にわたる標的型フィッシング（スピアフィッシング）の対象を特定するなど、ソーシャルエンジニアリング攻撃の自動化にも利用することもできます。さらに、生成AIモデルに対するプロンプトインジェクション攻撃で機密情報を漏えいさせることもできます。

モデルを本番フェーズに入れる前に開発者が実施すべき保護策は？

セキュリティ対策はトレーニング段階から始まります。学習データに偏りや個人情報、隠れたバックドアが含まれていないかを検証することが重要です。また、AIモデルの開発者は、複数のデータソースを使用すること、データへのアクセスに最小権限の原則を適用すること、さらに不正な入力を見分けられるように敵対的トレーニングを行うことが推奨されます。

AIガードレールとは？

ガードレールとは、AIの動作をあらかじめ決められた安全な範囲内に制限するためのポリシーや制御のことです。

プロンプト検証がセキュリティ侵害を防ぐ仕組みは？

プロンプト検証は、AIモデルに到達する前に、不正または有害なリクエストを識別してブロックするフィルターとして機能します。このプロセスは、システムを騙してガードレールを外れた回答を得ようとするプロンプトインジェクション攻撃を阻止するのに役立ちます。