AIクローラーをブロックする方法
Webクローラー（Webスクレイパーとも呼ばれます）は、Web上のコンテンツにアクセスして、コンテンツをダウンロードしたり、コンテンツのインデックスを作成する種類のボットで、その一部は検索エンジンから送り出されるもので、Web上のコンテンツをインデックス化および分類するために使用されますが、Webサイト所有者の許可なくコンテンツをスクレイピングまたはダウンロードするために送り込まれる悪意のあるものも存在します。
人工知能（AI）クローラーは、Webクローラーの一種で、スクレイピングしたコンテンツを使用して大規模言語モデル（LLM）をトレーニングしたり、モデルが生成する回答内容に貢献します。
AIクローラーは、検索エンジンが送り出す従来のクローラーと同様に動作し、情報をインデックス化して、ユーザーの問い合わせに回答する一方で、そのような動作が、Webサイト所有者にとって問題となる可能性があります。これらの問題を理解することは、オリジナルコンテンツの制御を取り戻すための第一歩となります。
AIクローラーが引き起こす可能性のある問題とは？
コンテンツ発行者にとって問題となるAIクローラーの活動には、次のようなものがあります：
- コンテンツの保護を目的にサイトに設定したポリシーを無視する：AIクローラーはHTTPリクエストを送信してサイトのコンテンツをダウンロードしますが、本来であればこの際、サイトに自分がボットであることを明確に示してから、コンテンツ、テキスト、リンク、メタデータ、タグを解析する必要があります。ボットはサイトのポリシー、robots.txtファイルのプロトコル、および一般的なサイトガイドラインに従って行動する必要があります。しかし、多くのAIクローラーは、特定のサイトのルールや規制を無視し、許可の有無にかかわらず、見つけたものをすべて取得してしまいます。
- 知的財産（IP）の盗用：AIクローラーやそれを使用したLLMが、参照元を示さずに、元のコンテンツをAIが要約したコンテンツとして提示する場合があります。また、クローラーやLLMは、特定の考えや思想の正確性や重要性を適切に評価することなく、複数のサイトからのコンテンツを無差別に組み合わせ、一部のコンテンツを過剰または過小に強調する可能性があります。
- オリジナルコンテンツへの訪問者減少：AIが生成した要約に元のWebサイトへのリンクを記載している場合でも、検索者は要約で満足してしまい、元のサイトへの訪問が減少する可能性があります。その結果、元のWebサイトへのトラフィックが減少し、Webサイト保有者の広告収入が減少します。
- バイアスや不正確な情報の拡散：AIクローリングは、取得したデータに潜むバイアスや意図的な誤情報を評価することなく、そのまま強調した要約を提示する可能性があります。また、AIモデルは不足している情報を勝手に作り出して補うことがあり、「ハルシネーション」を起こしやすくなっています。
- サイトパフォーマンスの低下：ボットがWebサイトに何度も訪れてスクレイピングすると、サーバーの応答速度が低下したり、ページ読み込み時間が長くなったり、帯域幅のコストが上昇する可能性があります。
コンテンツ提供者がAIクローラーを特定し、制限するための対策は？
AIクローラーの管理で最初に行うべきことは、その活動をより良く理解し、可視性を高めることです。どのクローラーがサイトにアクセスしているか、その頻度、およびそれらが送信するリファラーの数を理解することで、以降の対策方針を決めやすくなります。
その上で、Webサイト所有者は、許可するクローラーとブロックするクローラーを分ける多層戦略を実装できます。具体的な戦術には、次のようなものがあります：
- robots.txtファイルを更新して、AIクローラーによる特定のコンテンツへのアクセスを制限します。ただし、一部のクローラーには、ファイルとその指示に従わずに無視し続けるものがあります。
- メタタグを使用して、AIクローラーにサイトの全部または特定の部分をLLMのトレーニングに使用しないよう指示します。
- 人間とボットを区別して、人間によるアクセスの速度を落とすことなくボットを制限します。WebサイトはこれまでCAPTCHAを使用してユーザーが人間であることを証明してきましたが、Cloudflare Turnstileなどの高度な技術うを使用すると、ユーザーの手間を減らしながら人間かボットかを判定できるようになります。これは、robots.txtファイルの指示を無視するAIクローラーを制限する非常に有効な方法です。
- 良質なボットと悪質なボットを区別して、良質なボットが持つメリットを引き続き受けられるようにします。最新のボット管理ソリューションは、悪意のあるボットをブロックし、それ以外からのサイトへのアクセスを許可する機能を備えています。
- Webアプリケーションファイアウォール（WAF）ソリューションを通じてレート制限を採用し、AIクローラーが特定のコンテンツに対する過剰なアクセスをブロックまたは遅延させます。
- WAFを導入して、AIクローラーであることが判明しているIPアドレスからのサイトへのアクセスを排除します。
- CloudflareのAIラビリンスなどのツールを使用することで、不正なクローラーを捕捉し、サイトのrobots.txtファイルを無視すると特定されたAIボットのみに、無意味なコンテンツとリンクの迷路に送り込むことができます。
- 初期設定ですべてのクローラーをブロックして、クリーンな状態から開始します。新しいWebサイトを立ち上げる際、最初にすべてのクローラーをブロックするという選択肢もあります。後でクローラーを特定、監視、許可（制限付きで）する仕組みを実装することができます。
CloudflareはどのようにAIクローラーから攻撃から保護しますか？
Cloudflare AI Crawl Controlを使用することで、Webコンテンツ所有者はAIクローラーを制御できるようになります。Cloudflareは、Webプロパティ全体の約20%の前段に配置されており、あらゆる種類のクローラーの活動内容を詳細に把握しています。この高い可視性を活かして、AI Crawl Controlは以下を可能にします。
こちらをクリックすると無料で開始できます。
よくある質問
AIクローラーとは何か？その仕組みは？
AIクローラーは、インターネット上のコンテンツにアクセスして、コンテンツをダウンロードしたり、コンテンツのインデックスを作成するWebクローラー（Webスクレイパー）の一種で、収集したデータは大規模言語モデル（LLM）のトレーニングに使用したり、モデルが生成する回答内容を向上させるために使用します。
AIクローラーがWebサイト所有者にもたらす主な問題は？
AIクローラーは、robots.txtファイルに記載されているようなサイトポリシーを無視したり、知的財産（IP）を盗用したり、オリジナルコンテンツへの訪問者数を減らしたり、サイトのパフォーマンスを低下させたり、偏った情報を提供したり、不正確な情報を生成したりする可能性があります。
コンテンツ提供者が自サイトに対するAIクローラーのアクセスを制限するための対策は？
コンテンツ提供者が取れる対策として、robots.txtファイルの更新、メタタグでサイト内の指定部分をクローラーからブロックする、人間とボットの区別、レート制限の適用、不正なクローラーの捕捉など、多層的な戦略を実装することができます。
コンテンツ提供者が、良質なWebクローラーと悪質なWebクローラーを区別する方法は？
最新のボット管理ソリューションを利用することで、有益なクローラーがサイトにアクセスできるようにしつつ、悪意のあるボットをブロックできます。また、新たに立ち上げたWebサイトでは、始めはデフォルトですべてのクローラーをブロックする選択肢もあります。
Cloudflare AI Crawl Controlは、Webサイトの所有者がAIクローラーの活動を管理する上で、どのように役立ちますか？
Cloudflare AI Crawl Controlは、コンテンツ所有者がクロールパターンを理解し、クローラーのアクティビティを管理するだけでなく、AIクローラーの所有者からコンテンツ使用料を請求する機能も備えています。