Comment gérer les bons bots | Bons bots ou mauvais bots

Qu'entend-on par bons bots ?

Un bot est un programme informatique qui automatise les interactions avec les propriétés web sur Internet. Nous utilisons le terme « bon » bot pour désigner tout bot qui effectue des tâches qui ne sont pas intentionnellement nuisibles aux sites web ou autrement malveillantes. Étant donné que les bons bots peuvent partager des caractéristiques avec les mauvais bots, il peut être difficile de bloquer les mauvais bots tout en permettant aux bons de passer.

Il existe de nombreux types de bons bots, chacun étant conçu pour différentes tâches. Voici quelques exemples :

• Bots de moteur de recherche : également appelés robots d'indexation ou spiders, ces bots « explorent » ou examinent le contenu de presque tous les sites Web sur Internet. Ils indexent ensuite ce contenu pour qu'il puisse apparaître dans les résultats des moteurs de recherche lors de recherches pertinentes par les utilisateurs. Ces bots sont exploités par des moteurs de recherche comme Google, Bing ou Yandex.
• Robots d'indexation IA : similaires aux robots d'indexation des moteurs de recherche, ces bots copient le contenu pour l'utiliser dans les grands modèles de langage (LLM), la génération augmentée par récupération (RAG) et d'autres cas d'utilisation de l'IA. (Les opérateurs de robots d'exploration IA ne nuisent généralement pas intentionnellement aux sites web explorés, toutefois, ceux qui extraient du contenu original peuvent imposer des coûts directs aux opérateurs de sites web, car ils peuvent envoyer de nombreuses requêtes de pages web.)
• Bots de droits d'auteur : bots qui explorent des plateformes ou des sites Web à la recherche de contenu pouvant enfreindre la loi sur les droits d'auteur. Ces bots peuvent être exploités par toute personne ou entreprise propriétaire de matériel protégé par des droits d'auteur. Les bots de droits d'auteur peuvent rechercher des œuvres reproduites, telles que des textes, de la musique, des images ou même des vidéos.
• Bots de surveillance de site : ces bots surveillent les indicateurs des sites Web, par exemple, la surveillance des backlinks (liens entrants) ou des pannes de système, et peuvent alerter les utilisateurs des changements majeurs ou des temps d'arrêt. Par exemple, Cloudflare exploite un robot d'indexation appelé Always Online qui indique au réseau Cloudflare de fournir une version mise en cache d'une page web si le serveur d'origine est en panne.
• Bots commerciaux : bots exploités par des entreprises commerciales qui explorent Internet pour trouver des informations. Ces bots peuvent être exploités par des sociétés d'études de marché qui surveillent les bulletins d'actualités ou les revues clients, par des réseaux qui optimisent les endroits où ils affichent des annonces ou encore par des agences de SEO qui explorent les sites Web des clients.
• Bots de fil d'actualités : ces bots explorent Internet à la recherche de contenu digne d'intérêt à ajouter au fil d'actualités d'une plateforme. Les sites agrégateur de contenus ou les réseaux de médias sociaux peuvent les utiliser.
• Chatbots : les chatbots (aussi appelés dialogueurs ou agents conversationnels) imitent la conversation humaine en répondant aux utilisateurs avec des réponses préprogrammées. Certains agents de dialogue sont suffisamment complexes pour poursuivre de longues conversations.
• Bots assistants personnels : Siri ou Alexa en sont des exemples courants. Souvent alimentés par l'IA, ces programmes sont bien plus avancés que les bots typiques.

Bons bots ou mauvais bots

Les administrateurs de sites web doivent faire attention à ne pas bloquer involontairement les « bons » bots lorsqu’ils tentent de filtrer le trafic lié aux bots. De nombreux sites Web, par exemple, laissent généralement passer les robots d'indexation Web des moteurs de recherche, car sans eux, un site Web ne peut pas apparaître dans les résultats de recherche.

Les mauvais bots peuvent voler des données, pénétrer dans des comptes d'utilisateurs, envoyer des données indésirables via des formulaires en ligne et effectuer d'autres activités malveillantes. Les mauvais bots comprennent les bots de credential stuffing, les bots de scraping de contenu, les bots de spam et les bots de fraude au clic.

Qu'est-ce que robots.txt ?

Une bonne gestion des bots commence par une correcte des règles dans le fichier robots.txt d'un site Web. Un fichier robots.txt est un fichier texte qui se trouve sur un serveur web et indique les règles pour tous les bots accédant au site Web ou à l'application hébergés. Ces règles définissent les pages que les robots peuvent et ne peuvent pas explorer, les liens qu'ils doivent et ne doivent pas suivre, ainsi que d'autres instructions concernant le comportement des bots. Cloudflare propose un service géré de robots.txt pour simplifier le processus de configuration de ces règles.

Certains bons bots, pas tous, suivront les préférences déclarées dans les fichiers robots.txt. Par exemple, Google a indiqué que si un propriétaire de site web ne veut pas qu’une certaine page de son site apparaisse dans les résultats de recherche Google, il peut écrire une règle dans le fichier robots.txt pour empêcher Googlebot d’indexer cette page. De même, si un site web ne souhaite pas que son contenu soit utilisé pour entraîner des LLM, il peut le faire savoir via un fichier robots.txt. En réalité, les fichiers robots.txt ne bloquent pas réellement l’accès des bots aux sites web, et certains opérateurs de bots les ignorent tout simplement.

Qu'est-ce qu'une liste verte ?

Une liste verte peut être comparée à une liste d'invités pour une réception. Si une personne qui ne figure pas sur la liste des invités essaie de participer à la réception, le personnel de sécurité la bloquera à l'entrée. Toute personne figurant sur la liste peut participer librement à la réception. Un tel filtrage est nécessaire car des invités indésirables peuvent mal se comporter et gâcher la fête pour tout le monde.

Pour la gestion des bots, c'est essentiellement comme ça que fonctionnent les listes vertes. Une liste d'autorisation est une liste de robots qui sont autorisés à accéder à une propriété web. En général, cela se fait par le biais de ce que l'on appelle l'« agent utilisateur », l'adresse IP du robot, ou une combinaison des deux. Un agent utilisateur est une chaîne de texte qui identifie le type d'utilisateur (ou de robot) sur un serveur Web.

En maintenant à jour une liste d'agents utilisateurs de bons bots autorisés, tels que ceux appartenant aux moteurs de recherche, puis en bloquant tous les bots ne figurant pas sur la liste, un serveur web peut garantir l'accès aux bons bots.

Les serveurs web peuvent également avoir une liste de blocage de bots malveillants connus.

Qu'est-ce qu'une liste de blocage ?

Une liste de blocage, dans les réseaux, est une liste d'adresses IP, d'agents utilisateurs ou d'autres indicateurs d'identité en ligne qui ne sont pas autorisés à accéder à un serveur, un réseau ou une propriété web. Il s'agit d'une approche légèrement différente de l'utilisation d'une liste verte : une stratégie de gestion des bots basée sur une liste noire bloquera ces bots spécifiques et autorisera tous les autres bots, tandis qu'une stratégie basée sur une liste blanche n'autorisera que les bots spécifiés et bloquera tous les autres.

Les listes vertes sont-elles suffisantes pour laisser les bons bots accéder à un site et exclure les mauvais bots ?

Il est possible pour un bot malveillant de truquer sa chaîne d'agent utilisateur afin de ressembler à un bon bot, au moins au début, à l'instar d'un voleur qui utiliserait une fausse carte d'identité en prétendant être sur la liste des invités et se faufiler dans un événement.

Par conséquent, pour détecter l'usurpation, les listes blanches de bons bots doivent être combinées avec d'autres techniques telles que l'analyse comportementale ou l'apprentissage automatique. Cela permet d'identifier proactivement les mauvais bots et les bons bots inconnus, en plus de la simple autorisation des bons bots connus.

Qu'en est-il des bots d'IA ?

La plupart des outils d'IA s'entraînent sur des contenus provenant du web. Les robots d'indexation IA explorent le web à la recherche de nouveaux contenus. Cela peut être bon ou mauvais selon le modèle économique d'un site Web donné.

Certains opérateurs de sites web peuvent constater que l'indexation en continu des bots d'IA épuise leurs infrastructures ou fait grimper leurs coûts de bande passante. D'autres constateront que leurs modèles commerciaux sont affectés négativement s'ils comptent sur leur contenu original pour générer des revenus (par exemple, un modèle de revenus basé sur la publicité). En effet les outils d'IA peuvent utiliser leur contenu pour répondre aux requêtes des utilisateurs sans que ces derniers n'atteignent leur site web.

Que fait une solution de gestion des bots ?

Un produit de gestion des bots permet aux bons bots d'accéder à une propriété web, bloque les mauvais bots et aide les administrateurs de sites web à gérer leurs relations avec les bots et les outils d'IA. Cloudflare Bot Management utilise l'apprentissage automatique et l'analyse comportementale du trafic sur l'ensemble de son réseau pour détecter les mauvais bots tout en autorisant automatiquement et continuellement les bons bots. Avec robots.txt géré, Cloudflare peut modifier automatiquement les fichiers robots.txt des sites web pour refléter les préférences des administrateurs de sites web. Et avec sa fonctionnalité de paiement à l'exploration, Cloudflare permet aux administrateurs de sites web d'autoriser ou de bloquer des robots d'indexation spécifiques, ou encore de facturer les opérateurs de ces robots pour chaque exploration.

FAQ

Qu’est-ce qu’un « bon » bot ?

Un bon bot est un programme informatique qui automatise des tâches sur Internet sans être délibérément malveillant ni préjudiciable aux sites web. Parmi les exemples, on trouve les bots d’indexation des moteurs de recherche qui indexent les pages web et aident les sites web à générer du trafic, les bots de détection de droits d’auteur qui trouvent du contenu piraté, ou encore les bots de surveillance de site qui vérifient les pannes.

Pourquoi la gestion des bons bots est-elle importante ?

La stratégie de gestion des bots d’un site web doit distinguer les bons des mauvais bots. Il est important d’autoriser les bons bots, tels que les robots d’indexation des moteurs de recherche, à accéder à un site afin que celui-ci apparaisse dans les résultats de recherche. Parallèlement, certains bons bots, tels que les robots d’indexation d’IA, peuvent envoyer un volume élevé de requêtes, ce qui pourrait augmenter les coûts de bande passante d’un site ou épuiser ses serveurs backend s’ils ne reçoivent pas d’instructions explicites les empêchant de le faire.

Qu’est-ce qu’un fichier robots.txt ?

Fichier texte situé sur un serveur web, un fichier robots.txt fournit des règles pour les bots. Ces règles peuvent spécifier les pages que les bots sont autorisés à explorer, les liens qu’ils peuvent suivre et la fréquence à laquelle ils peuvent explorer un site web. Il s’agit d’un point de départ pour une approche solide de la gestion des bots, bien que certains bots puissent ignorer ces règles.

Comment puis-je contrôler quels bots accèdent à mon site web ?

Deux méthodes sont couramment utilisées : la liste d’autorisation et la liste de blocage. Une liste d’autorisation est comme une liste d’invités. Elle répertorie les bots autorisés à accéder à votre propriété web, tous les autres étant quant à eux bloqués. Une liste de blocage est tout l’inverse : elle recense des bots spécifiques dont l’accès est refusé, tandis que tous les autres sont autorisés.

L’utilisation d’une liste d’autorisation suffit-elle à tenir les bots malveillants à l’écart ?

Une liste d’autorisation ne suffit pas toujours à elle seule. Les bots malveillants peuvent parfois falsifier leur identité pour la contourner. Par conséquent, les listes d’autorisation doivent être combinées avec d’autres méthodes telles que l’analyse comportementale ou l’apprentissage automatique pour détecter l’activité des bots malveillants.

En quoi une solution de gestion des bots est-elle utile ?

Une solution de gestion des bots est conçue pour autoriser les bons bots, bloquer les bots malveillants et aider les propriétaires de sites web à gérer leurs interactions avec différents types de robots d’indexation. Par exemple, Cloudflare Bot Management recourt à l’apprentissage automatique et à l’analyse comportementale pour détecter les bots malveillants tout en gérant automatiquement une liste d’autorisation de bons bots vérifiés.