Cómo gestionar los bots beneficiosos | Bots beneficiosos vs. bots perjudiciales

¿Cuáles son los bots beneficiosos?

Un bot es un programa informático que automatiza las interacciones con las propiedades web en Internet. Usamos el término "bot bueno" para referirnos a cualquier bot que realiza tareas que no son intencionalmente perjudiciales para los sitios web ni maliciosas de otro modo. Debido a que los bots beneficiosos pueden compartir características con los bots perjudiciales, bloquear los bots perjudiciales pero no los beneficiosos puede ser un desafío.

Hay muchos tipos de bots beneficiosos, cada uno diseñado para tareas diferentes. Aquí tienes algunos ejemplos:

• Bots de motores de búsqueda: También conocidos como arañas web (crawler), estos bots "rastrean" o revisan el contenido de casi todos los sitios web en Internet. Luego, indexan ese contenido para que aparezca en los resultados de los motores de búsqueda en búsquedas relevantes de los usuarios. Son operados por motores de búsqueda como Google, Bing o Yandex.
• Rastreadores de IA: Al igual que los rastreadores de motores de búsqueda, estos bots copian contenido para su uso en modelos de lenguaje de gran tamaño (LLM), generación aumentada por recuperación (RAG) y otros casos de uso de IA. (Aunque los operadores de rastreadores de IA generalmente no dañan intencionadamente los sitios web rastreados, aquellos que extraen contenido original pueden imponer costos directos a los operadores de sitios web, ya que pueden enviar muchas solicitudes de páginas web).
• Bots de copyright: bots que rastrean plataformas o sitios web en busca de contenido que pueda violar la ley de derechos de autor. Estos bots pueden ser utilizados por cualquier persona o empresa que posea material con derechos de autor. Los bots de copyright pueden buscar texto, música, imágenes o incluso vídeos duplicados.
• Bots de monitorización de sitios: estos bots monitorizan las métricas del sitio web (por ejemplo, la monitorización de retroenlances o de las interrupciones del sistema), y pueden alertar a los usuarios de cambios importantes o del tiempo de inactividad. Por ejemplo, Cloudflare maneja un bot rastreador llamado Always Online, que indica a la red de Cloudflare que debe servir una versión en caché de una página web si el servidor de origen ha dejado de funcionar.
• Bots comerciales: bots manejados por empresas comerciales que rastrean Internet en busca de información. Estos bots los pueden manejar empresas de investigación de mercado que supervisan los informes de noticias o las reseñas de los clientes, redes de publicidad que optimizan los lugares donde exhiben anuncios o agencias de SEO que rastrean los sitios web de los clientes.
• Bots de información: estos bots rastrean Internet en busca de contenido de interés periodístico para añadirlo a la transmisión de noticias de una plataforma. Los sitios de agregación de contenido o las redes sociales pueden manejar estos bots.
• Bots conversacionales: los bots conversacionales imitan la conversación humana al responder a los usuarios con respuestas preprogramadas. Algunos bots conversacionales son lo suficientemente complejos como para mantener largas conversaciones.
• Bots de asistentes personales: Siri o Alexa son ejemplos comunes. A menudo impulsados por IA, estos programas son mucho más avanzados que el típico bot.

Bots beneficiosos vs. bots perjudiciales

Los administradores de sitios web deben tener cuidado de no bloquear involuntariamente a los bots "buenos" al intentar filtrar el tráfico de bots malos. Muchos sitios web, por ejemplo, suelen permitir el paso a los bots rastreadores (web crawler) de los motores de búsqueda, porque sin ellos un sitio web no puede aparecer en los resultados de búsqueda.

Los bots perjudiciales pueden robar datos, entrar en las cuentas de los usuarios, enviar datos basura mediante formularios en línea y realizar otras actividades maliciosas. Entre los bots perjudiciales se incluyen bots de relleno de credenciales, bots de apropiación de contenido, bots de spam, y bots de fraude de clics.

¿Qué es robots.txt?

Una buena gestión de bots comienza con establecer correctamente las reglas en el archivo robots.txt de un sitio web. Un archivo robots.txt es un archivo de texto que reside en un servidor web y especifica las reglas para cualquier bot que acceda al sitio web o a la aplicación alojada. Estas reglas definen qué páginas pueden y no pueden rastrear los bots, qué enlaces deben y no deben seguir, y otras instrucciones para el comportamiento de los bots. Cloudflare ofrece un servicio gestionado de robots.txt para simplificar el proceso de configuración de estas reglas.

Algunos, aunque no todos los bots legítimos seguirán las preferencias declaradas en los archivos robots.txt. Por ejemplo, Google ha indicado que si el dueño de un sitio web no desea que una página específica de su sitio aparezca en los resultados de búsqueda de Google, puede establecer una regla en el archivo robots.txt para impedir que Googlebot indexe esa página. De manera similar, si un sitio web no desea que su contenido se utilice para entrenar los LLM, puede expresar esa preferencia mediante un archivo robots.txt. Para que quede claro, los archivos robots.txt no impiden realmente que los bots accedan a los sitios web, y algunos operadores de bots simplemente los ignoran.

¿Qué es una lista de permitidos?

Pensemos que una lista de permitidos es como la lista de invitados a un evento. Si alguien que no está en la lista de invitados intenta entrar en el evento, el personal de seguridad se lo impedirá. Cualquiera que esté en la lista puede entrar al evento sin problemas. Este enfoque es necesario, ya que los invitados que no están en la lista pueden comportarse mal y arruinar la fiesta para el resto.

En esencia, así es como funcionan las listas de permitidos para la gestión de bots. Una lista de permitidos es una lista de bots a los que se les permite acceder a una propiedad web. Normalmente esto funciona mediante lo que se conoce como "agente de usuario", la dirección IP del bot, o una combinación de ambos. Un agente de usuario es una cadena de texto que identifica el tipo de usuario (o bot) a un servidor web.

Al mantener una lista de agentes de usuario de bots beneficiosos permitidos, como los que pertenecen a los motores de búsqueda, y bloquear a continuación los bots que no están en la lista, un servidor web puede garantizar el acceso de los bots beneficiosos.

Los servidores web también pueden tener una lista de bloqueos de bots perjudiciales conocidos.

¿Qué es una lista de bloqueos?

En el contexto de redes, una lista de bloqueos es una lista de direcciones IP, agentes de usuario u otros indicadores de identidad en línea a los que no se permite acceder a un servidor, red o propiedad web. Se trata de un enfoque ligeramente diferente al uso de una lista de permitidos: una estrategia de gestión de bots basada en una lista de bloqueo bloqueará esos bots específicos y permitirá el paso de todos los demás, mientras que una estrategia de lista de permitidos solo permite el paso de bots específicos y bloquea todos los demás.

¿Son suficientes las listas de permitidos para dejar entrar a los bots beneficiosos y mantener fuera a los perjudiciales?

Es posible que un bot perjudicial falsifique su cadena de agente de usuario para que parezca un bot beneficioso, al menos al principio; al igual que un ladrón podría utilizar un carné de identidad falso para pretender que está estar en la lista de invitados y colarse en el evento.

Por lo tanto, las listas de permitidos de bots beneficiosos tienen que combinarse con otros enfoques para detectar la suplantación, como el análisis de comportamiento o el aprendizaje automático. Esto ayuda a identificar de forma proactiva tanto los bots perjudiciales como los beneficiosos que no sean conocidos, además de permitir la entrada de los bots beneficiosos conocidos.

¿Qué hay de los bots de IA?

La mayoría de las herramientas de IA se entrenan con contenido de la web. Los bots de rastreo de IA rastrean la web en busca de contenido nuevo. Esto puede ser bueno o malo dependiendo del modelo de negocio de un sitio web específico.

Algunos operadores de sitios web pueden descubrir que el rastreo continuo por parte de bots de IA agota sus sistemas de backend o incrementa excesivamente sus costos de ancho de banda. Otros pueden ver sus modelos de negocio afectados negativamente si dependen de su contenido original para obtener ingresos (p. ej., un modelo de ingresos basado en anuncios), ya que las herramientas de IA pueden utilizar su contenido para ayudar a responder las consultas de los usuarios sin que los usuarios accedan a su sitio web.

¿Qué hace una solución de gestión de bots?

Una solución de gestión de bots autoriza el acceso de bots legítimos, bloquea los no deseados y permite que los administradores de sitios web gestionen sus interacciones con los rastreadores y herramientas de IA. La gestión de bots de Cloudflare utiliza el aprendizaje automático y el análisis de comportamiento del tráfico en toda su red para detectar los bots maliciosos mientras permite de forma automática y continua los bots legítimos.Con robots.txt gestionado, Cloudflare puede modificar automáticamente los archivos robots.txt de los sitios web para reflejar las preferencias de los administradores del sitio. Y con la función de pago por rastreo de Cloudflare, la plataforma permite a los administradores de sitios web autorizar o bloquear rastreadores de IA específicos, e incluso cobrar el acceso de los rastreadores de IA de forma individual.

Preguntas frecuentes

¿Qué es un bot "bueno"?

Un bot bueno es un programa informático que automatiza tareas en Internet sin ser intencionalmente malicioso o perjudicial para los sitios web. Algunos ejemplos son los rastreadores de motores de búsqueda que indexan páginas web y ayudan a los sitios web a obtener tráfico, los bots de derechos de autor que detectan contenido pirateado y los bots de monitoreo de sitios que comprueban si hay interrupciones.

¿Por qué es importante gestionar bots adecuados?

La estrategia de gestión de bots de un sitio web debe distinguir entre los bots buenos y los maliciosos Es importante permitir que los bots buenos, como los rastreadores de motores de búsqueda, accedan a un sitio para que este pueda aparecer en los resultados de búsqueda. Al mismo tiempo, algunos bots buenos, como los rastreadores de IA, pueden enviar un gran volumen de solicitudes que podrían aumentar los costos de ancho de banda de un sitio o sobrecargar sus servidores backend si no se les proporcionan instrucciones directas para evitarlo.

¿Qué es un archivo robots.txt?

Un archivo robots.txt es un archivo de texto en un servidor web que proporciona reglas para los bots. Estas reglas pueden especificar qué páginas tienen permiso para rastrear los bots, qué enlaces pueden seguir y con qué frecuencia pueden rastrear un sitio web Es un punto de partida para una buena gestión de bots, aunque algunos bots podrían ignorar estas reglas.

¿Cómo puedo controlar qué bots acceden a mi sitio web?

Dos métodos comunes son las listas de permitidos y listas de bloqueados. Una lista de permitidos es como una lista de invitados; es una lista de bots a los que se les permite acceder a tu propiedad web, y todos los demás están bloqueados. Una lista de bloqueados es lo opuesto; es una lista de bots específicos a los que se les niega el acceso, mientras que se permite el acceso a todos los demás.

¿Es suficiente con usar una lista de permitidos para mantener fuera a los bots maliciosos?

Una lista de permitidos no siempre es suficiente por sí misma. A veces, los bots maliciosos pueden falsificar su identidad para evitar la lista de permitidos. Por lo tanto, las listas de permitidos deben combinarse con otros métodos, como el análisis de comportamiento o el aprendizaje automático, para detectar actividades de bots maliciosos.

¿Cómo ayuda una solución de gestión de bots?

Una solución de gestión de bots está diseñada para permitir el acceso a los bots buenos, bloquear los bots maliciosos y ayudar a los propietarios de sitios web a gestionar sus interacciones con los diferentes tipos de rastreadores. Por ejemplo, Bot Management de Cloudflare utiliza el aprendizaje automático y el análisis de comportamiento para detectar bots maliciosos mientras mantiene automáticamente una lista de permitidos para los bots buenos verificados.