Cómo gestionar los bots beneficiosos | Bots beneficiosos vs. bots perjudiciales

¿Cuáles son los bots beneficiosos?

Un bot es un programa informático que automatiza las interacciones con propiedades web en Internet. Utilizamos el término "bot bueno" para referirnos a cualquier bot que realiza tareas que no son intencionadamente perjudiciales para los sitios web ni maliciosas de otro modo. Dado que los bots buenos pueden compartir características con los malos, bloquear los malos sin bloquear los buenos puede resultar complicado.

Hay muchos tipos de bots beneficiosos, cada uno diseñado para tareas diferentes. Aquí tienes algunos ejemplos:

• Bots de motores de búsqueda: también conocidos como rastreadores web o arañas, estos bots "rastrean" o revisan el contenido de casi todos los sitios web de Internet. A continuación, indexan ese contenido para que pueda aparecer en los resultados de los motores de búsqueda cuando los usuarios realizan búsquedas relevantes. Son operados por motores de búsqueda como Google, Bing o Yandex.
• Rastreadores de IA: al igual que los rastreadores de motores de búsqueda, estos bots copian contenido para su uso en modelos de lenguaje de gran tamaño (LLM), generación aumentada por recuperación (RAG) y otros casos de uso de la IA. (Aunque los operadores de rastreadores de IA no suelen dañar intencionadamente los sitios web rastreados, aquellos que extraen contenido original pueden imponer costes directos a los operadores de los sitios web, ya que pueden enviar muchas solicitudes de páginas web).
• Bots de copyright: bots que rastrean plataformas o sitios web en busca de contenido que pueda violar la ley de derechos de autor. Estos bots pueden ser utilizados por cualquier persona o empresa que posea material con derechos de autor. Los bots de copyright pueden buscar texto, música, imágenes o incluso vídeos duplicados.
• Bots de monitorización de sitios: estos bots monitorizan las métricas del sitio web (por ejemplo, la monitorización de retroenlances o de las interrupciones del sistema), y pueden alertar a los usuarios de cambios importantes o del tiempo de inactividad. Por ejemplo, Cloudflare maneja un bot rastreador llamado Always Online, que indica a la red de Cloudflare que debe servir una versión en caché de una página web si el servidor de origen ha dejado de funcionar.
• Bots comerciales: bots manejados por empresas comerciales que rastrean Internet en busca de información. Estos bots los pueden manejar empresas de investigación de mercado que supervisan los informes de noticias o las reseñas de los clientes, redes de publicidad que optimizan los lugares donde exhiben anuncios o agencias de SEO que rastrean los sitios web de los clientes.
• Bots de información: estos bots rastrean Internet en busca de contenido de interés periodístico para añadirlo a la transmisión de noticias de una plataforma. Los sitios de agregación de contenido o las redes sociales pueden manejar estos bots.
• Bots conversacionales: los bots conversacionales imitan la conversación humana al responder a los usuarios con respuestas preprogramadas. Algunos bots conversacionales son lo suficientemente complejos como para mantener largas conversaciones.
• Bots de asistente personal: Siri o Alexa son ejemplos comunes. A menudo impulsados por IA, estos programas son mucho más avanzados que el típico bot.

Bots beneficiosos vs. bots perjudiciales

Los administradores de sitios web deben tener cuidado de no bloquear involuntariamente a los bots "buenos" al intentar filtrar el tráfico de bots malos. Muchos sitios web, por ejemplo, suelen permitir el paso de los bots rastreadores web, porque sin ellos un sitio web no puede aparecer en los resultados de búsqueda.

Los bots perjudiciales pueden robar datos, entrar en las cuentas de los usuarios, enviar datos basura mediante formularios en línea y realizar otras actividades maliciosas. Entre los bots perjudiciales se incluyen bots de relleno de credenciales, bots de apropiación de contenido, bots de spam, y bots de fraude de clics.

¿Qué es Robots.txt?

Una buena gestión de los bots comienza con la configuración adecuada de las reglas en el archivo robots.txt de un sitio web. Un archivo robots.txt es un archivo de texto que se encuentra en un servidor web y especifica las reglas para cualquier bot que acceda al sitio web o la aplicación alojados. Estas reglas definen qué páginas pueden y no pueden rastrear los bots, qué enlaces deben y no deben seguir, y otras instrucciones para el comportamiento de los bots. Cloudflare ofrece un servicio gestionado de robots.txt para simplificar el proceso de configuración de estas reglas.

Algunos bots buenos, pero no todos, seguirán las preferencias indicadas en los archivos robots.txt. Por ejemplo, Google ha indicado que si el propietario de un sitio web no desea que una página específica de su sitio aparezca en los resultados de búsqueda de Google, puede establecer una regla en el archivo robots.txt para impedir que Googlebot indexe esa página. Del mismo modo, si un sitio web no quiere que su contenido se utilice para entrenar LLM, puede expresar esa preferencia mediante un archivo robots.txt. Para que quede claro: los archivos robots.txt no impiden realmente que los bots accedan a los sitios web, y algunos operadores de bots simplemente los ignoran.

¿Qué es una lista de permitidos?

Pensemos que una lista de permitidos es como la lista de invitados a un evento. Si alguien que no está en la lista de invitados intenta entrar en el evento, el personal de seguridad se lo impedirá. Cualquiera que esté en la lista puede entrar al evento sin problemas. Este enfoque es necesario, ya que los invitados que no están en la lista pueden comportarse mal y arruinar la fiesta para el resto.

En esencia, así es como funcionan las listas de permitidos para la gestión de bots. Una lista de permitidos es una lista de bots a los que se les permite acceder a una propiedad web. Normalmente esto funciona mediante lo que se conoce como "agente de usuario", la dirección IP del bot, o una combinación de ambos. Un agente de usuario es una cadena de texto que identifica el tipo de usuario (o bot) a un servidor web.

Al mantener una lista de agentes de usuario de bots beneficiosos permitidos, como los que pertenecen a los motores de búsqueda, y bloquear a continuación los bots que no están en la lista, un servidor web puede garantizar el acceso de los bots beneficiosos.

Los servidores web también pueden tener una lista de bloqueos de bots perjudiciales conocidos.

¿Qué es una lista de bloqueos?

En el contexto de redes, una lista de bloqueos es una lista de direcciones IP, agentes de usuario u otros indicadores de identidad en línea a los que no se permite acceder a un servidor, red o propiedad web. Se trata de un enfoque ligeramente diferente al uso de una lista de permitidos: una estrategia de gestión de bots basada en una lista de bloqueo bloqueará esos bots específicos y permitirá el paso de todos los demás, mientras que una estrategia de lista de permitidos solo permite el paso de bots específicos y bloquea todos los demás.

¿Son suficientes las listas de permitidos para dejar entrar a los bots beneficiosos y mantener fuera a los perjudiciales?

Es posible que un bot malo falsifique su cadena de agente de usuario para que parezca un bot bueno, al menos inicialmente, del mismo modo que un ladrón podría utilizar un documento de identidad falso para hacerse pasar por alguien que está en la lista de invitados y colarse en un evento.

Por lo tanto, las listas de permitidos de bots beneficiosos tienen que combinarse con otros enfoques para detectar la suplantación, como el análisis de comportamiento o el aprendizaje automático. Esto ayuda a identificar de forma proactiva tanto los bots perjudiciales como los beneficiosos que no sean conocidos, además de permitir la entrada de los bots beneficiosos conocidos.

¿Qué pasa con los bots de IA?

La mayoría de las herramientas de IA se entrenan a sí mismas con contenido de la web. Los bots de rastreo de IA rastrean la web en busca de contenido nuevo. Esto puede ser bueno o malo dependiendo del modelo de negocio de un sitio web determinado.

Algunos operadores de sitios web pueden encontrar que el rastreo continuo por parte de los bots de IA satura sus servidores o aumenta demasiado los costes de ancho de banda. Otros pueden ver afectados negativamente sus modelos de negocio si dependen de su contenido original para obtener ingresos (por ejemplo, un modelo de ingresos basado en la publicidad), ya que las herramientas de IA pueden utilizar su contenido para ayudar a responder a las consultas de los usuarios sin que estos lleguen a su sitio web.

¿Qué hace una solución de gestión de bots?

Un producto de gestión de bots permite que los bots buenos accedan a una propiedad web, bloquea los bots malos y ayuda a los administradores de sitios web a gestionar sus relaciones con los rastreadores y herramientas de IA. La solución de gestión de bots de Cloudflare utiliza el aprendizaje automático y el análisis del comportamiento del tráfico en toda su red para detectar los bots maliciosos, al tiempo que autoriza automáticamente y de forma continua a los bots beneficiosos. Con robots.txt gestionado, Cloudflare puede modificar automáticamente los archivos robots.txt de los sitios web para reflejar las preferencias de los administradores de los sitios. Además, con la función de pago por rastreo de Cloudflare, los administradores de sitios web pueden permitir o bloquear rastreadores de IA específicos, o incluso cobrar a los operadores de esos rastreadores por cada rastreo.

Preguntas frecuentes

¿Qué es un bot "bueno"?

Un bot bueno es un programa informático que automatiza tareas en Internet sin ser intencionalmente malicioso o perjudicial para los sitios web. Algunos ejemplos incluyen los rastreadores de motores de búsqueda que indexan páginas web y ayudan a los sitios web a obtener tráfico, los bots de derechos de autor que detectan contenidos pirateados y los bots de monitorización de sitios que comprueban los cortes de subministro.

¿Por qué es importante administrar bots buenos?

La estrategia de gestión de bots de un sitio web debe distinguir entre los bots buenos y los bots malos. Es importante permitir que los bots buenos, como los rastreadores de motores de búsqueda, accedan a un sitio para que este pueda aparecer en los resultados de búsqueda. Al mismo tiempo, algunos bots buenos, como los rastreadores de IA, pueden enviar un gran volumen de solicitudes que podrían aumentar los costes de ancho de banda de un sitio o agotar sus servidores de extremo final si no se les proporcionan instrucciones directas para evitarlo.

¿Qué es un archivo robots.txt?

Un archivo robots.txt es un archivo de texto en un servidor web que proporciona reglas para bots. Estas reglas pueden especificar qué páginas pueden rastrear los bots, qué enlaces pueden seguir y con qué frecuencia pueden rastrear un sitio web. Es un punto de partida para una gestión de bots buenos, aunque algunos bots pueden ignorar estas reglas.

¿Cómo puedo controlar qué bots acceden a mi sitio web?

Dos métodos comunes son las listas blancas y las listas negras. Una lista blanca o de permiso es como una lista de invitados: es una lista de bots a los que se les permite acceder a tu propiedad web, mientras que el resto están bloqueados. Una lista negra o de bloqueo es lo opuesto; es una lista de bots específicos a los que se les niega el acceso, mientras que al resto se les permite el acceso.

¿Es suficiente usar una lista blanca para mantener alejados a los bots maliciosos?

Una lista de permiso no siempre es suficiente por sí sola. A veces, los bots maliciosos pueden falsificar su identidad para evitar la lista blanca. Por lo tanto, las listas de permiso se deben combinar con otros métodos, como el análisis de comportamiento o el aprendizaje automático, para detectar la actividad maliciosa de los bots.

¿Cómo ayuda una solución de gestión de bots?

Una solución de gestión de bots está diseñada para permitir el acceso a bots buenos, bloquear bots maliciosos y ayudar a los propietarios de sitios web a gestionar sus interacciones con diferentes tipos de rastreadores. Por ejemplo, Cloudflare Bot Management utiliza el aprendizaje automático y el análisis del comportamiento para detectar bots maliciosos al mismo tiempo que mantiene automáticamente una lista de permiso de bots buenos verificados.