Como gerenciar bots bons | Bots bons x bots maus

O que são bots bons?

Um bot é um programa de computador que automatiza as interações com ativos da web na internet. Usamos o termo bot "bom" para nos referir a qualquer bot que execute tarefas que não sejam intencionalmente prejudiciais aos sites ou maliciosas. Como bots bons podem compartilhar características com bots maus, bloquear bots maus, mas não bots bons, pode ser um desafio.

Há vários tipos de bots bons, cada um desenvolvido para realizar diferentes tarefas. Aqui estão alguns exemplos:

• Bots de mecanismos de busca: também conhecidos como web crawlers ou spiders, esses bots "rastreiam" ou analisam o conteúdo de quase todos os sites da internet. Em seguida, eles indexam esse conteúdo para que ele possa aparecer nos resultados dos mecanismos de busca em pesquisas relevantes feitas pelos usuários. Eles são operados por mecanismos de busca como Google, Bing ou Yandex.
• Crawlers de IA: semelhantes aos crawlers de mecanismos de busca, esses bots copiam conteúdo para uso em grandes modelos de linguagem (LLMs), geração aumentada de recuperação (RAG) e outros casos de uso de IA. (Embora os operadores de crawlers de IA geralmente não prejudiquem intencionalmente os sites rastreados, aqueles que copiam o conteúdo original podem impor custos diretos aos operadores do site, pois podem enviar muitas solicitações de páginas da web.)
• Bots de direitos autorais: Bots que rastreiam plataformas ou sites que procuram conteúdo que possa violar a lei de direitos autorais. Estes bots podem ser operados por qualquer pessoa ou empresa que possua material protegido por direitos autorais. Os bots de direitos autorais podem procurar textos, músicas, imagens ou até mesmo vídeos copiados.
• Bots de monitoramento de sites: Esses bots monitoram as métricas do site: por exemplo, monitoramento de backlinks ou interrupções do sistema, e podem alertar os usuários sobre mudanças importantes ou sobre tempo de inatividade. Por exemplo, a Cloudflare opera um bot do tipo crawler chamado Always Online que diz à rede da Cloudflare para enviar uma versão armazenada em cache de uma página web se o servidor de origem estiver inativo.
• Bots comerciais: Bots operados por empresas comerciais que vasculham a internet para obter informações. Esses bots podem ser operados por empresas de pesquisa de mercado que monitoram relatórios de notícias ou análises de clientes, redes de anúncios que otimizam os locais em que eles exibem anúncios, ou agências de SEO que rastreiam sites de clientes.
• Bots de feed: Esses bots rastreiam a internet em busca de conteúdo interessante para adicionar ao feed de notícias de uma plataforma. Sites agregadores de conteúdo ou redes de mídia social podem operar estes bots.
• Chatbots: Chatbots imitam a conversa humana respondendo aos usuários com respostas pré-programadas. Alguns chatbots são complexos o suficiente para manter longas conversas.
• Bots de assistentes pessoais: Siri ou Alexa são exemplos comuns. Frequentemente com tecnologia de IA, esses programas são muito mais avançados do que o bot típico.

Bots bons x bots maus

Os administradores de sites devem ter cuidado para não bloquear bots "bons" involuntariamente ao tentarem filtrar o tráfego de bots ruins. Muitos sites, por exemplo, geralmente permitem a passagem de bots de web crawlers dos mecanismos de busca, porque sem eles um site não pode aparecer nos resultados de busca.

Bots maus podem roubar dados, invadir contas de usuários, enviar dados indesejados por meio de formulários on-line e realizar outras atividades maliciosas. Os tipos de bots maus incluem bots de preenchimento de credenciais, bots de raspagem de conteúdo, bots de spam, e bots de fraude de clique.

O que é Robots.txt?

O bom gerenciamento de bots começa com a configuração adequada de regras no arquivo robots.txt de um site. Um arquivo robots.txt é um arquivo de texto que reside em um servidor da web e especifica as regras para qualquer bot que acessa o site ou aplicativo hospedado. Essas regras definem quais páginas os bots podem e não podem rastrear, quais links devem e não devem seguir e outras instruções para o comportamento de bots. A Cloudflare oferece um serviço gerenciado de robots.txt para simplificar o processo de configuração dessas regras.

Alguns, mas nem todos, os bots bons seguem as preferências declaradas nos arquivos robots.txt. Por exemplo, o Google afirmou que, se o proprietário de um site não quiser que uma determinada página de seu site apareça nos resultados de pesquisa do Google, ele pode criar uma regra no arquivo robots.txt para impedir que o Googlebot indexe essa página. Da mesma forma, se um site não quiser que seu conteúdo seja usado para treinar LLMs, ele pode expressar essa preferência por meio de um arquivo robots.txt. Para deixar claro, os arquivos robots.txt não impedem realmente que os bots acessem os sites e alguns operadores de bots simplesmente os ignoram.

O que é uma lista de permissões?

Pense em uma lista de permissões como sendo a lista de convidados para um evento. Se alguém que não está na lista de convidados tentar entrar no evento, a equipe de segurança irá impedi-lo de entrar. Qualquer pessoa que esteja na lista poderá entrar livremente no evento. Essa abordagem é necessária porque as pessoas não convidadas podem se comportar mal e arruinar a festa para os demais.

No caso do gerenciamento de bots, é basicamente assim que funcionam as listas de permissões. Uma lista de permissões é uma lista de bots que podem acessar uma propriedade da web. Normalmente isso funciona por meio de algo chamado "agente de usuário," o endereço de IP do bot, ou uma combinação dos dois. Um agente de usuário é uma string de texto que identifica o tipo de usuário (ou bot) para um servidor web.

Ao manter uma lista de bots de agentes de usuário bons permitidos, tais como os pertencentes aos mecanismos de pesquisa, e depois bloquear quaisquer bots que não estejam na lista, um servidor web pode garantir o acesso dos bots bons.

Os servidores web também podem ter uma lista de bloqueios dos bots maus conhecidos.

O que é uma lista de bloqueios?

Uma lista de bloqueios, no contexto de rede, é uma lista de endereços de IP, agentes de usuários ou de outros indicadores de identidade on-line que não têm permissão para acessar um servidor, uma rede ou uma propriedade da web. Essa é uma abordagem ligeiramente diferente daquela utilizada com a lista de permissões: uma estratégia de gerenciamento de bots baseada em uma lista de bloqueios bloqueará bots específicos e permitirá a passagem de todos os outros bots, enquanto uma estratégia de lista de permissões só permite a passagem de bots especificados e bloqueia todos os outros.

As listas de permissões são suficientes para deixar os bots bons entrarem e manter os bots maus fora?

É possível que um bot ruim falsifique a string do seu agente de usuário para que pareça ser um bot bom, pelo menos inicialmente, assim como um ladrão pode usar um cartão de identificação falso para fingir estar na lista de convidados e entrar sorrateiramente em um evento.

Portanto, para detectar falsificações, as listas de permissões de bots do bem precisam ser combinadas com outras abordagens como, por exemplo, análise comportamental ou aprendizado de máquina. Isso ajuda a identificar proativamente tanto os bots do mal quanto os bots do bem desconhecidos, além de, simplesmente, permitir os bots do bem conhecidos.

E quanto aos bots de IA?

A maioria das ferramentas de IA se treinam com base em conteúdo da web. Os crawlers de IA vasculham a web em busca de novos conteúdos. Isso pode ser bom ou ruim, dependendo do modelo de negócios de um determinado site.

Alguns operadores de sites podem perceber que o rastreamento contínuo por bots de IA esgota seus back-ends ou eleva excessivamente seus custos de largura de banda. Outros podem ver seus modelos de negócios afetados negativamente se dependerem de seu conteúdo original para obter receita (por exemplo, um modelo de receita baseado em anúncios), já que as ferramentas de IA podem usar seu conteúdo para ajudar a responder a consultas dos usuários sem que eles acessem o site.

O que faz uma solução de gerenciamento de bots?

Um produto de gerenciamento de bots permite que bots bons acessem um ativo da web, bloqueia bots ruins e ajuda os administradores de sites a gerenciar seus relacionamentos com crawlers e ferramentas de IA. O Cloudflare Bot Management utiliza aprendizado de máquina e análise comportamental do tráfego em toda a sua rede para detectar bots maliciosos enquanto permite automática e continuamente a inclusão em listas de permissão de bots bons. Com o robots.txt gerenciado, a Cloudflare pode modificar automaticamente os arquivos robots.txt de um site para expressar as preferências do administrador do site. E com o recurso pagamento por varredura da Cloudflare, ela capacita os administradores de sites a permitir ou bloquear crawlers de IA específicos, ou até mesmo cobrar dos operadores desses crawlers por varredura.

Perguntas frequentes

O que é um bot "bom"?

Um bom bot é um programa de computador que automatiza tarefas na internet sem ser intencionalmente malicioso ou prejudicial aos sites. Exemplos incluem crawlers de mecanismos de pesquisa que indexam páginas web e ajudam os sites a obter tráfego, bots de direitos autorais que encontram conteúdo pirateado e bots de monitoramento de sites que verificam interrupções.

Por que é importante gerenciar os bots bons?

A estratégia de gerenciamento de bots de um site precisa distinguir entre bots bons e bots ruins. É importante permitir que os bots bons, como crawlers de mecanismos de pesquisa, acessem um site para que ele possa aparecer nos resultados de pesquisa. Ao mesmo tempo, alguns bots bons, como os crawlers de IA, podem enviar um grande volume de solicitações, o que pode aumentar os custos de largura de banda de um site ou sobrecarregar seus servidores de back-end se não receberem instruções diretas para não fazer isto.

O que é um arquivo robots.txt?

Um arquivo robots.txt é um arquivo de texto em um servidor web que fornece regras para bots. Essas regras podem especificar quais páginas os bots têm permissão para rastrear, quais links eles podem seguir e com que frequência podem rastrear um site. É um ponto de partida para um bom gerenciamento de bots, embora alguns bots possam ignorar essas regras.

Como posso controlar quais bots acessam meu site?

Dois métodos comuns são a lista de permissões e a lista de bloqueios. Uma lista de permissões é como uma lista de convidados: é uma lista de bots que têm permissão para acessar seu ativo da web, e todos os outros são bloqueados. Uma lista de bloqueios é o oposto: é uma lista de bots específicos aos quais o acesso é negado, enquanto todos os outros são permitidos.

Usar uma lista de permissões é suficiente para impedir a entrada de bots maliciosos?

Uma lista de permissões nem sempre é suficiente por si só. Às vezes, bots maliciosos podem falsificar sua identidade para burlar a lista de permissões. Portanto, as listas de permissões devem ser combinadas com outros métodos, como análise comportamental ou aprendizado de máquina, para detectar atividades de bots maliciosos.

Como uma solução de gerenciamento de bots ajuda?

Uma solução de gerenciamento de bots é projetada para permitir bots bons, bloquear bots ruins e ajudar os proprietários de sites a gerenciar suas interações com diferentes tipos de crawlers. Por exemplo, o Cloudflare Bot Management utiliza aprendizado de máquina e análise comportamental para detectar bots ruins enquanto mantém automaticamente uma lista de permissões de bots bons verificados.