Tráfego de bots é o tráfego não humano de um site. Embora alguns tipos de tráfego de bots possam ser benéficos, o tráfego abusivo de bots pode ser muito disruptivo.
Após ler este artigo, você será capaz de:
Conteúdo relacionado
O que é um bot?
O que é gerenciamento de bots?
O que é preenchimento de credenciais?
O que é raspagem de conteúdo?
Raspagem de dados
Assine o theNET, uma recapitulação mensal feita pela Cloudflare dos insights mais populares da internet.
Copiar o link do artigo
O tráfego de bots descreve qualquer tráfego não humano para um site ou aplicativo. O termo tráfego de bots geralmente carrega uma conotação negativa, mas, na realidade, o tráfego de bots não é necessariamente bom ou ruim. Tudo depende da finalidade dos bots e das preferências do operador do site.
Alguns bots são essenciais para serviços úteis, como mecanismos de busca e assistentes digitais (por exemplo, Siri, Alexa). Esses tipos de bots são bem-vindos nos sites da maioria das empresas.
Outros bots podem ser mal-intencionados; por exemplo, os bots usados para fins de preenchimento de credenciais, raspagem de dados e lançamento de ataques de DDoS. Até mesmo alguns dos bots "do mal" benignos, como web crawlers não autorizados, podem ser incômodos, porque podem prejudicar os analytics do site e gerar fraude de cliques.
Acredita-se que mais de 40% de todo o tráfego da internet seja composto de tráfego de bots, com uma parcela significativa sendo de bots mal-intencionados. Por essa razão, muitas organizações estão procurando maneiras de gerenciar o tráfego de bots que chega aos seus sites.
Os engenheiros da internet conseguem examinar diretamente as solicitações de rede recebidas por seus sites e identificar um provável tráfego de bots. As ferramentas integradas de analytics da internet, como o Google Analytics ou o Heap, também podem ajudar a detectar o tráfego de bots.
As anomalias de analytics listadas abaixo são características do tráfego de bots:
Conforme mencionado acima, o tráfego de bots não autorizados pode afetar as métricas de analytics, como visualizações de página, taxa de rejeição, duração da sessão, geolocalização de usuários e conversões. Esses desvios nas métricas podem criar muita frustração para o proprietário do site. É muito difícil medir o desempenho de um site que está sendo inundado pela atividade de bots. As tentativas de aprimorar o site, como testes A/B e otimização da taxa de conversão, também são prejudicadas pelo ruído estatístico criado pelos bots.
O Google Analytics oferece uma opção para “excluir todos os acessos de bots e spiders conhecidos” (spiders são bots de mecanismo de pesquisa que rastreiam as páginas web). Se a origem do tráfego de bots puder se identificada, os usuários também poderão fornecer uma lista específica de IPs que devem ser ignorados pelo Google Analytics.
Embora essas medidas impeçam alguns bots de interromper as análises, elas não impedirão todos os bots. Além disso, a maioria dos bots maliciosos tem um objetivo além de interromper as análises de tráfego, e essas medidas não fazem nada para mitigar a atividade prejudicial dos bots, exceto preservar os dados de análise.
O envio de enormes quantidades de tráfego de bots é uma maneira muito comum de os invasores iniciarem um ataque de DDoS. Durante alguns tipos de ataques de DDoS, o tráfego do ataque direcionado a um site é tão intenso que o servidor de origem fica sobrecarregado e o site se torna lento ou totalmente indisponível para usuários legítimos.
Alguns sites podem ficar financeiramente incapacitados pelo tráfego de bots mal-intencionados, mesmo que seu desempenho não seja afetado. Os sites que dependem de publicidade e sites que vendem mercadorias com estoque limitado são particularmente vulneráveis.
No caso de sites que veiculam anúncios, os bots que acessam o site e clicam em vários elementos da página podem acionar cliques falsos em anúncios, o que é conhecido como fraude de cliques. Embora inicialmente isso possa resultar em um aumento da receita de anúncios, as redes de publicidade on-line são muito eficientes na detecção de cliques de bots. Caso essas redes suspeitem que um site está cometendo uma fraude de cliques, elas tomarão medidas, geralmente no sentido de banir da rede o site e seu proprietário. Por esse motivo, os proprietários de site que hospedam anúncios devem estar sempre atentos à fraude de cliques perpetrada por bots.
Sites com estoques limitados podem ser alvo de bots de negação de inventário. Como o próprio nome sugere, esses bots acessam sites de comércio eletrônico e colocam toneladas de mercadorias em seus carrinhos de compra, fazendo com que essa mercadoria fique indisponível para ser adquirida por compradores legítimos. Em alguns casos, isso também pode acionar uma reposição de estoque desnecessária por parte de um fornecedor ou fabricante. Os bots de negação de inventário nunca fazem compras; eles são desenvolvidos para simplesmente interferir na disponibilidade do estoque.
Muitos sites dependem da produção de conteúdo original para atrair tráfego de usuários e gerar receita a partir desse tráfego, às vezes por meio de anúncios. O aumento no uso de ferramentas de IA na década de 2020 impactou negativamente tais modelos de negócios. As ferramentas de IA utilizam conteúdo original da web para treinar seus grandes modelos de linguagem (LLMs) subjacentes, construir índices de pesquisa para uso em conexão com esses modelos e recuperar conteúdo em tempo real em resposta aos prompts. Os usuários que recebem respostas de LLMs podem nunca visitar os sites cujo conteúdo serviu de base para a resposta. Os crawlers de IA que obtêm conteúdo original também podem impor custos diretos aos operadores de sites, pois podem enviar muitas solicitações para páginas da web.
O primeiro passo para interromper ou gerenciar o tráfego de bots em um site é que um administrador de site declare suas preferências em um arquivo robots.txt. Os arquivos robots.txt fornecem instruções para bots que rastreiam a página e podem ser configurados para instruir os bots de que eles não devem visitar ou interagir com determinadas páginas web. No entanto, deve-se observar que apenas alguns bots obedecem às regras nos arquivos robots.txt. Esses arquivos não impedem que os bots rastreiem sites. A Cloudflare oferece um sofisticado serviço gerenciado de robots.txt para ajudar os administradores de sites a expressarem suas preferências aos operadores de crawlers.
Para monitorar o tráfego de crawlers de IA, os operadores de sites devem usar um serviço como o AI Audit da Cloudflare. Este serviço permite que os operadores de sites autorizem ou impeçam o acesso de crawlers de IA (impedir significa que os crawlers de IA não podem acessar o conteúdo para qualquer finalidade). O recurso de pagamento por varredura do AI Audit também permite que os operadores de sites cobrem dos operadores de bots de IA pela varredura, se quiserem.
Várias outras ferramentas também podem ajudar a mitigar o tráfego de bots abusivos. Uma solução de limitação de taxa, como o produto WAF da Cloudflare, pode detectar e impedir o tráfego de bots abusivos e de alto volume originado de um único endereço de IP.
Engenheiros de rede também podem analisar o tráfego, identificando manualmente solicitações de rede suspeitas originadas de uma variedade de endereços de IP e todas as solicitações desses endereços de IP. No entanto, este é um processo muito trabalhoso e é improvável que interrompa a maioria do tráfego de bots maliciosos que um site pode enfrentar.
Além da limitação de taxa e da intervenção direta de engenheiros, a maneira mais fácil e mais eficaz de interromper o tráfego de bots ruins é uma solução de gerenciamento de bots. Uma solução de gerenciamento de bots é capaz de aproveitar a inteligência e usar a análise comportamental para parar os bots maliciosos antes que eles cheguem a um site. Por exemplo, o Cloudflare Bot Management utiliza a inteligência de milhões de ativos da internet e aplica o aprendizado de máquina para identificar e deter de forma proativa o abuso de bots. O Super Bot Fight Mode, disponível nos planos Pro e Business, oferece às organizações menores visibilidade e controle semelhantes sobre seu tráfego de bots.
O tráfego de bots refere-se a qualquer atividade não humana em um site ou aplicativo. O tráfego de bots não é inerentemente bom ou ruim, depende da finalidade do bot. Alguns bots são essenciais para serviços como mecanismos de pesquisa, enquanto outros são maliciosos.
Você pode identificar o tráfego de bots procurando por anomalias em suas análises do site. Os principais sinais incluem: visualizações de página ou taxas de rejeição anormalmente altas, mudanças repentinas na duração da sessão, um pico nas conversões inválidas ou um aumento repentino no tráfego proveniente de uma localização geográfica inesperada.
Alguns bots são benéficos e até mesmo essenciais. Por exemplo, os bots de mecanismos de pesquisa (também chamados de spiders ou crawlers) são necessários para que um site seja indexado e apareça nos resultados da pesquisa. No entanto, bots maliciosos podem realizar ações prejudiciais, como coletar dados, preencher credenciais e lançar ataques de DDoS.
O tráfego de bots maliciosos pode prejudicar seu site de diversas formas. Pode distorcer suas análises, dificultando a medição do desempenho. Bots maliciosos também podem prejudicar o desempenho do site ao sobrecarregar seu servidor. Nas empresas, os bots podem cometer fraude de cliques em anúncios ou acumular estoque em sites de comércio eletrônico, interrompendo as vendas.
Um ponto de partida é usar um arquivo robots.txt para fornecer instruções aos bots, embora este não seja um método totalmente confiável, já que bots maliciosos o ignoram. Ferramentas mais eficazes incluem a limitação de taxa para bloquear o tráfego de alto volume e, de forma mais eficaz, uma solução dedicada de gerenciamento de bots que usa aprendizado de máquina e análise comportamental para distinguir entre bots bons e ruins.
Um arquivo robots.txt é um conjunto de instruções para bots que visitam seu site. Neste arquivo, você pode especificar regras, como as páginas que os bots não têm permissão para rastrear. Embora os bots bons sigam estas regras, muitos bots ruins não fazem isso.