Cos'è il traffico bot? | Come bloccare il traffico bot

Cosa è il traffico bot?

Per "traffico bot" si intende qualsiasi tipo di traffico non umano verso un sito web o un'applicazione. Questa definizione spesso racchiude una connotazione negativa, ma in realtà questo tipo di traffico non è necessariamente benigno o malevolo, in quanto tutto dipende dalla finalità del bot e dalle preferenze del gestore di un sito web.

Alcuni bot sono essenziali per il funzionamento di servizi utili, come i motori di ricerca e gli assistenti digitali (ad es. Siri, Alexa), e la maggior parte delle aziende accoglie senza problemi questi bot sui propri siti.

Altri bot possono essere dannosi, come ad esempio quelli utilizzati per finalità di credential stuffing, scraping di dati e per lanciare attacchi DDoS. Anche i bot più "cattivi" più benigni, come i crawler non autorizzati, possono costituire un problema, in quanto possono interrompere le analisi del sito e perpetrare frodi con i clic.

Si ritiene che oltre il 40% del traffico Internet sia costituito da traffico bot, e che una parte non trascurabile di questo traffico sia di natura dannosa. È per questo che così tante organizzazioni sono alla ricerca di modi per gestire il traffico bot che giunge sui loro siti.

Come è possibile identificare il traffico bot?

I web engineer possono esaminare direttamente le richieste di rete dirette verso i loro siti e identificare così il probabile traffico bot. Anche un tool di analisi integrato, come Google Analytics o Heap, può contribuire a individuarlo.

Le seguenti anomalie analitiche sono i tratti distintivi del traffico bot:

• Volume abnorme di visualizzazioni delle pagine: se in un sito si verifica un picco di visite inatteso e senza precedenti, molto probabilmente ci sono dei bot che stanno cliccando sul sito.
• Bounce rate eccessivamente elevato: il bounce rate indica il numero di utenti che accedono a una singola pagina di un sito, e che la abbandonano prima di cliccare un elemento della stessa. Un incremento inatteso del bounce rate può essere dovuto a una serie di bot indirizzati verso una singola pagina.
• Durata delle sessioni sorprendentemente breve o lunga: la durata della sessione, ovvero il tempo che un utente passa in un sito Web, dovrebbe rimanere relativamente stabile. Un aumento inspiegabile della sua durata potrebbe indicare la presenza di bot che navigano sul sito a una velocità insolitamente bassa. Al contrario, una riduzione imprevista della durata della sessione potrebbe essere causata da bot che cliccano sulle pagine del sito molto più velocemente di quanto sarebbe in grado di fare un utente umano.
• Conversioni-spazzatura: un'impennata di conversioni che appaiono fasulle, come l'apertura di account con indirizzi e-mail improbabili, o moduli di contatto inviati con nomi e numeri di telefono falsi, possono essere il risultato di spam bot o di bot-compilatori.
• Picchi di traffico proveniente da una posizione inaspettata: un picco improvviso di utenti da una determinata area geografica, e nello specifico da un'area che dove è improbabile che vivano un gran numero di persone che parlano fluentemente la lingua originale del sito, può essere un'indicazione di traffico bot.

In che modo il traffico bot può danneggiare le analitiche del sito?

Come accennato in precedenza, il traffico bot non autorizzato può impattare su metriche quali il numero di visualizzazioni della pagine, la durata media della sessione, la geolocalizzazione degli utenti e le conversioni. Questi scostamenti delle metriche possono causare una enorme frustrazione al proprietario del sito, in quanto è estremamente difficile misurarne le prestazioni quando viene inondato da bot. Anche i tentativi di miglioramento del sito, come il testing A/B e l'ottimizzazione del tasso di conversione vengono invalidati dal "rumore" statistico creato dai bot.

Come filtrare il traffico bot da Google Analytics

Google Analytics in realtà offre l'opzione di "escludere tutti gli hit effettuati da bot e spider conosciuti" (gli spider sono bot dei motori di ricerca che eseguono la scansione delle pagine Web). Se l'origine del traffico dei bot può essere identificata, gli utenti possono anche fornire un elenco specifico di IP che devono essere ignorati da Google Analytics.

Sebbene queste misure impediscono ai bot di compromettere gli analytics, non sono in grado di arrestare tutti i bot. Inoltre, la maggior parte dei bot malevoli persegue un obiettivo che va al di là dell'interruzione delle analisi del traffico, e questo tipo di misure, a parte preservare dati analitici, non fa nulla per mitigare la loro eventuale attività malevola.

In che modo il traffico bot può danneggiare le prestazioni?

L'invio di enormi volumi di traffico bot è un metodo molto diffuso tra gli aggressori per lanciare degli attacchi DDoS. Nel corso di alcuni tipi di attacchi DDoS, infatti, viene indirizzato verso un sito Web un volume così elevato di traffico che il server di origine va in sovraccarico, e il sito diventa lento o del tutto indisponibile per gli utenti reali.

In che modo il traffico bot può andare a detrimento degli affari?

Alcuni siti Web possono finire paralizzati economicamente dal traffico bot dannoso, anche se le loro prestazioni rimangono impregiudicate. Sono particolarmente vulnerabili quei siti che fanno affidamento sulla pubblicità e quelli che vendono merci online con scorte di magazzino limitate.

Per i siti che pubblicano annunci, i bot che arrivano sul sito e fanno clic su vari elementi della pagina possono attivare falsi clic sugli annunci; questi clic sono noti come clic fraudolenti. Sebbene ciò possa inizialmente comportare un aumento delle entrate pubblicitarie, le reti pubblicitarie online sono molto brave a rilevare i clic dei bot. Se sospettano che un sito Web stia commettendo una frode sui clic, agiranno di solito vietando quel sito e il suo proprietario dalla loro rete. Per questo motivo, i proprietari di siti che ospitano annunci devono essere sempre cauti nei confronti delle frodi sui clic dei bot.

I siti con inventario limitato possono essere presi di mira dai bot di accaparramento delle scorte. Come suggerisce il nome, questi bot vanno sui siti di e-commerce e riversano tonnellate di merce nei loro carrelli della spesa, rendendola indisponibile per l'acquisto da parte di acquirenti legittimi. In alcuni casi ciò può anche innescare un non necessario rifornimento di inventario da parte di un fornitore o di un produttore. I bot di accaparramento delle scorte non effettuano acquisti ma sono progettati esclusivamente per esaurire le merci disponibili per la vendita.

Molti siti web fanno affidamento produzione di contenuti originali per attirare il traffico degli utenti e generare ricavi, spesso tramite pubblicità. L'impennata nell'utilizzo degli strumenti di IA negli anni 2020 ha avuto un impatto negativo su questi modelli di business. Gli strumenti di intelligenza artificiale utilizzano contenuti originali dal web per addestrare i loro modelli linguistici di grandi dimensioni (LLM), creare indici di ricerca da utilizzare in connessione con tali modelli e recuperare contenuti in tempo reale in risposta ai prompt degli utenti. Gli utenti che ricevono risposte dagli LLM potrebbero non visitare mai i siti su cui la risposta al loro quesito è basata. I crawler IA che recuperano contenuti originali possono anche provocare un aumento dei costi diretti per i gestori di siti web, dato che inviano una grande quantità di richieste per pagine web.

In che modo i siti Web gestiscono il traffico bot?

Il primo passo per fermare o gestire il traffico bot verso un sito web spetta all'amministratore del sito, che è tenuto a specificare le sue preferenze in materia nel file robots.txt. I file robots.txt forniscono istruzioni dirette ai bot che scansionano le pagine, e possono essere configurati in modo da istruire i bot a non visitare o interagire con determinate pagine web. È opportuno notare che solo alcuni bot rispettano le regole iscritte nei file robots.txt. I file per sé non possono impedire che un bot si metta a scandagliare un sito web. Cloudflare offre un sofisticato servizio gestito del file robots.txt per aiutare gli amministratori di siti a esprimere le proprie preferenze agli operatori di crawler.

Per controllare il traffico dai bot dei crawler IA, gli operatori di siti Web devono utilizzare un servizio come AI Audit di Cloudflare. Questo servizio permette agli operatori di siti Web di autorizzare o impedire l'accesso ai crawler IA (impedire significa che i crawler non possono accedere ai contenuti per alcun motivo). La funzione Pay per Crawl di AI Audit consente inoltre agli operatori di siti web di addebitare la scansione agli operatori di bot IA, se lo desiderano.

Esistono altri strumenti in grado di arginare il traffico di bot dannosi. Un limitatore di frequenza, come il prodotto WAF di Cloudflare, è in grado di rilevare e prevenire elevati volumi di traffico bot provenienti da un singolo indirizzo IP.

Inoltre, i tecnici di rete possono esaminare il traffico, identificando manualmente le richieste di rete sospette provenienti da un intervallo di indirizzi IP e tutte le richieste provenienti da tali indirizzi. Si tratta tuttavia di una procedura molto lunga e laboriosa, ed è improbabile che sia in grado di bloccare la maggior parte del traffico dannoso che un sito web potrebbe subire.

Al di là della limitazione della frequenza e dell'intervento diretto degli ingegneri di rete, il metodo più semplice ed efficace per arrestare il traffico bot è usando una soluzione di gestione dei bot. Una soluzione di questo genere è in grado di usare gli strumenti di Web intelligence e analisi comportamentale per fermare i bot dannosi prima ancora che raggiungano un sito Web. Ad esempio, Cloudflare Bot Management utilizza l'intelligenza di milioni di proprietà Internet e applica il machine learning per identificare in modo proattivo e fermare l'abuso di bot. La modalità Super Bot Fight, disponibile con i piani Pro e Business, offre alle organizzazioni più piccole visibilità e controllo simili sul loro traffico bot.

DOMANDE FREQUENTI

Cosa è il traffico bot?

Per traffico bot si intende qualsiasi attività non umana su un sito web o un'applicazione. Il traffico bot non è intrinsecamente buono o cattivo; dipende dallo scopo del bot, alcuni bot sono essenziali per servizi come i motori di ricerca, mentre altri sono dannosi

Come faccio a capire se il mio sito Web sta ricevendo traffico bot?

Puoi identificare il traffico bot cercando anomalie nelle analisi del tuo sito web. I segnali chiave includono: visualizzazioni di pagina o frequenze di rimbalzo insolitamente elevate, cambiamenti improvvisi nella durata della sessione, un picco di conversioni spazzatura o un improvviso aumento del traffico da una posizione geografica inattesa.

Tutti i bot sono cattivi?

Alcuni bot sono utili e persino essenziali Ad esempio, i bot dei motori di ricerca (chiamati anche spider o crawler) sono necessari affinché un sito web venga indicizzato e compaia nei risultati di ricerca. Tuttavia, i bot dannosi possono eseguire azioni dannose come l'estrazione di dati, l'inserimento di credenziali e il lancio di attacchi DDoS.

In che modo il traffico bot può influire negativamente sul mio sito Web?

Il traffico bot dannoso può danneggiare il tuo sito web in diversi modi. Può falsare le tue analisi, rendendo difficile misurare le prestazioni. I bot dannosi possono anche compromettere le prestazioni del sito sovraccaricando il server. Per le aziende, i bot possono commettere frodi di clic negli annunci pubblicitari o accaparrarsi le scorte sui siti di e-commerce, interrompendo le vendite

Come posso gestire il traffico bot sul mio sito?

Un punto di partenza è l'utilizzo di un file robots.txt per fornire istruzioni ai bot, sebbene questo non sia un metodo infallibile, poiché i bot dannosi lo ignoreranno Strumenti più efficaci includono la limitazione della frequenza per bloccare il traffico ad alto volume e, in modo più efficace, una soluzione dedicata di gestione dei bot che utilizza l'apprendimento automatico e l'analisi comportamentale per distinguere tra bot buoni e bot dannosi

Cos'è un file robots.txt?

Un file robots.txt è un insieme di istruzioni per i bot che visitano il tuo sito Web. In questo file è possibile specificare regole, ad esempio quali pagine non possono essere sottoposte a scansione dai bot. Mentre i bot buoni seguiranno queste regole, molti bot dannosi non lo faranno.