Cos'è la gestione dei bot? | Come funzionano i bot manager

Cos'è la gestione dei bot?

La gestione dei bot si riferisce al blocco del traffico di bot Internet indesiderati o dannosi, consentendo nel contempo ai bot utili di accedere alle proprietà Web. La gestione dei bot realizza il suo scopo individuando l'attività dei bot, distinguendo tra comportamenti dei bot desiderabili e indesiderati e identificando le fonti dell'attività indesiderabile

La gestione dei bot è necessaria perché i bot, se non controllati, possono causare enormi problemi alle proprietà Web. Un eccessivo traffico di bot può infatti sovraccaricare i server, rallentando o negando il servizio agli utenti legittimi (a volte sotto forma di attacco DDoS). I bot dannosi possono intaccare o scaricare contenuti da un sito Web, rubare le credenziali utente, diffondere rapidamente spam ed eseguire vari altri tipi di attacchi informatici.

Qual è il compito di un bot manager?

Un bot manager è qualsiasi prodotto software che gestisce i bot. I gestori di bot devono essere in grado di bloccare alcuni bot e lasciarne passare altri, invece di limitarsi a bloccare tutto il traffico non umano. Se, ad esempio, tutti i bot sono bloccati e i bot di Google non riescono a indicizzare una pagina, questa non può essere visualizzata nei risultati di ricerca, con conseguente riduzione del traffico organico verso il sito web.

Un efficiente bot manager raggiunge i seguenti obiettivi. Può:

• Individuare i bot rispetto ai visitatori umani
• Identificare la reputazione del bot
• Identificare gli indirizzi IP di origine dei bot e bloccarli sulla base della reputazione dell'IP
• Analizzare il comportamento del bot
• Aggiungere bot utili alle allowlist
• Mettere alla prova i potenziali bot tramite un CAPTCHA, una iniezione di codice JavaScript o altri metodi
• Limita la frequenza di un potenziale bot che utilizza eccessivamente un servizio
• Negare l'accesso a determinati contenuti o risorse nel caso di bot dannosi
• Offrire ai bot contenuti alternativi

Cos'è un bot?

Un bot è un programma informatico che opera su una rete. I bot sono programmati per eseguire automaticamente determinate azioni. In genere le attività che svolgono sono semplici, ma un bot può eseguirle ripetutamente a una velocità molto più elevata di quanto possa fare un essere umano.

Ad esempio, Google utilizza i bot per eseguire costantemente la scansione di pagine web e indicizzare i contenuti per la ricerca. Ci vorrebbe un'eternità a un team di persone per rivedere i contenuti sparsi su Internet, mentre i bot di Google sono in grado di mantenere l'indice di ricerca di Google abbastanza ben aggiornato.

A titolo di esempio negativo, gli spammer utilizzano i bot di raccolta e-mail per raccogliere indirizzi e-mail da Internet. I bot eseguono la scansione delle pagine web, cercano qualsiasi testo in formato e-mail (testo + simbolo @ + dominio) e lo salvano in un database. Naturalmente, anche un essere umano potrebbe cercare gli indirizzi e-mail nelle pagine dei siti, ma poiché tali bot di raccolta e-mail sono automatizzati e cercano solo testi con determinati parametri, sono esponenzialmente più veloci nella ricerca degli indirizzi e-mail.

Diversamente da un utente umano, un bot in genere non accede a Internet attraverso un browser tradizionale come Google Chrome o Mozilla Firefox. Invece di usare un mouse (o uno smartphone) e cliccare sui contenuti in un browser, i bot sono solo programmi software che compongono richieste HTTP (tra le altre attività), in genere utilizzando quello che viene chiamato un "browser senza testa".

Qual è la funzione dei bot?

I bot possono svolgere essenzialmente attività ripetitive e non creative, ovvero qualsiasi cosa che possa essere automatizzata. Possono interagire con una pagina web, compilare e inviare moduli, fare clic su link, scansionare (o ricercare) il testo e scaricare contenuti. I bot possono "guardare" video, pubblicare commenti e post, mettere mi piace o ritwittare su piattaforme social. Alcuni possono persino intrattenere conversazioni di base con gli utenti (e in questo caso prendono il nome di chatbot).

Qual è la differenza tra bot utili e dannosi?

Sorprendentemente, molte fonti stimano che circa la metà di tutto il traffico Internet sia costituito da bot. Proprio come alcuni software, ma non tutti, sono malware, così alcuni bot sono dannosi e altri sono utili.

Qualsiasi bot che usi impropriamente un prodotto o servizio online può essere considerato dannoso. I bot dannosi possono variare da quelli palesemente maligni, come quelli che tentano di violare gli account degli utenti, a forme più lievi di uso improprio delle risorse, come i bot che acquistano biglietti su un sito Web di eventi.

Un bot che esegue un servizio necessario o vantaggioso può essere considerato "utile". I chatbot del servizio clienti, i crawler dei motori di ricerca e i bot di monitoraggio delle prestazioni sono tutti esempi di bot utili. Questi in genere cercano e rispettano le regole descritte nel file robots.txt di un sito Web.

Cos'è un file robots.txt?

Robots.txt è un file su un server web che delinea le regole per i bot che accedono alle proprietà su quel server. Tuttavia, il file in sé non applica queste regole. In sostanza, chiunque programmi un bot dovrebbe seguire un sistema d'onore e assicurarsi che il proprio bot controlli il file robots.txt di un sito Web prima di accedervi. I bot dannosi, ovviamente, in genere non seguono questo sistema, di lì la necessità di gestirli.

Come funziona la gestione dei bot?

Per identificare i bot, i bot manager possono utilizzare test JavaScript (che determinano se viene impiegato o meno un browser Web tradizionale) o Captcha. Possono anche determinare quali utenti sono umani e quali bot con l'analisi comportamentale, ovvero confrontando il comportamento di un dato utente con i comportamenti standard degli utenti in passato. I bot manager devono disporre di una vasta raccolta di dati comportamentali di qualità da verificare al fine di eseguire quest'operazione.

Se un bot viene riconosciuto come dannoso può essere reindirizzato a un'altra pagina oppure può essergli impedito in blocco l'accesso a una risorsa web.

È possibile aggiungere i bot utili a una allowlist o a un elenco di bot consentiti (l'opposto di una blocklist). Un bot manager può anche distinguere tra bot utili e dannosi tramite ulteriori analisi comportamentali.

Un altro approccio nella gestione dei bot consiste nell'utilizzare il file robots.txt per configurare un "honeypot". Un honeypot è un finto bersaglio per soggetti malintenzionati che, nel momento in cui vi si accede, rivela il soggetto come dannoso. Nel caso di un bot, un honeypot potrebbe essere una pagina web sul sito vietata ai bot dal file robots.txt. I bot utili leggeranno il file robots.txt ed eviteranno quella pagina web, mentre alcuni bot dannosi eseguiranno la scansione della pagina. Tracciando l'indirizzo IP dei bot che accedono all'honeypot, è possibile identificare e bloccare i bot dannosi.

Quali tipi di attacchi è in grado di mitigare la gestione dei bot?

Una soluzione di gestione dei bot può contribuire a fermare una vasta tipologia di attacchi:

• Attacchi DDoS
• Attacchi DoS
• Sottrazione e uso illecito delle credenziali
• Sottrazione e uso illecito dei dati delle carte di credito
• Violazione di password con forza bruta
• Spam
• Scraping di dati/web scraping
• Raccolta di indirizzi e-mail
• Frode pubblicitaria
• Frodi di clic

Queste ulteriori attività dei bot non sono sempre considerate dannose, ma un bot manager dovrebbe essere in grado di mitigarle a prescindere:

• Accaparramento delle scorte
• Pubblicazione automatica su forum o piattaforme social
• Inserimento di articoli nel carrello

In che modo Cloudflare gestisce i bot?

Cloudflare ha la capacità unica di raccogliere dati da miliardi di richieste che ogni giorno fluiscono attraverso la sua rete. Mediante questi dati, Cloudflare è in grado di identificare la probabile attività dei bot grazie al machine learning e all'analisi comportamentale, e può fornire i dati necessari per creare una allowlist efficace di bot utili o una blocklist di bot dannosi. Cloudflare possiede inoltre un'ampia base dati di reputazione IP. Ulteriori informazioni sulla Gestione dei bot di Cloudflare.

La modalità Lotta ai super bot, ora disponibile nei piani Pro e Business di Cloudflare, è progettata per aiutare le organizzazioni più piccole a difendersi dagli attacchi dei bot dando loro maggiore visibilità sul traffico dei bot.

DOMANDE FREQUENTI

Cos'è un bot?

Un bot è un programma per computer che esegue automaticamente azioni specifiche su una rete. Mentre alcuni bot svolgono compiti utili, altri possono essere dannosi.

Cos'è la gestione dei bot?

La gestione dei bot è il processo di identificazione e blocco dell'attività di bot dannosi su un sito web o un'applicazione, consentendo comunque ai bot utili di accedere al sito.

Perché la gestione dei bot è necessaria?

Senza gestione, un traffico bot eccessivo può sovraccaricare i server Web, rallentando un sito Web per gli utenti legittimi. I bot dannosi possono anche eseguire diversi attacchi informatici, come il furto di informazioni finanziarie, lo scraping di contenuti, il furto delle credenziali utente e la diffusione di spam.

Quali sono le principali funzionalità di una soluzione di gestione dei bot?

Una soluzione efficace per la gestione dei bot è in grado di distinguere tra visitatori umani e bot, analizzare il comportamento dei bot, bloccare i bot dannosi in base alla reputazione IP, aggiungere i bot validi a una lista consentita, contrastare attività sospette con strumenti come CAPTCHA e limitare la frequenza dei bot che utilizzano eccessivamente un servizio.

Come fanno i sistemi di gestione dei bot a rilevare i bot?

Le soluzioni di gestione dei bot utilizzano diversi metodi per identificare l'attività dei bot. Tra queste rientrano l'invio di sfide JavaScript o CAPTCHA difficili da risolvere per i bot, il blocco di bot noti in base ai loro indirizzi IP di origine e l'utilizzo dell'apprendimento automatico e dell'analisi comportamentale per confrontare l'attività di un utente con il tipico comportamento umano e individuare anomalie.

Quali tipi di attacchi può aiutare a prevenire la gestione dei bot?

La gestione dei bot può mitigare un'ampia gamma di attacchi, tra cui attacchi DDoS, sottrazione e uso illecito delle credenziali, brute force password cracking, web scraping, pubblicazione di contenuti spam e frodi di clic.