Come gestire i bot buoni | Bot buoni e bot cattivi

Cosa sono i bot utili?

Un bot è un programma per computer che automatizza le interazioni con le proprietà Web su Internet. Utilizziamo il termine bot "buono" per indicare qualsiasi bot che esegue attività che non sono intenzionalmente dannose per i siti Web o altrimenti dannose. Poiché i bot utili possono condividere caratteristiche con i bot dannosi, bloccare i bot dannosi ma non quelli utili può essere complesso.

Esistono molti tipi di bot utili, ognuno progettato per diverse attività. Ecco alcuni esempi.

• Bot dei motori di ricerca: noti anche come crawler Web o spider, questi bot "eseguono la scansione" o analizzano i contenuti di quasi tutti i siti Web su Internet. Quindi, indicizzano i contenuti in modo che possano essere visualizzati nei risultati dei motori di ricerca per le ricerche pertinenti degli utenti. Sono gestiti da motori di ricerca come Google, Bing o Yandex.
• Crawler IA: simili ai crawler dei motori di ricerca, questi bot copiano i contenuti per l'uso in modelli linguistici di grandi dimensioni (LLM), generazione aumentata del recupero (RAG) e altri casi d'uso dell'IA. Sebbene gli operatori di crawler IA di solito non danneggino intenzionalmente i siti Web scansionati, coloro che estraggono contenuti originali possono imporre costi diretti agli operatori di siti Web, poiché possono inviare molte richieste di pagine Web.
• Bot di copyright: bot che eseguono la scansione di piattaforme o siti Web alla ricerca di contenuti che potrebbero violare la legge sul copyright. Questi bot possono essere gestiti da qualsiasi persona o azienda che detiene materiale protetto da copyright. I bot per il copyright possono cercare testo, musica, immagini o anche video duplicati.
• Bot di monitoraggio del sito: questi bot monitorano i parametri dei siti Web, ad esempio monitorando i backlink o le interruzioni di sistema, e possono avvisare gli utenti in caso di modifiche importanti o tempi di inattività. Ad esempio, Cloudflare gestisce un bot crawler chiamato Always Online che indica alla rete Cloudflare di servire una versione memorizzata nella cache di una pagina Web se il server di origine è inattivo.
• Bot commerciali: bot gestiti da aziende commerciali che eseguono la scansione di Internet per raccogliere informazioni. Questi bot possono essere gestiti da società di ricerche di mercato che monitorano notizie o recensioni dei clienti, reti pubblicitarie che ottimizzano gli spazi in cui pubblicano annunci o agenzie SEO che scansionano i siti Web dei clienti.
• Bot di feed: questi bot eseguono la scansione di Internet alla ricerca di contenuti di interesse giornalistico da aggiungere al feed di notizie di una piattaforma. I siti di aggregazione di contenuti o i social media possono utilizzare questi bot.
• Chatbot: i chatbot imitano la conversazione umana rispondendo agli utenti con risposte preprogrammate. Alcuni chatbot sono sufficientemente complessi da sostenere lunghe conversazioni.
• Bot assistenti personali: Siri o Alexa sono esempi comuni. Spesso basati sull'IA, questi programmi sono molto più avanzati dei tipici bot.

Bot utili e bot dannosi

Gli amministratori di siti Web dovrebbero prestare attenzione a non bloccare involontariamente i bot "buoni" mentre cercano di filtrare il traffico bot dannoso. Molti siti Web, ad esempio, di solito consentono l'accesso ai crawler Web dei motori di ricerca, perché senza di essi un sito Web non può essere visualizzato nei risultati di ricerca.

I bot dannosi possono rubare dati, violare gli account utente, inviare dati spazzatura tramite moduli online ed eseguire altre attività dannose. I tipi di bot dannosi includono bot di sottrazione e uso illecito delle credenziali, bot di scraping di contenuto, bot di spam e bot di frodi di clic.

Cos'è un file robots.txt?

Una buona gestione dei bot inizia con la corretta impostazione delle regole nel file robots.txt di un sito Web. Un file robots.txt è un file di testo che risiede su un server Web e specifica le regole per tutti i bot che accedono al sito Web o all'applicazione ospitati. Queste regole definiscono quali pagine i bot possono o non possono scansionare, quali link devono o non devono seguire e altre istruzioni per il comportamento dei bot. Cloudflare offre un servizio robots.txt gestito per semplificare il processo di configurazione di queste regole.

Alcuni bot validi, ma non tutti, seguiranno le preferenze dichiarate nei file robots.txt. Ad esempio, Google ha dichiarato che, se il proprietario di un sito Web non desidera che una pagina specifica del proprio sito appaia nei risultati di ricerca di Google, può inserire una regola nel file robots.txt per impedire a Googlebot di indicizzare tale pagina. Allo stesso modo, se un sito Web non desidera che i suoi contenuti vengano utilizzati per l'addestramento di LLM, può esprimere tale preferenza tramite un file robots.txt. Per essere chiari, i file robots.txt non impediscono effettivamente ai bot di accedere ai siti Web e alcuni operatori di bot semplicemente li ignorano.

Cos'è un'allowlist?

Immagina una allowlist come la lista degli invitati a un evento. Se qualcuno che non è presente nella lista degli invitati prova a entrare all'evento, il personale di sicurezza glielo impedirà. Chiunque sia presente nell'elenco potrà invece accedere liberamente all'evento. Un approccio di questo tipo è necessario perché gli ospiti indesiderati potrebbero comportarsi male e rovinare la festa a tutti gli altri.

Per la gestione dei bot, è sostanzialmente così che funzionano le allowlist. Una whitelist è un elenco di bot autorizzati ad accedere a una proprietà Web. In genere, questo avviene tramite il cosiddetto "agente utente", l'indirizzo IP del bot o una combinazione di entrambi. Un agente utente è una stringa di testo che identifica il tipo di utente (o bot) in un server Web.

Mantenendo un elenco di agenti utente di bot approvati, come quelli appartenenti ai motori di ricerca, e bloccando i bot non presenti nell'elenco, un server Web può garantire l'accesso ai bot approvati.

I server Web possono avere anche una blocklist di bot dannosi conosciuti.

Che cos'è una blocklist?

Nel contesto del networking, una blocklist è un elenco di indirizzi IP, agenti utente o altri indicatori di identità online a cui non è consentito l'accesso a un server, una rete o una proprietà Web. Questo è un approccio leggermente diverso rispetto all'utilizzo di una whitelist: una strategia di gestione dei bot basata sulla blocklist bloccherà quei bot specifici e consentirà il passaggio a tutti gli altri bot, mentre una strategia di whitelist consentirà il passaggio solo a bot specificati e bloccherà tutti gli altri.

Le allowlist sono sufficienti per consentire l'accesso ai bot buoni e bloccare i bot dannosi?

È possibile che un bot dannoso falsifichi la propria stringa dell'agente utente per sembrare un bot legittimo, almeno inizialmente, proprio come un ladro potrebbe usare un documento d'identità falso per fingersi nella lista degli invitati e intrufolarsi a un evento.

Pertanto, le allowlist di bot validi devono essere combinate con altri approcci per rilevare lo spoofing, come l'analisi comportamentale o il machine learning. Questo aiuta a identificare proattivamente sia i bot dannosi che i bot buoni sconosciuti, oltre a consentire semplicemente i bot buoni conosciuti.

E i bot IA?

La maggior parte degli strumenti di intelligenza artificiale si auto-addestra con contenuti provenienti dal Web. I bot crawler IA scansionano il Web alla ricerca di nuovi contenuti. Ciò può essere positivo o negativo a seconda del modello di business di un determinato sito Web.

Alcuni gestori di siti Web potrebbero scoprire che la scansione continua da parte di bot di intelligenza artificiale esaurisce i loro backend o fa aumentare troppo i costi della larghezza di banda. Altri potrebbero vedere i loro modelli di business influenzati negativamente se si affidano ai loro contenuti originali per generare entrate (ad esempio, un modello di entrate basato sulla pubblicità), poiché gli strumenti di intelligenza artificiale possono utilizzare i loro contenuti per rispondere alle domande degli utenti senza che questi accedano al loro sito Web.

Qual è la funzione di una soluzione di gestione dei bot?

Un prodotto di gestione dei bot consente ai bot innocui di accedere a una proprietà web, blocca i bot dannosi e aiuta gli amministratori di siti web a gestire le loro relazioni con i crawler e gli strumenti IA. Cloudflare Bot Management utilizza il machine learning e l'analisi comportamentale del traffico su tutta la rete per rilevare i bot dannosi, consentendo automaticamente e continuamente di creare una allowlist di bot innocui. Con robots.txt gestito, Cloudflare può modificare automaticamente i file robots.txt del sito web per esprimere le preferenze dell'amministratore del sito. E con la funzione Pay per Crawl di Cloudflare, Cloudflare consente agli amministratori di siti web di consentire o bloccare specifici crawler IA, o addirittura addebitare ogni singolo crawling agli operatori di tali crawler.

DOMANDE FREQUENTI

Cos'è un bot "buono"?

Un buon bot è un programma per computer che automatizza le attività su Internet senza essere intenzionalmente dannoso o dannoso per i siti web. Gli esempi includono i crawler dei motori di ricerca che indicizzano le pagine Web e aiutano i siti Web a ottenere traffico, i bot per il copyright che rilevano contenuti piratati e i bot di monitoraggio dei siti che verificano eventuali interruzioni.

Perché è importante gestire i bot validi?

La strategia di gestione dei bot di un sito web deve distinguere tra bot buoni e bot dannosi È importante consentire ai bot utili, come i crawler dei motori di ricerca, di accedere a un sito in modo che il sito possa apparire nei risultati di ricerca Allo stesso tempo, alcuni bot utili, come i crawler di intelligenza artificiale, possono inviare un elevato volume di richieste che potrebbero aumentare i costi di larghezza di banda di un sito o esaurire i suoi server back-end se non vengono fornite istruzioni dirette per non farlo

Cos'è un file robots.txt?

Un file robots.txt è un file di testo su un server web che fornisce regole per i bot. Queste regole possono specificare quali pagine i bot possono scansionare, quali collegamenti possono seguire e con quale frequenza possono eseguire la scansione di un sito web È un punto di partenza per una buona gestione dei bot, sebbene alcuni bot possano ignorare queste regole.

Come posso controllare quali bot accedono al mio sito web?

Due metodi comuni sono l'allowlisting e il blocklisting Una whitelist è come una lista degli invitati; è un elenco di bot autorizzati ad accedere a una tua proprietà web, e tutti gli altri vengono bloccati. Una blocklist è l'opposto: è un elenco di bot specifici a cui viene negato l'accesso, mentre a tutti gli altri è consentito

L'utilizzo di una allowlist è sufficiente per escludere i bot dannosi?

Un elenco di elementi consentiti non è sempre sufficiente da solo. I bot dannosi a volte possono falsificare la propria identità per eludere la lista di elementi consentiti. Pertanto, le liste consentite dovrebbero essere combinate con altri metodi, come l'analisi comportamentale o l'apprendimento automatico, per rilevare attività di bot dannosi

Come aiuta una soluzione di gestione dei bot?

Una soluzione di gestione dei bot è progettata per consentire i bot buoni, bloccare i bot dannosi e aiutare i proprietari di siti web a gestire le loro interazioni con diversi tipi di crawler Ad esempio, Cloudflare Bot Management utilizza il machine learning e l'analisi comportamentale per rilevare i bot dannosi, mantenendo automaticamente una allowlist di bot buoni verificati.