Crawler IA: dovresti consentire o bloccare GPTBot?

Ti hanno detto che puoi «bloccare l'IA» sul tuo sito, e sembra prudente. Perché lasciare che un bot si porti via i tuoi testi per addestrare un modello che poi ti fa concorrenza? Ma quella frase breve, «bloccare l'IA», nasconde una decisione che può ritorcersi contro di te senza che te ne accorga. Alcuni crawler IA addestrano i modelli. Altri sono il modo in cui ChatGPT e Perplexity ti trovano e ti citano quando un cliente cerca un'attività come la tua. Blocca quelli sbagliati e non proteggi il sito: lo cancelli dalle risposte di cui le persone ora si fidano. Ecco come distinguerli e scegliere con consapevolezza.

Che cos'è un crawler IA e perché dovrebbe interessarmi?

Un crawler IA è un programma automatico che visita le tue pagine e le legge, esattamente come fa da anni il crawler di Google. La differenza è in ciò che accade dopo. Alcuni crawler IA copiano i tuoi contenuti per aiutare ad addestrare un modello. Altri visitano le pagine perché un assistente possa citarti in una risposta in tempo reale, con un link, nell'istante in cui qualcuno pone una domanda sul tuo tema. Entrambi bussano alla stessa porta: un piccolo file chiamato robots.txt che dice ai bot cosa possono leggere. Capire i due lavori è tutto, perché «consentire» e «bloccare» significano cose molto diverse a seconda del crawler di cui parli.

Qual è la differenza tra crawler di addestramento e di ricerca?

È questa la distinzione che conta, e quasi nessun tutorial su «come bloccare l'IA» la spiega. Se metti in fila i principali crawler, si dividono in due famiglie con conseguenze opposte per la tua visibilità.

Crawler che addestrano i modelli

Raccolgono contenuti dal web per migliorare la prossima generazione di modelli. OpenAI è netto sul suo crawler di addestramento: GPTBot raccoglie contenuti che possono essere usati per addestrare i suoi modelli generativi, e non consentirlo indica che il contenuto del sito non dovrebbe essere usato nell'addestramento (OpenAI). Bloccare questi tiene i tuoi testi fuori dall'addestramento futuro. Non ti toglie dalle risposte che i modelli danno oggi, perché di quello si occupa un altro crawler.

• GPTBot (OpenAI) raccoglie contenuti che possono essere usati per addestrare i modelli di OpenAI.
• ClaudeBot (Anthropic) raccoglie contenuti web per addestrare i modelli di Claude.
• Google-Extended controlla se Google può usare i tuoi contenuti per addestrare i futuri modelli Gemini e per il grounding (fondare le risposte). È un token autonomo per robots.txt, e Google precisa che «non incide sull'inclusione di un sito nella Ricerca Google né è usato come segnale di posizionamento» (Google).

Crawler che generano le risposte IA in tempo reale

Leggono e citano le tue pagine quando qualcuno pone una domanda a un assistente proprio adesso. OpenAI descrive il suo crawler di ricerca con chiarezza: OAI-SearchBot mostra i siti nei risultati delle funzioni di ricerca di ChatGPT (OpenAI). Perplexity dice lo stesso del suo bot, che è «progettato per mostrare e collegare i siti nei risultati di ricerca» e «non è usato per raccogliere contenuti con cui addestrare modelli» (Perplexity). Bloccali e puoi uscire dai risultati IA che i tuoi clienti stanno già leggendo.

• OAI-SearchBot (OpenAI) mostra e collega i siti nella ricerca di ChatGPT.
• PerplexityBot (Perplexity) indicizza le pagine per mostrarle e collegarle nelle risposte di Perplexity, e non è usato per addestrare i modelli.
• Claude-SearchBot (Anthropic) percorre il web per migliorare la qualità dei risultati di ricerca di Claude (Anthropic).
• Googlebot resta il crawler dietro la Ricerca Google e le sue AI Overviews. Bloccarlo è il modo per sparire da Google stesso.
• Recuperatori su richiesta (ChatGPT-User, Perplexity-User, Claude-User) visitano una sola pagina solo quando una persona lo chiede all'assistente. Sono azioni per tuo conto, non scansione di massa.

Bloccare i crawler IA mi renderà invisibile nelle risposte IA?

Se blocchi i crawler di ricerca, sì. È questa la trappola del consiglio «blocca l'IA». Quando un cliente chiede a ChatGPT o a Perplexity di consigliare un idraulico, un panificio o un commercialista in zona, questi strumenti si appoggiano ai loro crawler di ricerca per trovare pagine aggiornate e citarle. Se OAI-SearchBot e PerplexityBot non riescono a leggere il tuo sito, sei fuori dai giochi. Perplexity nota che, se non consenti il suo bot, può comunque mostrare il tuo dominio e un breve riassunto fattuale, ma non userà il contenuto completo della pagina, quindi compari più smunto, se compari.

E succede per distrazione, perché la maggior parte degli snippet «blocca l'IA» che girano online incolla un lungo elenco che vieta tutto ciò che ha «AI» nel nome, crawler di ricerca inclusi. Le persone lo eseguono per tenere i contenuti fuori dall'addestramento e, nel frattempo, spengono in silenzio la propria visibilità nella ricerca con IA. È l'esatto contrario di ciò che vuole un'attività che cerca di farsi trovare.

Devo bloccare GPTBot e i crawler di addestramento?

Questa è davvero una scelta di giudizio, non una regola di sicurezza, quindi ignora chi dice che «devi» farlo. Bloccare GPTBot, ClaudeBot e Google-Extended tiene i contenuti fuori dall'addestramento futuro. Ciò a cui rinunci è poco per la maggior parte delle piccole imprese, perché i crawler di addestramento non sono ciò che ti procura citazioni nelle risposte in tempo reale. Anche ciò che guadagni è modesto: le tue pagine pubbliche sono già pubbliche, e bloccare l'addestramento non recupera nulla che un modello abbia già imparato.

Bloccare i crawler di addestramento ha più senso se le tue pagine contengono materiale davvero originale e faticato che preferiresti non regalare a un modello: guide approfondite, ricerca proprietaria, un ampio corpo di testi che è esso stesso il prodotto. Google-Extended è quello a minor rischio da bloccare, se questa è la tua posizione, dato che Google conferma che «non incide sull'inclusione di un sito nella Ricerca Google né è usato come segnale di posizionamento». Per una tipica attività locale che vuole soprattutto più clienti, consentire i crawler di addestramento è una scelta predefinita del tutto ragionevole, e non qualcosa per cui perdere il sonno.

Come gestisco i crawler IA con robots.txt?

Tutto questo vive in un unico file di testo all'indirizzo tuosito.com/robots.txt, lo stesso che guida i motori di ricerca da decenni. Scrivi una breve regola per ogni crawler, indicando lo user-agent e se è consentito. Se già riesci ad aprire tuosito.com/robots.txt nel browser, ne hai uno; se no, la piattaforma del sito o un plugin può aggiungerlo. È diverso da un file llms.txt, che suggerisce all'IA le tue pagine migliori ma non può consentire né bloccare nulla. robots.txt è quello con gli interruttori veri.

I nomi degli user-agent sono la parte importante, perché una regola vale solo per il nome esatto che scrivi. Raggruppali per i due lavori:

• Crawler di addestramento che puoi scegliere di bloccare: GPTBot, ClaudeBot, Google-Extended.
• Crawler di ricerca che di solito vorrai consentire: OAI-SearchBot, PerplexityBot, Claude-SearchBot.
• Googlebot, che non dovresti quasi mai bloccare, perché alimenta la Ricerca Google e le sue AI Overviews.

Due avvertenze oneste. robots.txt funziona sulla fiducia: i crawler seri di OpenAI, Anthropic e Google lo rispettano, ma è una richiesta, non un lucchetto, e alcuni crawler sono stati colti a ignorarlo. E attenzione a un «Disallow: /» finito sotto l'intestazione sbagliata, che può escludere molto più di quanto volevi, Google compreso. Nel dubbio, cambia una regola per volta e ricontrolla il file nel browser.

Qual è una scelta predefinita sensata per una piccola impresa?

Tienila semplice. Se non hai un motivo specifico per custodire i tuoi contenuti, lascia che il mondo dell'IA legga il sito che già pubblichi, e concentra l'attenzione solo sulla decisione riguardo all'addestramento. Una scelta predefinita che va bene per la maggior parte delle piccole imprese è questa:

• Consenti i crawler di ricerca, OAI-SearchBot, PerplexityBot e Claude-SearchBot, così gli assistenti possono trovarti e citarti.
• Non bloccare mai Googlebot: con quel solo gesto spegni la Ricerca Google e le AI Overviews.
• Blocca GPTBot, ClaudeBot e Google-Extended solo se tenere i contenuti fuori dall'addestramento dei modelli ti sta davvero a cuore.
• Apri tuosito.com/robots.txt e verifica di non star bloccando per sbaglio i crawler di ricerca.

E ricorda che il file è la leva più piccola. Farti citare dall'IA dipende molto di più dall'avere pagine chiare che rispondano senza giri di parole a ciò che chiedono i clienti, che è il vero motivo per cui l'IA non trova alcune attività. Vale la pena imparare a comparire nella ricerca con IA e a farti consigliare da ChatGPT prima di dedicare un pomeriggio a mettere a punto un file di testo. Se tenere aggiornate quelle pagine è proprio ciò a cui non arrivi mai, quel vuoto lo colma Laspi: il suo plugin per WordPress scrive articoli per SEO e ricerca con IA basati sulla tua attività reale, così il sito che i crawler leggono resta chiaro e aggiornato.

Quindi: consentire o bloccare GPTBot? Consentilo, a meno che tu non abbia un motivo serio per non farlo, e qualunque cosa decida, tieni i crawler di ricerca come ospiti graditi. «Bloccare l'IA» non è mai stata una sola decisione. Sono due, e solo una riguarda la protezione dei tuoi contenuti. L'altra riguarda il restare nelle risposte di cui i tuoi clienti già si fidano.