Robots.txt e addestramento AI entrano nella stessa decisione per chi pubblica guide, schede prodotto o ricerche sul proprio sito. Google intende riconoscere nel 2027 un segnale condiviso con cui i gestori potranno esprimere una preferenza sul training dei modelli. Per chi dirige un sito aziendale, il lavoro utile comincia prima del rilascio. Occorre capire quali materiali si desidera distribuire, in quali contesti e chi può approvare un cambio di impostazioni.
Pensiamo a una società che pubblica manuali per aiutare i clienti e analisi originali per ottenere contatti. In entrambi i casi vuole farsi trovare. Può però avere una preferenza diversa quando si tratta di usare quei materiali per addestrare un modello. Trattare i due obiettivi come una scelta unica porta facilmente a intervenire sul controllo sbagliato e a confondere un calo di visibilità con il risultato della policy.
Robots.txt e addestramento AI, il cambio previsto da Google
Un file robots.txt contiene gruppi di istruzioni che i servizi automatici possono consultare sul sito. Oggi un editore che vuole esprimere preferenze verso più operatori deve capire quali controlli ciascuno riconosce. Il segnale condiviso punta a rendere una scelta leggibile da più fornitori partecipanti attraverso lo stesso file. Il gestore potrebbe così mantenere una preferenza generale e conservarne altre per singoli servizi.
Google ha annunciato il piano il 30 ottobre 2026. La documentazione indica come obiettivo i primi mesi del 2027 per il segnale di preferenza proposto nel lavoro AIPREF, dedicato alle modalità con cui esprimere preferenze di uso dei contenuti per i sistemi di AI. La bozza tecnica usa un gruppo associato al token __usage_ai-training e consente di esprimere la scelta per percorso. Il formato e il supporto vanno verificati al momento del rilascio. Una bozza di specifica e una dichiarazione di intenti indicano una direzione, con tempi e adesioni che possono cambiare.
Un token di policy identifica una finalità. Una regola può quindi parlare di addestramento senza fare riferimento al nome del programma che scarica una pagina. Questa distinzione rende possibile coordinare una scelta comune senza chiedere a tutti i fornitori di usare lo stesso software di scansione. Il risultato dipende comunque da come ciascuno interpreta il segnale, per quali prodotti e da quale data.
Le tre decisioni che un sito deve tenere separate
Farsi trovare dai clienti
Per un sito che vive di richieste in arrivo, alcune pagine devono poter comparire nella ricerca. La domanda da porre è quali indirizzi conviene rendere reperibili e con quale anteprima. Per esempio, una pagina che spiega come scegliere un servizio può rappresentare il primo contatto con un fornitore. Intervenire sulle regole di scansione per quella pagina ha conseguenze sulla possibilità del motore di leggerla, anche se la discussione iniziale riguardava il training.
Comparire come riferimento in una risposta
Un assistente può recuperare contenuti durante la generazione di una risposta, per ancorarla a informazioni aggiornate. Questo meccanismo si chiama grounding. Un potenziale cliente può trovare una spiegazione o ricevere un rimando al sito attraverso quel percorso. La possibilità dipende dalla superficie usata e dai controlli applicabili a quella superficie. Per orientarti tra AI Overviews e AI Mode nella ricerca Google, parti dalla differenza tra una funzione del motore di ricerca e un servizio separato.
Consentire un uso nei processi di training
Il training cambia il modello attraverso un processo di addestramento. La decisione qui riguarda il riuso dei materiali, anche quando il cliente riesce ancora a leggere la pagina nel browser. Per una società che produce confronti, fotografie o dati originali, il tema può toccare il valore delle pubblicazioni e gli accordi con chi le ha realizzate. Prima di scegliere il segnale, conviene capire quali diritti e quali obiettivi accompagnano ciascun insieme di pagine.
Perché Google-Extended richiede una scelta esplicita
Google-Extended è un controllo specifico. Google lo usa per gestire alcuni usi dei contenuti nei futuri modelli Gemini e per il grounding in determinati prodotti, tra cui Gemini Apps. Il controllo non influenza il posizionamento o la presenza in Google Search. Inoltre il token di robots.txt svolge una funzione di configurazione. Nei registri del server potresti continuare a vedere richieste dai programmi di scansione esistenti, senza una richiesta HTTP che si presenti con il nome Google-Extended.
Nel modello annunciato, se il sito usa il token comune per esprimere una preferenza contraria al training e lascia Google-Extended senza istruzioni esplicite, Google intende interpretare il segnale come un divieto per Google-Extended. I controlli specifici continueranno a funzionare insieme a quello condiviso. La scelta sul gruppo specifico conta dunque anche quando parti da una preferenza generale. Per Google può avere effetti che riguardano il grounding in Gemini Apps, oltre al training.
Per decidere, prepara due domande distinte. Vuoi mantenere aperta la possibilità che i materiali sostengano risposte in Gemini Apps? Vuoi consentire gli usi coperti dallo stesso controllo per il training? Se le risposte divergono, verifica la documentazione al momento del passaggio prima di promettere che un controllo le separi. La politica editoriale può essere più dettagliata delle opzioni realmente disponibili nel prodotto.
Una scelta diversa per manuali, analisi e pagine riservate
Una società che vende componenti industriali può trarre vantaggio dalla circolazione delle istruzioni pubbliche. Il cliente che trova un dato di compatibilità apre la scheda corretta o chiama il reparto giusto. Se la stessa impresa pubblica un rapporto con dati raccolti sul campo, può voler gestire quel materiale con maggiore attenzione. La differenza riguarda il valore delle due raccolte, le aspettative di chi le ha prodotte e il risultato commerciale che ciascuna sostiene.
Da qui nasce una mappa pratica. Il catalogo pubblico può richiedere la massima reperibilità. Le analisi possono meritare una decisione dedicata sul training. I documenti per clienti, come listini negoziati e disegni tecnici riservati, richiedono accesso autenticato. Un robots.txt è leggibile da chiunque e comunica preferenze ai servizi che le rispettano. Per proteggere contenuti riservati servono controlli di accesso sul sito o sul servizio che li distribuisce.
Verifica anche dove finiscono i file. Un rapporto può vivere in una pagina HTML, in un PDF su un sottodominio e in una copia ospitata dal fornitore del sito. Una regola applicata al sito principale non governa automaticamente gli altri host. Il progetto di modifica deve partire dagli indirizzi effettivi, compresi i percorsi degli allegati che il lettore raggiunge da una pagina pubblica.
Considera anche i partner che ripubblicano parte del catalogo. Se una pagina prodotto è disponibile presso un distributore con testi identici, la preferenza espressa sul tuo dominio riguarda solo la copia che gestisci. Individuare queste duplicazioni aiuta chi cura i contenuti a discutere con i partner su quali testi e schede distribuire, prima ancora di chiedere una modifica tecnica sul sito.
Preparare il cambio mentre il supporto è ancora in arrivo
Il passaggio che puoi fare oggi è conservare una copia del robots.txt pubblico e annotare quale componente lo genera. In molti progetti il file nasce da un CMS, da una configurazione del server o da una regola applicata vicino alla rete di distribuzione. Se due componenti possono rispondere allo stesso indirizzo, la copia vista nel pannello di gestione può differire da quella che il pubblico riceve.
Per ogni gruppo di URL, registra il responsabile dei contenuti, la visibilità desiderata in ricerca, la preferenza sul training e le eventuali eccezioni per fornitore. Una scheda essenziale permette a chi gestisce il sito di cambiare solo il gruppo previsto. Puoi includere un esempio di pagina dentro ogni percorso e un esempio che deve rimanere fuori. Questi casi diventano il controllo di accettazione quando il supporto sarà disponibile.
Prima del rilascio confronta il file precedente e quello nuovo. Mantieni distinte le regole rivolte ai bot di ricerca e le regole associate alla finalità di training. Una modifica accidentale al gruppo generale può cambiare la scansione ben oltre le pagine discusse dal team. Prepara una versione di ripristino e verifica che chi può pubblicare la modifica sappia anche come invalidare la cache se la risposta pubblica rimane quella precedente.
Come verificare il risultato senza confondere segnali e prove
Il primo controllo è tecnico. Verifica che ogni host interessato restituisca il file previsto e che i gruppi applicabili ai percorsi campione corrispondano alla decisione. Registra data, versione e regole specifiche rimaste in vigore. Una risposta corretta dimostra che il sito comunica la preferenza. Il riconoscimento da parte del fornitore richiede una conferma separata nelle indicazioni operative di quel servizio.
Il secondo controllo riguarda la visibilità. Segui nel tempo un gruppo stabile di pagine commerciali e informative con i rapporti di scansione, indicizzazione e rendimento che già usi. Se cambiano traffico o impressioni, confronta il periodo con altri interventi sul sito e con le variazioni della domanda. Un grafico del traffico descrive quello che il sito ha ricevuto. La sola variazione del grafico non permette di stabilire come un fornitore abbia usato una pagina nel training.
Robots.txt e addestramento AI richiedono quindi una scelta documentata per contenuto e per servizio. Parti da una raccolta concreta, come i manuali, le schede o i rapporti, e decidi chi deve poterla trovare e quali usi vuoi consentire. Quando il supporto del segnale sarà confermato, avrai già esempi da verificare, una configurazione precedente da ripristinare e una motivazione chiara per ciascuna eccezione.










