Visibilita negli assistenti AI: che cosa si puo misurare oggi e che cosa no

Di una struttura oggi si può misurare in modo ripetibile una cosa sola: la frequenza con cui compare nelle risposte a un elenco fisso di domande, rilevata sempre nelle stesse condizioni. Insieme alla comparsa si annotano la posizione nell’elenco e la correttezza di quello che viene detto. Il traffico che arriva da questi canali, invece, non è oggi misurabile in modo affidabile, e nessuno strumento lo risolve.

Questo basta a fare un lavoro serio, a patto di sapere quanto è largo l’errore. Venti rilevazioni con sei citazioni danno un tasso del 30,0 per cento e un intervallo di confidenza al 95 per cento che va dal 9,9 al 50,1 per cento. È una forbice che non permette di dire quasi niente, e sapere questo prima di partire evita di annunciare in riunione miglioramenti che non esistono.

La struttura di riferimento di questa pagina è un tre stelle superiore di 42 camere in una città d’arte del centro Italia, con una clientela leisure di coppie e un piccolo segmento business infrasettimanale. Tutti i numeri sono costruiti su questo caso: servono a mostrare il metodo, non a dire quanto viene citata la tua struttura.

Le tre cose che si possono contare#

Una rilevazione è una domanda posta a un assistente in condizioni dichiarate, e produce tre dati. Codificarli come tre colonne separate, e non come un giudizio unico, è quello che rende il registro utile dopo sei mesi.

La terza colonna è la più sottovalutata e la sola che produce lavoro immediato. Una citazione che dice che la struttura non ha parcheggio, quando il parcheggio c’è, vale più di dieci posizioni guadagnate: è un errore che si corregge alla fonte in un pomeriggio.

Il protocollo di rilevazione#

L’elenco fisso di domande#

Servono venti domande scritte una volta e mai più cambiate, se non aggiungendone di nuove in coda e datando l’aggiunta. Se cambi il testo di una domanda, la serie storica di quella domanda finisce lì: sarebbe come cambiare il comp set a metà anno e confrontare l’indice con quello di prima.

Le venti domande vanno divise per intenzione, perché una struttura può essere invisibile su un tipo di domanda ed essere sempre presente su un altro. Per il tre stelle dell’esempio: otto domande generiche sulla città e la categoria, sei domande con un vincolo specifico che la struttura soddisfa, quattro domande di confronto fra due o tre nomi, due domande sul nome proprio della struttura. Le ultime due servono a verificare la correttezza dei dati, non la visibilità.

La cadenza e le condizioni#

Una rilevazione al mese, sempre nella stessa settimana, sempre in sessione nuova e senza cronologia, senza essere identificati e senza indicazione di luogo se non quella che fa parte della domanda. Ogni scostamento da queste condizioni va scritto nella riga della rilevazione. Venti domande su tre assistenti diversi, a tre minuti l’una fra domanda, lettura e registrazione, sono tre ore al mese: è il costo vero del protocollo, e va deciso prima di cominciare, perché un registro interrotto al terzo mese non serve a nulla.

La scheda di registrazione#

Ogni riga contiene: data, assistente usato, testo esatto della domanda, citazione sì o no, posizione, giudizio di correttezza, frase testuale che riguarda la struttura, nomi dei concorrenti citati, eventuali fonti mostrate. I nomi dei concorrenti citati sono la parte che dopo sei mesi vale di più: dicono con chi sei nello stesso insieme, e spesso non è il comp set che hai in testa.

Perché le risposte cambiano fra una sessione e l’altra#

Gli assistenti generativi non restituiscono la stessa risposta alla stessa domanda. Le ragioni sono almeno quattro e agiscono insieme: la generazione del testo ha una componente casuale voluta; le pagine consultate al momento cambiano da una volta all’altra; il modello e le sue istruzioni vengono aggiornati senza preavviso; e il contesto della sessione, anche minimo, sposta il risultato.

Questo non rende la misura impossibile, la rende una misura di frequenza invece che un controllo di posizione. Non stai osservando dove sei, stai stimando quanto spesso appari. È una differenza di natura, e comporta che il numero minimo di rilevazioni sia molto più alto di quello che sembra ragionevole.

Che cosa dicono venti rilevazioni, e che cosa no#

Il tasso di citazione è il numero di rilevazioni con citazione diviso le rilevazioni totali. Intorno a quel tasso c’è una forbice di incertezza che dipende solo da quante rilevazioni hai fatto.

Con venti rilevazioni si può dire una cosa sola, e non è poco: la struttura appare qualche volta e non appare quasi mai o quasi sempre. Non si può dire che il tasso è del 30 per cento, perché il dato è compatibile con un tasso reale del 15 e con uno del 50.

Il caso peggiore è il confronto fra due mesi. Sei citazioni su venti a marzo, dieci su venti a giugno: venti punti di miglioramento. L’intervallo al 95 per cento di quella differenza va da meno 9,7 a più 49,7 punti. Contiene lo zero, e contiene anche il peggioramento. Presentare quel salto come effetto del lavoro fatto è scorretto, per quanto sia esattamente quello che tutti fanno.

La tabella è calcolata con un tasso atteso del 30 per cento, che è il caso costruito qui. Dice una cosa scomoda: la precisione al punto percentuale, quella che gli strumenti a pagamento mostrano nei cruscotti, non è raggiungibile in tempi utili con una rilevazione manuale. Chi la mostra sta arrotondando un numero che non ha.

Le ripetizioni non valgono come domande nuove#

C’è un modo apparentemente facile di aumentare n: ripetere le stesse venti domande tre volte al mese e dichiarare sessanta rilevazioni. L’aritmetica funziona, la statistica no. Le tre risposte alla stessa domanda si assomigliano fra loro molto più di quanto si assomiglino risposte a domande diverse, e quindi contengono meno informazione di tre osservazioni indipendenti.

Il numero utile è quello corretto per la correlazione interna: $n_{\text{eff}}=\frac{n}{1+(m–1)\rho }$, dove m è il numero di ripetizioni della stessa domanda e ρ la correlazione fra le risposte alla stessa domanda. Con sessanta rilevazioni, tre ripetizioni e una correlazione di 0,6, il numero utile scende a 27,3 e la semiampiezza dell’intervallo passa da più o meno 11,6 punti a più o meno 17,2. Con una correlazione di 0,9 scende a 21,4 rilevazioni utili e l’intervallo si allarga a più o meno 19,4 punti. Le ripetizioni servono, ma servono a misurare quanto è instabile la risposta, non ad allargare il campione.

Il registro delle informazioni sbagliate#

Ogni volta che una risposta contiene un’informazione errata sulla struttura, quella frase va copiata testualmente nel registro, con la data. Poi si cerca la fonte, e la fonte quasi sempre è una pagina che controlli o su cui puoi intervenire: la scheda su un portale, il profilo dell’attività su un motore di ricerca, una pagina del tuo sito che dice ancora una cosa vecchia, una vecchia scheda su un aggregatore che nessuno aggiorna dal 2019, oppure una recensione in cui un cliente ha scritto una cosa sbagliata che poi è stata ripresa.

La correzione va fatta alla fonte, non chiesta all’assistente. Chiedere a un assistente di correggersi non cambia nulla per il prossimo utente, e non lascia traccia. Cambiare la pagina che genera l’errore, invece, si propaga quando quella pagina viene riletta, e i tempi non sono prevedibili: si annota la data della correzione e si guarda quando la frase sbagliata sparisce dalle rilevazioni. In quel caso la data di sparizione è un dato utile, molto più del tasso di citazione.

Una precauzione: le informazioni contraddittorie fra le tue stesse pagine sono la causa più frequente di risposte sbagliate. Orari di check-in diversi fra sito, portale e profilo dell’attività; numero di camere diverso; servizi elencati in un posto e non nell’altro. Prima di cercare colpe altrove, metti in fila le tue fonti e fai coincidere i dati.

Il dato di traffico che oggi non c’è#

La domanda che arriva sempre è quante prenotazioni portano questi canali. La risposta onesta è che non si sa, e le ragioni sono strutturali, non un problema di configurazione. Molte risposte non producono un clic: l’utente legge, memorizza il nome e cerca la struttura per nome più tardi, magari da un altro dispositivo. Quando il clic c’è, l’informazione di provenienza spesso non arriva o arriva aggregata sotto un’etichetta generica, e nel tuo sistema di analisi finisce come traffico diretto.

Quello che si può fare è indiretto e va dichiarato per quello che è: guardare se le ricerche sul nome della struttura crescono, guardare se il traffico diretto cresce nelle stesse settimane in cui il tasso di citazione è salito, e chiedere in fase di prenotazione come ci hanno trovato. Nessuna di queste tre cose è un criterio di assegnazione del merito difendibile. Sono indizi, e vanno presentati come indizi.

I limiti di questo metodo#

Il primo limite è che il tasso di citazione non è un obiettivo commerciale. Nessuno prenota perché sei apparso in una risposta: prenota se la risposta era pertinente alla sua situazione e se quello che diceva di te era corretto. Una struttura può salire dal 30 al 50 per cento di citazioni comparendo in domande che non le portano clienti, e il numero migliora mentre il fatturato non si muove.

Il secondo limite è che le venti domande le scegli tu, e la scelta è il vero modello del mondo che stai testando. Se le hai scritte come le scriveresti tu, stai misurando la visibilità presso persone che pensano come te. Le domande vere degli ospiti sono più lunghe, più sgrammaticate e piene di vincoli specifici. Il correttivo è prendere venti richieste reali arrivate per email o in chat negli ultimi mesi e usarle come base, invece di inventarle.

Il terzo limite è il più fastidioso. Anche facendo tutto bene, il tuo tasso di citazione può salire o scendere per cause che non hanno niente a che fare con te: un aggiornamento del modello, un cambio nelle fonti consultate, un concorrente che ha rifatto le sue pagine. Il numero non isola l’effetto del tuo lavoro. Per quello servirebbe un gruppo di controllo che non esiste, perché non puoi avere due volte la stessa struttura, una che fa il lavoro e una che non lo fa.

C’è infine un limite che riguarda chi legge il registro. Sei tu che giudichi se un’informazione è imprecisa o sbagliata, e su cose come «vicino al centro» o «adatto alle famiglie» il giudizio scivola. Conviene fissare le regole di codifica per iscritto la prima volta, e farle applicare sempre dalla stessa persona. Se la persona cambia, si rifà un mese in doppio per vedere quanto i due giudizi differiscono.

Cosa fare lunedì mattina#

1. Prendi venti richieste reali arrivate per email, telefono o chat negli ultimi tre mesi e trasformale in venti domande, senza riscriverle in bello. Salvale in un foglio con la data di creazione.
2. Crea il foglio di rilevazione con le colonne: data, assistente, domanda, citazione, posizione, correttezza, frase testuale, concorrenti citati, fonti mostrate, note sulle condizioni.
3. Fai la prima rilevazione completa e segnala come mese zero. Non trarne conclusioni: serve a misurare quanto tempo ci vuole davvero e a scoprire le domande scritte male.
4. Metti in calendario la rilevazione dei prossimi sei mesi, con nome e cognome di chi la fa. Tre ore al mese, sempre la stessa settimana.
5. Apri il registro delle informazioni sbagliate e, per ogni frase errata trovata al mese zero, scrivi la pagina che probabilmente la genera e la data in cui l’hai corretta.
6. Metti in fila sito, profilo dell’attività, schede sui portali e schede sugli aggregatori e verifica che orari, numero di camere, servizi e indirizzo coincidano parola per parola. Correggi le discordanze prima di qualunque altra cosa.
7. Quando presenti i risultati, scrivi sempre il numero di rilevazioni accanto alla percentuale e l’intervallo di confidenza sotto. Se l’intervallo è largo trenta punti, dillo: è la parte che rende credibile tutto il resto.