Il questionario post soggiorno che serve a qualcosa
Un questionario serve solo se ogni domanda corrisponde a una decisione. Quante domande puoi permetterti, perché si leggono le code e non le medie, e quante risposte servono prima di concludere qualcosa.
11 min di lettura 2.111 parole
Un questionario post soggiorno serve a qualcosa solo se ogni domanda corrisponde a una decisione che potresti davvero prendere. Se alla risposta non segue nessuna azione possibile, quella domanda va tolta: sta consumando l’attenzione dell’ospite e sta abbassando il numero di risposte alle domande che contano. È la regola che elimina metà dei moduli che si vedono in giro.
La conseguenza pratica è che il questionario si scrive al contrario. Prima si elencano le decisioni che la struttura può prendere nei prossimi tre mesi, poi si scrive la domanda che ne sposta una, e si smette. Non si parte dall’elenco dei reparti da coprire.
Sotto ci sono i conti: quanto costa ogni domanda in più, come si legge una scala a cinque livelli senza farne la media, e quante risposte servono prima di poter dire che una cosa è cambiata. La struttura di riferimento è un quattro stelle di 86 camere in una città del nord Italia, occupazione media 72 per cento e durata media del soggiorno 2,1 notti.
La regola che elimina metà delle domande#
Una domanda è ammessa se puoi scrivere accanto tre cose: la decisione che potrebbe far cambiare, la soglia oltre la quale la prendi, e chi la prende. Se una delle tre manca, la domanda esce.
| Domanda | Decisione collegata | Soglia | Chi decide |
|---|---|---|---|
| Quanti minuti ha atteso al banco all’arrivo? | Secondo addetto al banco fra le 15 e le 18 | Oltre il 10 per cento delle risposte sopra i 10 minuti | Direzione |
| A che ora ha fatto colazione? | Spostare l’orario di chiusura del servizio | Oltre il 15 per cento dopo le 9.30 | Direzione e cucina |
| Ha usato il parcheggio? Lo aveva capito prima di prenotare? | Riscrivere la descrizione del parcheggio sul sito e sui portali | Oltre un quinto di chi lo ha usato dice di non averlo capito prima | Chi cura il sito |
| Come giudica la nostra attenzione alla sostenibilità? | Nessuna | Nessuna | Nessuno |
L’ultima riga è il tipo di domanda che riempie i questionari: bella da mostrare, muta sul piano operativo. Nessuno saprebbe dire che cosa fare con un 3,8 su cinque a quella voce. Fuori.
Quante domande puoi permetterti#
Ogni domanda in più fa abbandonare una parte di chi ha iniziato. Il modo più semplice di modellarlo è una quota costante di abbandono per domanda.
Con 86 camere al 72 per cento e soggiorni di 2,1 notti la struttura vende 1.857,6 camere-notte al mese e chiude circa 885 prenotazioni; togliendo quelle senza un indirizzo utilizzabile restano 880 questionari inviati. Ipotizziamo che il 42 per cento apra e cominci, e che ogni domanda oltre la prima faccia perdere il 3 per cento di chi è ancora dentro.
Risposte complete al variare del numero di domande, 880 invii al mese
- Questionari inviati
- 880
- Quota che apre e comincia
- 42 per cento
- Abbandono per ogni domanda successiva alla prima
- 3 per cento
- Versione a 6 domande: 0,97 elevato a 5
- 0,8587, quindi 880 per 0,42 per 0,8587 = 317 risposte complete
- Versione a 12 domande: 0,97 elevato a 11
- 0,7153, quindi 880 per 0,42 per 0,7153 = 264 risposte complete
- Versione a 20 domande: 0,97 elevato a 19
- 0,5606, quindi 880 per 0,42 per 0,5606 = 207 risposte complete
- Differenza fra 6 e 20 domande: 110 risposte complete in meno, cioè il 34,7 per cento
Il danno peggiore non è il numero, è chi resta#
Perdere un terzo delle risposte è il costo visibile. Quello invisibile è che chi arriva in fondo a venti domande non è una persona a caso: è chi ha qualcosa di forte da dire, in bene o in male. Il questionario lungo restituisce quindi una distribuzione più polarizzata di quella vera, e la polarizzazione non si vede: sembra solo che i giudizi siano netti. Il questionario corto raccoglie anche i tiepidi, che sono la maggioranza degli ospiti e la parte del campione che ti dice se sei nella media o sotto.
Domande su un fatto e domande su un’impressione#
«Il check-in è stato veloce?» è una domanda su un’impressione: la risposta dipende da quanto l’ospite era di fretta, dal confronto con l’ultimo albergo in cui è stato, e dal tono di chi stava al banco. «Quanti minuti ha atteso al banco?» è una domanda su un fatto: si può controllare contro l’ora di registrazione nel gestionale, si può confrontare fra due mesi, e produce una distribuzione invece di un voto.
Le domande su un fatto costano di più da scrivere e valgono molto di più. Ecco un mese di risposte alla domanda sui minuti di attesa, versione a sei domande.
| Minuti dichiarati | Risposte | Quota | Quota cumulata |
|---|---|---|---|
| 0-1 | 71 | 22,4 per cento | 22,4 per cento |
| 2-3 | 106 | 33,4 per cento | 55,8 per cento |
| 4-5 | 71 | 22,4 per cento | 78,2 per cento |
| 6-10 | 37 | 11,7 per cento | 89,9 per cento |
| 11-20 | 22 | 6,9 per cento | 96,8 per cento |
| 21-40 | 10 | 3,2 per cento | 100,0 per cento |
| Totale | 317 | 100,0 per cento |
Prendendo il punto centrale di ogni classe l’attesa media risulta 1.546 minuti su 317 risposte, cioè 4,88 minuti. Un numero rassicurante e inutile. La riga che decide qualcosa sta in fondo alla distribuzione: 32 ospiti su 317, cioè il 10,09 per cento, hanno atteso più di dieci minuti, e dieci di loro, il 3,15 per cento, più di venti. Quei trentadue sono le persone che poi scrivono la recensione sul check-in. La soglia della tabella di prima diceva «oltre il 10 per cento sopra i dieci minuti»: la decisione sul secondo addetto al banco si prende, e si prende su questo numero, non sulla media.
La scala a cinque livelli si legge dalle code#
Una scala da uno a cinque non è una misura numerica: è un ordinamento di etichette. La distanza fra quattro e cinque non è la stessa che c’è fra uno e due, quindi la media di quei numeri è un’operazione che la scala non autorizza. Il problema non è teorico. Due mesi di bassa stagione, 200 risposte ciascuno, stessa domanda sulla pulizia della camera.
| Voto | Mese A | Mese B |
|---|---|---|
| 5 | 88 | 118 |
| 4 | 76 | 38 |
| 3 | 26 | 24 |
| 2 | 8 | 6 |
| 1 | 2 | 14 |
| Media | 4,20 | 4,20 |
| Quota di 1 e 2 | 5,0 per cento | 10,0 per cento |
Stessa media, due mesi diversi. Nel mese B la coda negativa è raddoppiata e insieme sono aumentati i cinque: la pulizia è diventata discontinua, alcune camere ottime e alcune inaccettabili. Se guardi solo la media non vedi niente e non fai niente. Le tre cifre da riportare per ogni domanda a scala sono la quota di 1 e 2, la quota di 5, e il numero di risposte. La media può stare in fondo, in corpo minore.
La media che nasconde il mese peggiore
L’errore più costoso di tutta questa materia è riassumere ogni domanda con la sua media e metterla in un cruscotto. La media si muove poco e tardi: nel mese B qui sopra è rimasta ferma a 4,20 mentre la quota di giudizi insufficienti raddoppiava. Chi guarda solo la media si accorge del problema due o tre mesi dopo, quando le recensioni pubbliche lo hanno già registrato, e a quel punto la causa è difficile da ricostruire. Peggio ancora: alcuni fornitori mostrano di default una media pesata su tutte le domande, che nasconde due volte. Se devi tenere un solo numero per domanda, tieni la quota di 1 e 2, non la media.
Quante risposte servono prima di decidere#
La quota di giudizi insufficienti che leggi è una stima, non un fatto, e ha una fascia di incertezza che dipende dal numero di risposte. Con il livello di confidenza al 95 per cento il margine si calcola così.
| Risposte | Margine su una quota osservata del 10 per cento | Intervallo |
|---|---|---|
| 60 | 7,59 punti | da 2,4 a 17,6 per cento |
| 150 | 4,80 punti | da 5,2 a 14,8 per cento |
| 317 | 3,30 punti | da 6,7 a 13,3 per cento |
| 400 | 2,94 punti | da 7,1 a 12,9 per cento |
Con sessanta risposte la coda negativa vera può stare fra il 2,4 e il 17,6 per cento: sette volte di differenza fra i due estremi. Su quel numero non si assume nessuno e non si licenzia nessuna procedura. Per scendere a un margine di tre punti servono 385 risposte, e con 880 invii al mese e una versione a sei domande le raccogli in poco più di un mese. Con dodici domande ce ne vuole quasi uno e mezzo, con venti quasi due. È l’argomento più concreto contro il questionario lungo: allunga il tempo che devi aspettare prima di poter decidere qualcosa.
La stessa cautela vale al confronto fra due mesi. Se la coda negativa passa dal 10 al 13 per cento con trecento risposte per mese, la differenza è dentro il margine di entrambi: non è ancora un peggioramento, è rumore. Diventa un peggioramento se si ripete nello stesso verso per tre mesi.
Il collegamento con la recensione pubblica, senza forzature#
Il questionario e la recensione pubblica misurano due popolazioni diverse: al questionario risponde chi è stato invitato, alla recensione scrive chi ha una spinta a farlo. Collegare i due strumenti è legittimo in un solo modo: l’invito a scrivere in pubblico va a tutti quelli che hanno risposto, quale che sia il voto dato, e parte dopo il questionario, non prima.
Inviti pubblici su tutti contro inviti sui soli soddisfatti
- Risposte complete al mese
- 317
- Quota di risposte che pubblica una recensione se invitata
- 9 per cento
- Quota di rispondenti che ha dato il voto massimo
- 40 per cento
- Quota di soli soddisfatti che pubblica se invitata
- 14 per cento
- Invito a tutti: 317 per 0,09
- 28,5 recensioni al mese
- Invito ai soli soddisfatti: 317 per 0,40
- 126,8 persone, per 0,14 = 17,8 recensioni al mese
- Differenza: 10,7 recensioni al mese in meno, cioè il 37,5 per cento
Filtrare gli inviti costa recensioni anche quando funziona, perché la base di partenza è molto più piccola del vantaggio sul tasso di pubblicazione. E prima ancora del conto c’è la regola: le principali piattaforme di recensioni vietano di sollecitare in modo selettivo solo i clienti soddisfatti, e le sanzioni arrivano fino alla penalizzazione della scheda. Le condizioni cambiano e vanno verificate alla data sulle pagine ufficiali delle piattaforme che usi.
Dove il questionario non dice niente#
Primo limite, il più noto e il meno preso sul serio: risponde chi vuole. La distorsione da mancata risposta non si corregge aumentando il numero di inviti, perché chi non risponde continua a non rispondere. L’unico modo di stimarla è chiedere una volta l’anno a un piccolo gruppo estratto a caso di chi non aveva risposto, magari al telefono, e confrontare le due distribuzioni.
Secondo limite, quello che quasi nessuno prevede: se cambi il testo di una domanda, la serie storica si azzera. «Quanto è stato veloce il check-in» e «quanti minuti ha atteso» non sono la stessa domanda con parole diverse, e nemmeno spostare una domanda dalla posizione due alla posizione otto è neutro, perché cambia il campione di chi ci arriva. Chi rimaneggia il questionario ogni sei mesi non ha mai una serie abbastanza lunga per vedere un andamento, e finisce per decidere sempre sull’ultimo mese isolato. Meglio un questionario mediocre tenuto fermo per tre anni che uno perfetto riscritto ogni primavera.
Terzo limite: il questionario parla solo di chi è già stato ospite. Non dice niente su chi ha guardato la struttura e ha scelto un’altra, che è la popolazione che decide il tuo tasso di occupazione. Nessun voto sulla pulizia, per quanto ben misurato, spiega perché tre concorrenti hanno riempito un fine settimana in cui tu eri al sessanta per cento.
Cosa fare lunedì mattina#
- Stampa il questionario attuale e scrivi accanto a ogni domanda la decisione che potresti prendere, la soglia e il nome di chi decide: cancella le righe in cui una delle tre caselle resta vuota.
- Riscrivi come domande su un fatto le due domande su un’impressione che ti stanno più a cuore, in minuti, in orari o in numero di volte.
- Conta quante prenotazioni chiudi in un mese e calcola con la formula quante risposte complete ti aspetti dalla versione corta e da quella attuale.
- Per ogni domanda a scala sostituisci la media nel tuo prospetto con tre numeri: quota di 1 e 2, quota di 5, numero di risposte.
- Calcola il margine di errore sulla tua coda negativa con il numero di risposte che hai davvero, e scrivilo accanto alla cifra ogni volta che la riporti.
- Fissa la regola dell’invito pubblico a tutti i rispondenti e verifica sulle pagine ufficiali delle piattaforme che usi come devono essere formulati gli inviti.
- Congela il testo delle domande per i prossimi dodici mesi e mettilo per iscritto, con la data, in modo che il confronto fra mesi resti possibile.
- Metti in calendario una verifica trimestrale in cui si guarda solo se le soglie sono state superate e quali decisioni ne sono seguite.
Da leggere dopo
Recensioni e prezzo: quanto pesa davvero il giudizio sul prezzo che puoi tenere
Le cifre che legano punteggio e prezzo sono quasi tutte correlazioni presentate come effetti. Qui trovi il perché, e un metodo interno che confronta la tua posizione di punteggio con la tua posizione di…
15 min di lettura
Rispondere alle recensioni serve? Cosa cambia e cosa no
La risposta a una recensione la legge chi deve ancora prenotare, non chi l'ha scritta. Da qui discendono la lunghezza, il tono e il contenuto: con il conto dei lettori, le quattro situazioni e…
11 min di lettura
Quanto puoi fidarti di un numero: intervalli di confidenza senza formule spaventose
Su venti prenotazioni un tasso del 20 per cento è compatibile con valori fra il 7,7 e il 42,3 per cento. La formula del margine, la tabella al variare della numerosità, e la regola…
14 min di lettura
Media, mediana e valori anomali: perche il numero che guardi ti inganna
Un gruppo, una trasferta lunga o una prenotazione a due anni bastano a spostare la media e a lasciare ferma la mediana. Quando serve l'una, quando serve l'altra, e come si tratta un valore…
11 min di lettura
Errore comune Esempio numerico Per cominciare Statistica applicata