Operazioni e persone

Il questionario post soggiorno che serve a qualcosa

Un questionario serve solo se ogni domanda corrisponde a una decisione. Quante domande puoi permetterti, perché si leggono le code e non le medie, e quante risposte servono prima di concludere qualcosa.

11 min di lettura 2.111 parole

Un questionario post soggiorno serve a qualcosa solo se ogni domanda corrisponde a una decisione che potresti davvero prendere. Se alla risposta non segue nessuna azione possibile, quella domanda va tolta: sta consumando l’attenzione dell’ospite e sta abbassando il numero di risposte alle domande che contano. È la regola che elimina metà dei moduli che si vedono in giro.

La conseguenza pratica è che il questionario si scrive al contrario. Prima si elencano le decisioni che la struttura può prendere nei prossimi tre mesi, poi si scrive la domanda che ne sposta una, e si smette. Non si parte dall’elenco dei reparti da coprire.

Sotto ci sono i conti: quanto costa ogni domanda in più, come si legge una scala a cinque livelli senza farne la media, e quante risposte servono prima di poter dire che una cosa è cambiata. La struttura di riferimento è un quattro stelle di 86 camere in una città del nord Italia, occupazione media 72 per cento e durata media del soggiorno 2,1 notti.

La regola che elimina metà delle domande#

Una domanda è ammessa se puoi scrivere accanto tre cose: la decisione che potrebbe far cambiare, la soglia oltre la quale la prendi, e chi la prende. Se una delle tre manca, la domanda esce.

Domanda Decisione collegata Soglia Chi decide
Quanti minuti ha atteso al banco all’arrivo? Secondo addetto al banco fra le 15 e le 18 Oltre il 10 per cento delle risposte sopra i 10 minuti Direzione
A che ora ha fatto colazione? Spostare l’orario di chiusura del servizio Oltre il 15 per cento dopo le 9.30 Direzione e cucina
Ha usato il parcheggio? Lo aveva capito prima di prenotare? Riscrivere la descrizione del parcheggio sul sito e sui portali Oltre un quinto di chi lo ha usato dice di non averlo capito prima Chi cura il sito
Come giudica la nostra attenzione alla sostenibilità? Nessuna Nessuna Nessuno

L’ultima riga è il tipo di domanda che riempie i questionari: bella da mostrare, muta sul piano operativo. Nessuno saprebbe dire che cosa fare con un 3,8 su cinque a quella voce. Fuori.

Quante domande puoi permetterti#

Ogni domanda in più fa abbandonare una parte di chi ha iniziato. Il modo più semplice di modellarlo è una quota costante di abbandono per domanda.

R=I×a×(1-r)n-1
R = I × a × (1-r)^n-1
Rrisposte complete raccolteIquestionari inviatiaquota di invitati che apre e comincia a rispondere, come frazionerquota di chi abbandona a ogni domanda successiva alla prima, come frazionennumero di domande
Il costo di una domanda non si paga su quella domanda, si paga su tutte quelle che vengono dopo

Con 86 camere al 72 per cento e soggiorni di 2,1 notti la struttura vende 1.857,6 camere-notte al mese e chiude circa 885 prenotazioni; togliendo quelle senza un indirizzo utilizzabile restano 880 questionari inviati. Ipotizziamo che il 42 per cento apra e cominci, e che ogni domanda oltre la prima faccia perdere il 3 per cento di chi è ancora dentro.

Risposte complete al variare del numero di domande, 880 invii al mese

Questionari inviati
880
Quota che apre e comincia
42 per cento
Abbandono per ogni domanda successiva alla prima
3 per cento
Versione a 6 domande: 0,97 elevato a 5
0,8587, quindi 880 per 0,42 per 0,8587 = 317 risposte complete
Versione a 12 domande: 0,97 elevato a 11
0,7153, quindi 880 per 0,42 per 0,7153 = 264 risposte complete
Versione a 20 domande: 0,97 elevato a 19
0,5606, quindi 880 per 0,42 per 0,5606 = 207 risposte complete
Differenza fra 6 e 20 domande: 110 risposte complete in meno, cioè il 34,7 per cento

Il danno peggiore non è il numero, è chi resta#

Perdere un terzo delle risposte è il costo visibile. Quello invisibile è che chi arriva in fondo a venti domande non è una persona a caso: è chi ha qualcosa di forte da dire, in bene o in male. Il questionario lungo restituisce quindi una distribuzione più polarizzata di quella vera, e la polarizzazione non si vede: sembra solo che i giudizi siano netti. Il questionario corto raccoglie anche i tiepidi, che sono la maggioranza degli ospiti e la parte del campione che ti dice se sei nella media o sotto.

Domande su un fatto e domande su un’impressione#

«Il check-in è stato veloce?» è una domanda su un’impressione: la risposta dipende da quanto l’ospite era di fretta, dal confronto con l’ultimo albergo in cui è stato, e dal tono di chi stava al banco. «Quanti minuti ha atteso al banco?» è una domanda su un fatto: si può controllare contro l’ora di registrazione nel gestionale, si può confrontare fra due mesi, e produce una distribuzione invece di un voto.

Le domande su un fatto costano di più da scrivere e valgono molto di più. Ecco un mese di risposte alla domanda sui minuti di attesa, versione a sei domande.

Minuti dichiarati Risposte Quota Quota cumulata
0-1 71 22,4 per cento 22,4 per cento
2-3 106 33,4 per cento 55,8 per cento
4-5 71 22,4 per cento 78,2 per cento
6-10 37 11,7 per cento 89,9 per cento
11-20 22 6,9 per cento 96,8 per cento
21-40 10 3,2 per cento 100,0 per cento
Totale 317 100,0 per cento

Prendendo il punto centrale di ogni classe l’attesa media risulta 1.546 minuti su 317 risposte, cioè 4,88 minuti. Un numero rassicurante e inutile. La riga che decide qualcosa sta in fondo alla distribuzione: 32 ospiti su 317, cioè il 10,09 per cento, hanno atteso più di dieci minuti, e dieci di loro, il 3,15 per cento, più di venti. Quei trentadue sono le persone che poi scrivono la recensione sul check-in. La soglia della tabella di prima diceva «oltre il 10 per cento sopra i dieci minuti»: la decisione sul secondo addetto al banco si prende, e si prende su questo numero, non sulla media.

La scala a cinque livelli si legge dalle code#

Una scala da uno a cinque non è una misura numerica: è un ordinamento di etichette. La distanza fra quattro e cinque non è la stessa che c’è fra uno e due, quindi la media di quei numeri è un’operazione che la scala non autorizza. Il problema non è teorico. Due mesi di bassa stagione, 200 risposte ciascuno, stessa domanda sulla pulizia della camera.

Voto Mese A Mese B
5 88 118
4 76 38
3 26 24
2 8 6
1 2 14
Media 4,20 4,20
Quota di 1 e 2 5,0 per cento 10,0 per cento

Stessa media, due mesi diversi. Nel mese B la coda negativa è raddoppiata e insieme sono aumentati i cinque: la pulizia è diventata discontinua, alcune camere ottime e alcune inaccettabili. Se guardi solo la media non vedi niente e non fai niente. Le tre cifre da riportare per ogni domanda a scala sono la quota di 1 e 2, la quota di 5, e il numero di risposte. La media può stare in fondo, in corpo minore.

La media che nasconde il mese peggiore

L’errore più costoso di tutta questa materia è riassumere ogni domanda con la sua media e metterla in un cruscotto. La media si muove poco e tardi: nel mese B qui sopra è rimasta ferma a 4,20 mentre la quota di giudizi insufficienti raddoppiava. Chi guarda solo la media si accorge del problema due o tre mesi dopo, quando le recensioni pubbliche lo hanno già registrato, e a quel punto la causa è difficile da ricostruire. Peggio ancora: alcuni fornitori mostrano di default una media pesata su tutte le domande, che nasconde due volte. Se devi tenere un solo numero per domanda, tieni la quota di 1 e 2, non la media.

Quante risposte servono prima di decidere#

La quota di giudizi insufficienti che leggi è una stima, non un fatto, e ha una fascia di incertezza che dipende dal numero di risposte. Con il livello di confidenza al 95 per cento il margine si calcola così.

e=1,96×p×(1-p)n
e = 1,96 × radq((p × (1-p)) / (n))
esemiampiezza dell'intervallo, in punti percentuali espressi come frazionepquota osservata di giudizi insufficienti, come frazionennumero di risposte
Il margine scende con la radice del numero di risposte: per dimezzarlo servono quattro volte le risposte
Risposte Margine su una quota osservata del 10 per cento Intervallo
60 7,59 punti da 2,4 a 17,6 per cento
150 4,80 punti da 5,2 a 14,8 per cento
317 3,30 punti da 6,7 a 13,3 per cento
400 2,94 punti da 7,1 a 12,9 per cento

Con sessanta risposte la coda negativa vera può stare fra il 2,4 e il 17,6 per cento: sette volte di differenza fra i due estremi. Su quel numero non si assume nessuno e non si licenzia nessuna procedura. Per scendere a un margine di tre punti servono 385 risposte, e con 880 invii al mese e una versione a sei domande le raccogli in poco più di un mese. Con dodici domande ce ne vuole quasi uno e mezzo, con venti quasi due. È l’argomento più concreto contro il questionario lungo: allunga il tempo che devi aspettare prima di poter decidere qualcosa.

La stessa cautela vale al confronto fra due mesi. Se la coda negativa passa dal 10 al 13 per cento con trecento risposte per mese, la differenza è dentro il margine di entrambi: non è ancora un peggioramento, è rumore. Diventa un peggioramento se si ripete nello stesso verso per tre mesi.

Il collegamento con la recensione pubblica, senza forzature#

Il questionario e la recensione pubblica misurano due popolazioni diverse: al questionario risponde chi è stato invitato, alla recensione scrive chi ha una spinta a farlo. Collegare i due strumenti è legittimo in un solo modo: l’invito a scrivere in pubblico va a tutti quelli che hanno risposto, quale che sia il voto dato, e parte dopo il questionario, non prima.

Inviti pubblici su tutti contro inviti sui soli soddisfatti

Risposte complete al mese
317
Quota di risposte che pubblica una recensione se invitata
9 per cento
Quota di rispondenti che ha dato il voto massimo
40 per cento
Quota di soli soddisfatti che pubblica se invitata
14 per cento
Invito a tutti: 317 per 0,09
28,5 recensioni al mese
Invito ai soli soddisfatti: 317 per 0,40
126,8 persone, per 0,14 = 17,8 recensioni al mese
Differenza: 10,7 recensioni al mese in meno, cioè il 37,5 per cento

Filtrare gli inviti costa recensioni anche quando funziona, perché la base di partenza è molto più piccola del vantaggio sul tasso di pubblicazione. E prima ancora del conto c’è la regola: le principali piattaforme di recensioni vietano di sollecitare in modo selettivo solo i clienti soddisfatti, e le sanzioni arrivano fino alla penalizzazione della scheda. Le condizioni cambiano e vanno verificate alla data sulle pagine ufficiali delle piattaforme che usi.

Dove il questionario non dice niente#

Primo limite, il più noto e il meno preso sul serio: risponde chi vuole. La distorsione da mancata risposta non si corregge aumentando il numero di inviti, perché chi non risponde continua a non rispondere. L’unico modo di stimarla è chiedere una volta l’anno a un piccolo gruppo estratto a caso di chi non aveva risposto, magari al telefono, e confrontare le due distribuzioni.

Secondo limite, quello che quasi nessuno prevede: se cambi il testo di una domanda, la serie storica si azzera. «Quanto è stato veloce il check-in» e «quanti minuti ha atteso» non sono la stessa domanda con parole diverse, e nemmeno spostare una domanda dalla posizione due alla posizione otto è neutro, perché cambia il campione di chi ci arriva. Chi rimaneggia il questionario ogni sei mesi non ha mai una serie abbastanza lunga per vedere un andamento, e finisce per decidere sempre sull’ultimo mese isolato. Meglio un questionario mediocre tenuto fermo per tre anni che uno perfetto riscritto ogni primavera.

Terzo limite: il questionario parla solo di chi è già stato ospite. Non dice niente su chi ha guardato la struttura e ha scelto un’altra, che è la popolazione che decide il tuo tasso di occupazione. Nessun voto sulla pulizia, per quanto ben misurato, spiega perché tre concorrenti hanno riempito un fine settimana in cui tu eri al sessanta per cento.

Cosa fare lunedì mattina#

  1. Stampa il questionario attuale e scrivi accanto a ogni domanda la decisione che potresti prendere, la soglia e il nome di chi decide: cancella le righe in cui una delle tre caselle resta vuota.
  2. Riscrivi come domande su un fatto le due domande su un’impressione che ti stanno più a cuore, in minuti, in orari o in numero di volte.
  3. Conta quante prenotazioni chiudi in un mese e calcola con la formula quante risposte complete ti aspetti dalla versione corta e da quella attuale.
  4. Per ogni domanda a scala sostituisci la media nel tuo prospetto con tre numeri: quota di 1 e 2, quota di 5, numero di risposte.
  5. Calcola il margine di errore sulla tua coda negativa con il numero di risposte che hai davvero, e scrivilo accanto alla cifra ogni volta che la riporti.
  6. Fissa la regola dell’invito pubblico a tutti i rispondenti e verifica sulle pagine ufficiali delle piattaforme che usi come devono essere formulati gli inviti.
  7. Congela il testo delle domande per i prossimi dodici mesi e mettilo per iscritto, con la data, in modo che il confronto fra mesi resti possibile.
  8. Metti in calendario una verifica trimestrale in cui si guarda solo se le soglie sono state superate e quali decisioni ne sono seguite.

Da leggere dopo