Quanto puoi fidarti di un numero: intervalli di confidenza senza formule spaventose

Su venti prenotazioni, quattro cancellate fanno un tasso del 20 per cento. Quel 20 per cento, calcolato su venti osservazioni, è compatibile con un valore vero che sta fra il 7,7 e il 42,3 per cento. Non è una sottigliezza da statistici: vuol dire che quel dato non distingue un canale ottimo da un canale pessimo, e che su quel numero non si decide niente.

Un intervallo di confidenza è il modo di scrivere quel «fra il 7,7 e il 42,3» accanto al numero. Serve a capire se la differenza che hai visto è grande rispetto al rumore delle osservazioni su cui l’hai calcolata. Se non lo è, la risposta corretta non è decidere lo stesso: è aggregare, aspettare, oppure decidere per altre ragioni e dichiararlo.

Il conto richiede una radice quadrata e nient’altro. La parte difficile è ricordarsi di farlo ogni volta che qualcuno mostra una percentuale senza dire su quante osservazioni l’ha calcolata.

Il numero che vedi e il numero che sta sotto#

C’è un’obiezione da togliere di mezzo subito: io non ho un campione, ho tutte le prenotazioni del trimestre, contate una per una. È vera, ed è il motivo per cui l’argomento in albergo confonde più che altrove.

La distinzione è fra due domande. Se chiedi «quante camere ho venduto nel trimestre chiuso», il numero è esatto e nessun intervallo ha senso. Se chiedi «questo canale cancella più dell’altro», quelle venti prenotazioni non sono la popolazione: sono venti estrazioni da un processo che continua a produrne, ed è quel processo che ti serve conoscere.

Ogni volta che usi un numero del passato per decidere sul futuro, quel numero è un campione. L’intervallo misura quanto il caso, e solo il caso, avrebbe potuto spostare la cifra. È il minimo dell’incertezza, non il totale.

La formula per una percentuale, pezzo per pezzo#

Per una quota — quota di prenotazioni disdette, camere vendute con colazione, richieste che diventano prenotazione — la formula è questa.

Il prodotto $p\times (1-p)$ è la variabilità della quota: vale al massimo 0,25 quando la quota è 50 per cento e crolla verso zero quando si avvicina a 0 o a 100. A parità di osservazioni, un tasso del 3 per cento è molto più stabile di un tasso del 50 per cento.

La $n$ sta sotto una radice, ed è la parte che decide la vita pratica: per dimezzare il margine servono quattro volte le osservazioni, per dividerlo per dieci ne servono cento volte. Nessuna struttura raggiunge la precisione dei grandi numeri, si tratta solo di sapere dove ci si ferma.

Il coefficiente $z$ è una scelta, non un dato. Con 1,96 stai dicendo che un intervallo così costruito, ripetendo la misura molte volte, conterrebbe il valore vero nel 95 per cento dei casi. Con 1,64 scendi al 90 per cento e l’intervallo si stringe di un sesto: non è il numero che diventa più preciso, sei tu che accetti di sbagliare più spesso.

Il margine al variare della numerosità#

La tabella applica la formula con $z=1,96$ al caso peggiore, una quota del 50 per cento, e a un caso frequente in albergo, una quota del 20 per cento. I valori sono il mezzo intervallo, cioè quanto va aggiunto e tolto al numero osservato.

Righe 100 e 400: il margine passa da 7,8 a 3,9 punti, esattamente la metà, con quattro volte i dati. Prima riga: con dieci osservazioni la formula spinge il limite inferiore sotto zero, che è impossibile. È il segnale che la formula semplice non regge sui numeri piccoli.

La correzione che serve quando le osservazioni sono poche#

Sotto le trenta osservazioni, o con quote vicine a 0 o a 100, c’è una correzione che costa dieci secondi e funziona molto meglio: aggiungi due successi e due insuccessi finti prima di fare il conto.

Il centro si sposta dal 20 al 25 per cento, ed è proprio questo che rende l’intervallo affidabile: con quattro casi su venti, il 20 per cento secco è una cifra che il caso può produrre partendo da un tasso vero molto più alto.

La formula per una media: tariffa, notti, scontrino#

Per una media — tariffa media di vendita, notti per prenotazione, spesa al ristorante — cambia solo la parte dentro la radice: al posto della variabilità della quota entra la dispersione osservata dei valori.

La differenza rispetto alle percentuali: qui la dispersione la misuri, non la deduci. Due strutture con la stessa tariffa media possono avere margini lontanissimi, perché una vende quasi tutto allo stesso prezzo e l’altra alterna gruppi a 90 euro e camere sotto data a 260.

Due conseguenze. Se il mese scorso la tariffa diretta era 159 euro e questo mese è 168, quei 9 euro stanno dentro il margine di entrambi i mesi e non sono leggibili. E la differenza fra usare t e usare 1,96 vale poco più di quaranta centesimi: chi si blocca sul coefficiente ottimizza la cosa sbagliata.

Due canali che sembrano diversi e non lo sono#

Il caso vero è quasi sempre un confronto. E quando confronti due percentuali i margini si sommano dentro la radice: il margine della differenza è più largo di ciascuno dei due presi da solo.

Venti punti di differenza sembrano enormi. L’intervallo contiene lo zero, quindi contiene l’ipotesi che i due canali cancellino allo stesso modo, e contiene anche l’ipotesi che B cancelli 40 punti in più. Con questi dati non sai quale delle tre storie sia vera.

Quante prenotazioni servirebbero, allora. Con quote del 20 e del 40 per cento e due canali della stessa dimensione, perché l’intervallo della differenza smetta di contenere lo zero servono 39 prenotazioni per canale. Ma a 39 sei esattamente al limite: se la differenza vera fosse davvero di 20 punti la vedresti circa una volta su due. Per accorgertene quattro volte su cinque ne servono 79 per canale, il doppio. È lo scarto che spiega perché tanti confronti non danno risultato: erano dimensionati per il caso fortunato.

Sotto quale numerosità non si decide, e che cosa si fa al suo posto#

Non esiste una soglia universale: dipende da quanto è grande la differenza che ti interessa. Esiste un criterio che si applica in dieci secondi: confronta il margine con la differenza minima che cambierebbe la tua decisione. Se ti muoveresti solo per almeno 10 punti e il margine è di 24, quel dato non può muoverti. Non perché la differenza non ci sia, ma perché quella misura non la distingue dal rumore. Rimandare non è prudenza, è la lettura corretta.

Le tre uscite praticabili, in ordine di preferenza.

• Aggregare. Non il mese ma il trimestre, non il codice tariffa ma la famiglia, non i portali minori uno per uno ma la voce «altri portali». Perdi dettaglio e guadagni leggibilità.
• Cambiare grandezza. Una percentuale comprime ogni prenotazione in un sì o un no e butta via il resto. Se puoi rispondere alla stessa domanda con una media — il valore medio disdetto invece della quota di disdette — ottieni un margine più stretto con le stesse osservazioni.
• Decidere lo stesso, dichiarando che è una scommessa. Un canale con sei prenotazioni e tre disdette si può chiudere perché costa gestirlo, non perché i dati dicano che cancella troppo. La motivazione onesta è più utile di una motivazione statistica inventata: se domani i risultati cambiano, sai su che cosa tornare indietro.

Come si scrive un numero incerto senza sembrare indecisi#

Il timore è comprensibile: una proprietà che sente «fra il 7 e il 42 per cento» pensa che tu non sappia rispondere. Il rimedio non è togliere il margine, è cambiare la forma della frase. Un numero incerto comunicato bene ha tre pezzi nello stesso ordine: la cifra, il margine con la sua causa, la conseguenza operativa.

«Il canale B ha cancellato il 40 per cento, ma su 35 prenotazioni: il margine è di 16 punti. Lo tengo aperto e rivedo a fine trimestre, quando le prenotazioni basteranno a distinguerlo dal canale A.» Questa frase contiene una decisione, una data e un criterio. Nessuno la legge come indecisione.

Tre regole rendono il resto automatico. Il denominatore va sempre accanto alla percentuale: «40 per cento su 35». Il margine va arrotondato per eccesso alla cifra intera, perché «più o meno 16,4 punti» dà falsa precisione a una stima di imprecisione. E «non è statisticamente significativo» va sostituito con «con questi numeri non si distingue».

Quando l’intervallo non serve a niente#

Le prenotazioni non sono indipendenti, e la formula suppone che lo siano. Un gruppo di dodici camere disdette è un evento solo, non dodici. Una promozione mandata a tutto lo schedario produce prenotazioni che si somigliano fra loro. Quando le osservazioni sono legate, l’intervallo calcolato è troppo stretto: ti dà più sicurezza di quanta ne hai. È l’errore nella direzione peggiore, perché ti fa decidere quando non dovresti.

Il margine copre solo il caso, non gli errori di misura. Se un canale conta come cancellazioni anche i mancati arrivi e l’altro no, i due numeri misurano cose diverse: la larghezza dell’intervallo è giusta, il centro è nel posto sbagliato. Prima di calcolare qualsiasi margine, verifica che le due colonne contengano davvero la stessa cosa.

Il margine parla del passato, e il processo cambia. Dice quanto il caso avrebbe potuto spostare la misura dentro il periodo osservato. Non dice niente sul fatto che nel frattempo hai cambiato politica di disdetta, mix di segmenti o posizione in classifica. Un intervallo strettissimo calcolato su duemila prenotazioni dell’anno scorso può essere fuori bersaglio quest’anno, e la statistica non ti avvisa.

Se guardi molti confronti, qualcuno esce grande per forza. Con dodici confronti indipendenti e una soglia al 5 per cento, la probabilità che almeno uno risulti grande per solo caso è 1 meno 0,95 elevato alla dodicesima, cioè il 46,0 per cento. Un cruscotto con dodici indicatori guardati ogni settimana produce allarmi finti quasi una settimana su due. Chi decide prima di guardare quale confronto conta ha un problema molto minore di chi ne fa dodici e racconta quello uscito grande.

Il 95 per cento è una convenzione. Nessuno ha dimostrato che 1,96 sia la soglia giusta per un albergo. Se la decisione è reversibile e costa poco, come provare un prezzo per due settimane, puoi lavorare a una confidenza più bassa e muoverti prima. Se è irreversibile, alza l’asticella. La confidenza dovrebbe seguire il costo dell’errore, e invece segue l’abitudine.

Cosa fare lunedì mattina#

1. Apri l’ultimo rapporto per canale e aggiungi accanto a ogni percentuale la colonna con il numero di prenotazioni. Basta questo per vedere quante righe non erano leggibili.
2. Metti in una cella del foglio la formula del margine: $1,96\times \sqrt{p\times (1-p)/n}$, e trascinala su tutte le righe di percentuale del rapporto.
3. Nascondi o marca ogni percentuale calcolata su meno di trenta osservazioni, e chiedi a chi produce il rapporto di applicare la regola in modo stabile.
4. Rifai il conto della differenza con il suo margine sul confronto fra due gruppi che stavi per usare per decidere. Se l’intervallo contiene lo zero, scrivi che stai decidendo su altre basi.
5. Scegli il livello di aggregazione a cui i rapporti diventano leggibili — trimestre invece di mese, famiglia di tariffe invece di codice — e adottalo come standard.
6. Per la prossima prova, decidi prima quale differenza minima ti farebbe cambiare idea e usala per stabilire quante osservazioni raccogliere.
7. Elimina dai commenti scritti l’espressione «statisticamente significativo» e sostituiscila con «con questi numeri si distingue» oppure «non si distingue».

Domande frequenti#

Ma io ho tutte le prenotazioni, non un campione: perché dovrei calcolare un margine?#

Perché il margine non riguarda il conteggio, riguarda l’uso che ne fai. Se vuoi sapere quante camere hai venduto il mese scorso, il numero è esatto. Se vuoi sapere se questo canale cancella più dell’altro, stai usando quelle prenotazioni per prevedere le prossime: in quel momento diventano un campione di un processo che continua, e il margine dice quanto il caso può avere spostato la cifra.

Quante prenotazioni servono per poter confrontare due canali?#

Dipende dalla differenza che vuoi vedere e dal livello dei due tassi. Nell’esempio di questo articolo, per distinguere un 20 per cento da un 40 per cento servono circa 39 prenotazioni per canale per escludere lo zero e circa 79 per avere quattro probabilità su cinque di accorgersene. Differenze più piccole richiedono molte più osservazioni: dimezzare la differenza da rilevare quadruplica il numero necessario.

Il margine calcolato sulle percentuali vale anche per la tariffa media?#

Il principio è lo stesso, la formula cambia. Per una media si usa la deviazione standard dei valori osservati divisa per la radice del numero di osservazioni, moltiplicata per il coefficiente di confidenza. La dispersione della tariffa però la misuri sui tuoi dati: chi vende a prezzi molto diversi fra loro ha bisogno di più osservazioni per dire qualcosa sulla propria media.

Posso usare il 90 per cento di confidenza invece del 95 per stringere l’intervallo?#

Sì, e in molte decisioni alberghiere è la scelta giusta. Passare da 1,96 a 1,64 restringe l’intervallo di circa un sesto, al prezzo di sbagliare una volta su dieci invece che una su venti. Ha senso quando la decisione è reversibile e costa poco tornare indietro, per esempio provare una tariffa per due settimane. Per decisioni irreversibili conviene invece alzare la confidenza, non abbassarla.

Il mio gestionale mostra già delle bande di confidenza sulle previsioni: sono la stessa cosa?#

Sono parenti ma rispondono a domande diverse. Un intervallo di confidenza riguarda un valore medio, per esempio il tasso di cancellazione tipico di un canale. Una banda su una previsione riguarda un singolo valore futuro ed è sempre più larga, perché somma l’incertezza sulla media e la variabilità del giorno singolo. Confonderle porta a considerare precise previsioni che non lo sono.