Provare un prezzo: come si costruisce un test che dice qualcosa

Per sapere se un prezzo funziona meglio di un altro non serve cambiarlo e guardare il mese dopo: serve alternarlo. Si scelgono giornate dello stesso tipo, si accoppiano a due a due, in ogni coppia una data riceve la variante e l’altra il prezzo di sempre, e si guarda la differenza dentro le coppie. Tutto il resto è rumore travestito da risultato.

La parte che quasi nessuno fa è la seconda: prima di partire, calcolare quante coppie servono. Un test troppo corto non dà una risposta sbagliata, dà una risposta che non c’è, e il modo in cui viene letta la trasforma comunque in una decisione.

Da qui lavoro su una struttura dichiarata: un albergo di 78 camere in un capoluogo del nord Italia, domanda prevalentemente d’affari dal lunedì al giovedì, listino gestito a mano su una griglia di tariffe. Tutti i numeri che seguono sono costruiti su di essa e vanno rifatti con i propri.

Perché il confronto fra prima e dopo quasi sempre mente#

Il test che si vede più spesso è questo: alzo le tariffe il primo marzo, guardo il RevPAR di marzo, lo confronto con febbraio. Se sale, il prezzo nuovo funziona. Non funziona per una ragione semplice: fra febbraio e marzo non è cambiato solo il prezzo.

Tre giornate su trentuno spiegano il 75 per cento dell’aumento. Dei 3,28 euro che restano non sappiamo nulla: marzo ha più luce, un calendario diverso, una posizione diversa nella stagione. Il prezzo nuovo può valere 3,28 euro, può valere zero, può valere meno di zero.

Le tre cose che cambiano insieme al prezzo#

Cambia la stagione: la domanda di marzo non è quella di febbraio, e non lo sarebbe stata neanche a prezzo fermo. Cambia il calendario: numero di sabati, ponti, vacanze scolastiche, festività mobili. Cambia il contorno: un concorrente chiude per lavori, un altro apre, un portale modifica il modo in cui ordina i risultati.

Nessuna di queste tre cose compare nel confronto fra due medie mensili, e tutte e tre finiscono dentro la differenza che attribuisci al prezzo. L’anno prima non è un gruppo di controllo: è un altro esperimento fatto in un altro mondo.

Il disegno a coppie: che cosa si alterna e che cosa resta fermo#

L’idea è mettere la variante e il controllo il più vicino possibile nel tempo, sullo stesso tipo di giornata. Ciò che cambia lentamente, a sette giorni di distanza, cambia quasi allo stesso modo su entrambe le date e si cancella nella sottrazione.

Come si formano le coppie#

Prima si sceglie l’unità di analisi: non il mese, ma la singola data di soggiorno. Poi si dichiara per iscritto che cosa rende due date confrontabili. Nel nostro albergo: stesso giorno della settimana, stessa fascia di stagione, nessun evento in calendario, nessun reparto chiuso. Restano i martedì, i mercoledì e i giovedì della media stagione d’affari: tre tipi di giornata.

Una coppia è formata da due date dello stesso giorno della settimana in settimane adiacenti: il martedì della prima settimana con il martedì della seconda. Dentro ogni coppia una data riceve la variante e l’altra il prezzo di sempre. Quale delle due la riceve si alterna: nella prima coppia tocca alla settimana dispari, nella seconda alla settimana pari, e così via.

L’alternanza non è un vezzo. Se la domanda sale lentamente lungo le dodici settimane, la salita entra per metà nelle date con la variante e per metà in quelle di controllo, e si cancella nella media delle differenze. Dando sempre la variante alla prima settimana della coppia misureresti la variante più la tendenza, senza poterle separare.

Con tre tipi di giornata utilizzabili, dodici settimane danno sei coppie per ciascuno: diciotto coppie in tutto. Questo conto va fatto prima di iniziare, perché è lui a dire se il test ha senso.

Che cosa deve restare fermo#

La variante è una sola cosa. Se cambi la tariffa e insieme la politica di cancellazione, alla fine avrai misurato la somma delle due e non saprai quale abbia prodotto il risultato. Restano fermi per tutta la durata: canali aperti e chiusi, ordine di apertura delle tipologie, controlli di soggiorno, spesa pubblicitaria, invii commerciali, disponibilità ceduta ai gruppi, tariffe negoziate.

Se il prezzo lo muove un sistema automatico, l’aggiornamento automatico va disattivato sulle date del test, oppure il test non è un test: è una registrazione di quello che ha deciso il sistema.

Quante coppie servono, e perché il numero spaventa#

I primi due termini sono convenzioni: 1,96 più 0,84 fa 2,80, e il quadrato fa 7,84, che nella pratica si tratta come una costante. Il lavoro vero sta negli altri due.

Il rumore ${\sigma }_d$ non si inventa, si misura. Estrai il RevPAR giornaliero degli ultimi due anni, tieni i giorni della settimana che ti interessano, forma le coppie di settimane adiacenti nei periodi in cui non hai toccato niente e calcola la deviazione standard delle differenze dentro le coppie. È il rumore naturale della tua struttura su quel tipo di giornata: nell’albergo di 78 camere, sui feriali di media stagione, viene 9,00 euro.

La differenza $\delta$ invece è una scelta di gestione, non una statistica: quanto deve valere l’effetto perché tu cambi davvero il listino. Se un guadagno di 2,00 euro di RevPAR non ti farebbe muovere un dito, non ha senso pagare un test capace di vederlo.

Numero di coppie necessarie, arrotondato per eccesso. Colonna centrale, riga dei 6,00 euro: 18 coppie, cioè dodici settimane con tre tipi di giornata. Riga dei 2,00 euro: 159 coppie, oltre due anni. Ecco perché la maggior parte dei test sul prezzo che si vedono nelle strutture non poteva dire nulla fin dall’inizio: cercava un effetto che un campione di quella dimensione non può vedere.

Le leve per accorciare sono due sole. Alzare $\delta$, cioè rinunciare a misurare gli effetti piccoli. Oppure abbassare ${\sigma }_d$, cioè accoppiare meglio: restringere il criterio di confrontabilità, non allargarlo per fare prima. Mettere insieme i venerdì e i martedì raddoppia le coppie e gonfia il rumore, e il conto peggiora.

Come si legge il risultato#

L’ADR realizzato sale di 8,34 euro invece che di 8,00, perché insieme al prezzo è cambiato il mix delle tipologie vendute. Le camere vendute scendono di 30 su 1.000. Il ricavo sale di 4.354,80 euro. Fin qui sembra una vittoria. Il numero che manca è l’incertezza.

Nel nostro test la deviazione standard osservata delle differenze è 8,60 euro, vicina ai 9,00 stimati in fase di disegno. L’errore standard vale $\mathrm{8,60}÷\sqrt{18}=\mathrm{2,03}$ euro. Il margine vale $\mathrm{2,110}\times \mathrm{2,03}=\mathrm{4,28}$ euro. La fascia di incertezza va da -1,18 a +7,38 euro di RevPAR.

Tradotto in soldi sul periodo del test, moltiplicando per le 1.404 camere disponibili: fra -1.657 e +10.362 euro. Tradotto su un anno intero, tenendo i tre giorni della settimana per 52 settimane, cioè 12.168 camere disponibili: fra -14.358 e +89.800 euro. È lo stesso test, con lo stesso risultato positivo.

Quando l’intervallo contiene lo zero#

Contiene lo zero significa una cosa sola: i dati raccolti sono compatibili anche con l’ipotesi che la variante non abbia alcun effetto. Non significa che l’effetto sia zero. Non significa neppure che sia 3,10. Significa che il test non ha separato le due possibilità.

La conclusione onesta si scrive così: con 18 coppie non riusciamo a distinguere un effetto di 3,10 euro dal rumore; per distinguerlo servirebbero 33 coppie, cioè altre dieci settimane di test. Le 33 coppie si trovano chiedendo che il margine scenda sotto 3,10 euro con la stessa deviazione standard osservata di 8,60.

Le conclusioni possibili sono tre e sono tutte risultati: l’intervallo sta tutto sopra lo zero e la variante si adotta; sta tutto sotto e si scarta; contiene lo zero e si decide se pagare altre dieci settimane o lasciare le cose come stanno. La terza viene vissuta come un fallimento, ed è invece l’unica che impedisce di cambiare il listino su niente.

Le contaminazioni che mandano a monte un test#

Gli eventi#

Un evento su una sola data della coppia non sposta la coppia: la distrugge. Con 78 camere e un congresso in città, la differenza dentro quella coppia può valere 40 euro di RevPAR, e da sola sposta la media di 18 coppie di 2,22 euro: più dell’effetto che stai cercando di misurare.

La difesa si prepara prima: le date con eventi noti si escludono dal disegno, con la regola scritta. Se un evento salta fuori a test iniziato, si scarta la coppia intera. Scartare una data sola rompe l’accoppiamento e riporta il confronto a un prima e dopo.

I cambi di canale#

Aprire un portale nuovo, chiudere un contratto con un intermediario all’ingrosso, cambiare posizione in una vetrina a pagamento: sono modifiche che spostano il traffico in modo permanente, non ciclico. Le coppie in cui una data sta prima del cambio e l’altra dopo vanno scartate, perché lì la differenza contiene il canale e non il prezzo. Le coppie tutte precedenti e quelle tutte successive restano valide, ma vanno lette come due test separati.

Le comunicazioni straordinarie#

Un invio commerciale a tutta la base clienti, una recensione che gira, un articolo su un giornale locale: sono impulsi che colpiscono una finestra di date di soggiorno, non una settimana di calendario. Il problema non è che aumentino le prenotazioni, è che le aumentano su date che stanno quasi sempre da una parte sola delle coppie. Durante un test si fermano, oppure si programmano in modo da coprire entrambe le settimane di ogni coppia.

Dove questo metodo non arriva#

Il limite serio è il travaso fra le date, e quasi nessuno lo nomina. Il disegno a coppie assume che ogni data sia indipendente dall’altra. Non lo è: lo stesso cliente vede più date insieme. Chi cerca una notte d’affari con qualche flessibilità trova il martedì a 8,00 euro in più del martedì successivo e sposta il soggiorno. La prenotazione non è persa: si è trasferita dalla data con la variante alla data di controllo, e la differenza misurata contiene sia l’effetto del prezzo sia lo spostamento. Il test esagera l’effetto negativo dell’aumento, tanto più quanto più la clientela è flessibile sulla data. Con domanda rigida l’errore è piccolo; con domanda flessibile il disegno a coppie ravvicinate è la scelta peggiore, e conviene allontanare le due date accettando più rumore.

Il secondo limite riguarda il tempo. Una data di soggiorno riceve prenotazioni per settimane, non in un giorno. Alzare il prezzo del martedì significa alzarlo per tutta la finestra in cui quel martedì è in vendita, e quella finestra si sovrappone a quella della data di controllo. O si accetta la sovrapposizione, sapendo che diluisce l’effetto, oppure si alterna la finestra di vendita invece della data di soggiorno: ma allora si misura l’effetto del prezzo sul ritmo di raccolta, non sul risultato finale della data.

Terzo: il test misura l’effetto medio di quella variante, su quel tipo di giornata, in quella stagione, con quei concorrenti. Non è un’elasticità e non è una legge: non si estende al sabato, non si estende all’alta stagione e non sopravvive all’apertura di un albergo nuovo a duecento metri. Un risultato positivo va riverificato dopo una stagione.

Quarto: con una struttura sola il campione è quello che è. Chi gestisce decine di alberghi mette in test venti strutture in parallelo e chiude in tre settimane ciò che a te costa tre mesi. Non è un difetto del metodo: è la ragione per cui in una struttura indipendente i test vanno spesi su poche domande grandi.

Quinto: il test si paga. Metà delle date viene venduta a un prezzo che credi peggiore. Se la variante è davvero migliore, nel nostro esempio le 18 notti tenute al prezzo vecchio sono costate 4.354,80 euro; se è davvero peggiore, hai perso una cifra dello stesso ordine sulle notti con la variante. Quel costo va messo accanto al valore della risposta.

Cosa fare lunedì mattina#

1. Scrivi la domanda in una riga, con dentro un numero: alzare di 8,00 euro la griglia dei feriali di media stagione aumenta il RevPAR di almeno 6,00 euro? Senza quel numero non hai ancora una domanda testabile.
2. Estrai il RevPAR giornaliero degli ultimi due anni, tieni solo i giorni della settimana che ti interessano, forma le coppie di settimane adiacenti e calcola la deviazione standard delle differenze. Quello è il tuo rumore.
3. Metti rumore e differenza da rilevare nella formula e leggi quante coppie servono. Moltiplica le coppie per due settimane e dividi per il numero di tipi di giornata utilizzabili: se la data di fine cade in un’altra stagione, il test così com’è non si può fare.
4. Segna sul calendario le date escluse: fiere, congressi, ponti, chiusure di reparto, lavori in corso. L’elenco si chiude prima di partire.
5. Decidi l’alternanza e scrivila per intero, coppia per coppia, prima di vendere la prima notte. Consegna il foglio al ricevimento e a chi gestisce i canali.
6. Disattiva l’aggiornamento automatico dei prezzi sulle date del test e blocca ogni altra modifica: canali, controlli di soggiorno, campagne, invii commerciali. Una variante alla volta.
7. Fissa la data di lettura dei risultati e non guardarli prima. A chi chiede come sta andando si risponde che si legge alla fine.
8. Alla fine calcola differenza media, errore standard e intervallo, e scrivi tre righe: di quanto, con quale incertezza, che cosa si decide. Se l’intervallo contiene lo zero, la terza riga dice che non si cambia niente.

Domande frequenti#

Quanto deve durare un test sul prezzo?#

Non si decide in settimane, si decide in coppie: la durata è una conseguenza. Servono la deviazione standard delle differenze fra giornate confrontabili e la differenza minima che ti farebbe cambiare idea. Nell’esempio dell’articolo, 9,00 euro di rumore e 6,00 euro di effetto da rilevare danno 18 coppie, che con tre tipi di giornata sono dodici settimane. Con lo stesso rumore, per vedere 2,00 euro servirebbero 159 coppie e più di due anni.

Posso testare due varianti insieme, per esempio un prezzo più alto e una cancellazione più rigida?#

Puoi farlo, ma alla fine avrai un solo numero per due cambiamenti e non saprai come dividerlo. Se una delle due varianti aiuta e l’altra danneggia, il risultato può essere zero e tu concluderesti che nessuna delle due serve. Con il campione di cui dispone una struttura singola, separare due effetti costa molte più coppie: nella pratica conviene testare una cosa alla volta e mettere in fila le domande per priorità.

Il mio sistema cambia i prezzi da solo. Posso comunque fare un test?#

Solo se puoi congelarlo sulle date coinvolte, oppure applicare uno scostamento fisso ai suoi prezzi sulle date con la variante. Se il sistema riprezza liberamente tutte le date, non stai confrontando la tua variante con il tuo controllo, ma due decisioni prese da lui in momenti diversi. Resta testabile un’altra domanda: sistema acceso contro sistema spento, che si disegna allo stesso modo.

Il risultato è positivo ma l’intervallo contiene lo zero: adotto la variante o no?#

Dipende da che cosa costa sbagliare. Se adottare la variante è reversibile e non tocca contratti o comunicazioni già fatte, adottarla in attesa di più dati è una scelta difendibile, purché sia dichiarata come scommessa e non come conclusione. Se invece comporta impegni difficili da sciogliere, la risposta è no: un intervallo che contiene lo zero è compatibile anche con un effetto negativo, e nel nostro esempio quel valore negativo arriva a 14.358 euro l’anno.