Test A/B sui prezzi
A/B test · Sperimentazione · Gruppo di controllo
Il confronto controllato fra due condizioni di prezzo applicate nello stesso periodo a gruppi comparabili di date, di strutture o di sessioni, per misurare l'effetto di una modifica tariffaria isolandolo dall'andamento del mercato.
Che cos’è
Ogni decisione tariffaria in albergo viene valutata nel modo peggiore possibile: si applica il prezzo nuovo, si aspetta un mese e si confronta con l’anno prima. In quel confronto ci sono dentro mercato, calendario, meteo, eventi e mosse dei concorrenti, e l’effetto del prezzo è indistinguibile dal resto. Il test A/B lo rende pulito: prezzo nuovo a una parte e non all’altra, nello stesso momento, e si guarda la differenza.
Il gruppo di controllo è l’elemento che fa la differenza e quello che quasi sempre manca: risponde alla domanda che nessun confronto con il passato può affrontare, cioè cosa sarebbe successo senza l’intervento. Se il test cresce del 6 per cento e il controllo del 5, l’effetto è un punto, non sei.
I limiti veri in albergo
La letteratura del commercio elettronico promette cose che in albergo non si possono fare. Il test A/B classico, quello che mostra prezzi diversi a persone diverse, in albergo è praticamente impraticabile. Due clienti che cercano la stessa camera per la stessa notte e vedono prezzi diversi si accorgono della differenza: si confrontano, fanno screenshot, chiedono spiegazioni al ricevimento, lasciano recensioni. Il metamotore mostra affiancate le tariffe dello stesso albergo su canali diversi e rende visibile qualunque incoerenza. Sopra a tutto ci sono i vincoli di parità e le regole sulla trasparenza dei prezzi, che rendono l’esperimento rischioso anche quando sarebbe possibile.
Restano tre disegni che funzionano davvero. Il primo è il test su date appaiate: si scelgono coppie di date simili per giorno della settimana e stagione, si assegna a caso una di ciascuna coppia al prezzo nuovo, e si confronta il risultato medio dei due gruppi. Nessun cliente vede due prezzi per la stessa data, quindi il problema di percezione non esiste. Il secondo è il test a settimane alternate, più debole ma semplice da eseguire. Il terzo, disponibile solo ai gruppi, è il test fra strutture simili nella stessa destinazione.
Restano testabili senza problemi gli elementi che non sono il prezzo della camera: presentazione della tariffa, testo delle condizioni, ordine delle tipologie, prezzo dei servizi accessori. Su questi il test a livello di sessione è possibile e vale la pena farlo.
Come si calcola
Il numero da misurare è il RevPAR, non l’occupazione né l’ADR presi da soli, perché il senso del test è capire se il compromesso fra i due migliora. La misura si fa a consuntivo sulle date, e la differenza fra i gruppi ha senso solo se è più grande dell’oscillazione naturale.
Hotel 96 camere, prova su 26 coppie di date confrontabili
- RevPAR medio gruppo test
- 96,40 EUR
- RevPAR medio gruppo di controllo
- 91,20 EUR
- differenza
- 5,20 EUR, lift = 5,7%
- deviazione standard giornaliera del RevPAR
- 18,00 EUR
- date necessarie per gruppo
- 16 x 324 / 27,04 = 192
- con 26 date per gruppo, una differenza di 5,20 EUR non è distinguibile dal rumore
- per concludere qualcosa con 26 date servirebbe una differenza di circa 14 EUR di RevPAR
Come si usa
La lezione dell’esempio è la più importante della voce: gli alberghi sono piccoli e le loro serie rumorose, quindi i test onesti richiedono molte date e rilevano solo effetti grandi. Non chiedere a un test se conviene alzare di due euro; chiedigli se conviene alzare del 12 per cento o se togliere la tariffa scontata del fine settimana costa camere.
Il disegno operativo minimo è questo: scegli quaranta o cinquanta coppie di date nei prossimi quattro mesi, appaiate per giorno della settimana e per profilo di domanda, tira a sorte quale di ciascuna coppia va nel gruppo di test, scrivi prima cosa ti aspetti e su quale metrica giudicherai, e non toccare più nulla fino alla fine.
Il test interrotto perché stava andando male
Il modo più comune di rovinare un test tariffario è intervenire a metà. La prima settimana il pickup delle date a prezzo alto è sotto, qualcuno si spaventa e riporta giù i prezzi su quelle date. A quel punto i due gruppi non sono più confrontabili e il risultato non significa niente, ma verrà comunque presentato in riunione come prova che alzare non funziona. Il periodo di test va deciso prima insieme alla soglia di interruzione, e l’unica ragione legittima per fermarsi è un evento esterno che colpisce solo uno dei due gruppi.
Da non confondere con
Il test A/B non è il confronto con lo stesso periodo dell’anno precedente. Quello è un confronto prima e dopo, in cui l’unico controllo è un anno con un mercato diverso: è il motivo per cui quasi nessuna promessa di crescita fatta in fase di vendita è verificabile.
Non è nemmeno la stessa cosa dei prezzi personalizzati: il test assegna condizioni diverse a caso per misurare un effetto e poi sceglie la migliore per tutti, la personalizzazione differenzia in modo permanente in base a chi è il cliente.