MAE e RMSE
Mean Absolute Error · Root Mean Squared Error
L'errore medio della previsione espresso in valore assoluto e nell'unità della grandezza prevista: camere, euro o punti di occupazione. Il RMSE è la sua variante che eleva gli scarti al quadrato prima di mediarli, e quindi punisce di più gli errori grandi.
Che cos’è
Misurare quanto sbaglia una previsione sembra banale e non lo è, perché la scelta della misura cambia quale previsione risulta migliore. Il MAE è la scelta più diretta: prendi la differenza fra quello che è successo e quello che avevi previsto, togli il segno, fai la media. Il risultato è un numero di camere o di euro, che chiunque in albergo può interpretare senza spiegazioni.
Il MAPE, che è la misura più diffusa, fa la stessa cosa ma divide ogni errore per il valore effettivo, ottenendo una percentuale. Ha un vantaggio evidente, cioè la confrontabilità fra alberghi di dimensione diversa, e un difetto che in albergo è grave: quando il denominatore è piccolo, la percentuale esplode. Sbagliare di quattro camere su una domenica di novembre da otto camere vendute produce un errore del 50 per cento, che pesa nella media quanto dieci errori normali. Se hai bassa stagione, chiusure parziali o segmenti piccoli, il MAPE diventa un indicatore rumoroso e ingovernabile.
Il RMSE prende una strada diversa: eleva ogni scarto al quadrato, media e poi estrae la radice. Resta nell’unità originale, ma un errore doppio conta quattro volte. Il numero che ne esce è sempre maggiore o uguale al MAE, e la distanza fra i due dice quanto la distribuzione degli errori ha code lunghe.
Come si calcola
Tre decisioni vanno prese prima e vanno tenute ferme, altrimenti i confronti nel tempo non significano nulla. La prima è cosa si prevede: camere vendute, occupazione, ricavo o ADR sono quattro serie con errori diversi. La seconda è l’orizzonte: l’errore della previsione fatta a trenta giorni non è confrontabile con quella fatta a tre, e la misura va tenuta separata per anticipo. La terza è la granularità: l’errore giornaliero è sempre più grande di quello mensile, perché a livello di mese gli errori di segno opposto si compensano.
Hotel 100 camere, cinque date, previsione a 7 giorni
- giovedì, previsto 68, effettivo 71, errore 3
- venerdì, previsto 88, effettivo 84, errore 4
- sabato, previsto 95, effettivo 97, errore 2
- domenica, previsto 54, effettivo 41, errore 13
- lunedì, previsto 62, effettivo 60, errore 2
- MAE
- (3 + 4 + 2 + 13 + 2) / 5 = 4,8 camere
- RMSE
- radice di (9 + 16 + 4 + 169 + 4) / 5 = 6,4 camere
- MAPE
- media di 4,2% 4,8% 2,1% 31,7% 3,3% = 9,2%
- la domenica pesa per un terzo del MAPE e per un quarto del MAE
Come si usa
La regola pratica è semplice. Usa il MAE quando devi tradurre l’errore in una decisione operativa: quante camere di scostamento devi mettere in conto per il turno di piani, quante per decidere quanto overbooking accettare. Usa il RMSE quando devi scegliere fra due modelli e gli errori grandi ti costano più che proporzionalmente, che è la situazione normale quando c’è capacità limitata. Usa il MAPE solo per confrontare strutture o periodi con volumi molto diversi, e mai su serie con valori bassi.
Lunedì mattina, il modo di rendere il MAE utile è confrontarlo con qualcosa. Il metro naturale è la previsione ingenua, cioè la stessa data della settimana scorsa: se il tuo forecast non ha un MAE più basso di quello, il forecast non sta aggiungendo informazione. Il secondo metro è la deviazione standard della serie stessa. Un MAE pari alla metà della deviazione standard è un buon risultato per un albergo.
Il modo di presentarlo in riunione è una riga sola: previsione a sette giorni, errore medio 4,8 camere, cioè circa cinque camere di margine da tenere in ogni decisione. È un’informazione che il ricevimento e la governante possono usare, cosa che una percentuale non è.
La media degli errori che si annullano
Molti calcolano l’errore medio dimenticando il valore assoluto. Il risultato è un numero vicino a zero anche quando la previsione è pessima, perché una settimana in cui hai sbagliato di più venti e una in cui hai sbagliato di meno venti si compensano. Quel numero non è il MAE, è il bias, ed è un’altra misura che serve a un’altra cosa. Vanno calcolate entrambe e lette insieme: MAE alto e bias vicino a zero significa previsione imprecisa ma equilibrata; MAE alto e bias alto significa previsione con un difetto sistematico da correggere.
Da non confondere con
MAE e forecast accuracy non sono la stessa cosa scritta in due modi. L’accuratezza si esprime di solito come cento meno il MAPE ed è una percentuale che vive fra zero e cento; il MAE è una quantità con la sua unità di misura. Un albergo può avere un’accuratezza del 92 per cento che suona ottima e un MAE di sette camere che su cento camere significa sette punti di occupazione sbagliati ogni giorno.