RMSE
Root Mean Squared Error
La radice quadrata della media dei quadrati degli errori di previsione. Resta nell'unità della grandezza prevista come il MAE, ma penalizza gli scarti grandi in modo più che proporzionale.
Che cos’è
Il RMSE è la misura con cui i modelli vengono confrontati quasi ovunque in statistica, e la ragione non è estetica. Elevare al quadrato l’errore prima di mediarlo corrisponde a un’ipotesi precisa sul costo dello sbaglio: che sbagliare di venti camere sia molto peggio che sbagliare di dieci camere due volte. In albergo questa ipotesi è quasi sempre vera, perché gli errori grandi sono quelli che fanno scattare il walk o che lasciano vuoto un intero piano.
La conseguenza è che due previsioni con lo stesso errore medio assoluto possono avere RMSE molto diversi, e il RMSE preferisce sempre quella che sbaglia in modo regolare. Un modello che ogni giorno sbaglia di cinque camere e uno che quattro giorni su cinque è quasi perfetto ma il quinto sbaglia di ventuno hanno lo stesso MAE; il secondo ha un RMSE quasi doppio ed è, per un albergo, molto peggiore.
Questa è anche la ragione per cui i fornitori di sistemi di revenue management usano il RMSE nelle gare e nei confronti fra motori. Due prodotti possono dichiarare lo stesso MAPE e comportarsi in modo profondamente diverso proprio nelle date che contano, quelle di picco, dove gli errori sono più grandi.
Come si calcola
Il calcolo è meccanico ma l’interpretazione richiede due precauzioni. La prima è che il RMSE non è confrontabile fra grandezze diverse: un RMSE di 6,4 camere e uno di 6,4 euro di ADR non hanno nessun rapporto. La seconda è che il RMSE è sensibile ai valori anomali quanto un modello che li abbia mal gestiti, quindi va sempre guardato insieme all’elenco delle cinque date peggiori. Spesso quelle cinque date hanno una causa comune, come un gruppo entrato tardi o un evento non caricato in calendario, e correggere quella causa vale più di qualunque cambio di modello.
Il rapporto fra RMSE e MAE è un indicatore diagnostico a costo zero. Se vale circa 1,25 gli errori si distribuiscono in modo regolare. Se supera 1,6 la serie ha code lunghe: pochi giorni sbagliati moltissimo, che sono i giorni da andare a guardare uno per uno.
Due modelli a confronto, hotel 130 camere, cinque date
- modello A, errori giornalieri
- 5, 5, 5, 5, 5 camere
- modello B, errori giornalieri
- 1, 1, 1, 1, 21 camere
- MAE modello A
- 5,0 camere
- MAE modello B
- 5,0 camere
- RMSE modello A
- radice di 125 / 5 = 5,0 camere
- RMSE modello B
- radice di 445 / 5 = 9,4 camere
- rapporto RMSE su MAE, modello A
- 1,00, modello B = 1,89
- a parità di errore medio, il modello B ha prodotto una data da 21 camere di scarto: quella è la notte in cui si fa il walk
Come si usa
Il primo uso è la scelta del modello o del fornitore. Quando si valuta un sistema in prova, il confronto onesto si fa su un periodo passato non usato per l’addestramento, misurando MAE, RMSE e bias sullo stesso insieme di date e con lo stesso orizzonte. Un fornitore che accetta solo il MAPE come metro sta scegliendo la misura che lo favorisce.
Il secondo uso è il dimensionamento dell’overbooking e delle scorte operative. La deviazione tipica dell’errore, che il RMSE approssima bene quando il bias è vicino a zero, è esattamente il valore da moltiplicare per lo z corrispondente al livello di servizio scelto. Un RMSE di sei camere e un livello di servizio del 90 per cento portano a un margine di circa otto camere.
Operativamente, tieni due colonne in un foglio: RMSE per orizzonte, a tre, sette, quattordici e trenta giorni. Il profilo che ne esce dice a quale anticipo la tua previsione diventa affidabile, ed è l’informazione con cui si decide quando smettere di aspettare e cominciare a muovere le tariffe.
Il RMSE calcolato sul mese
Un errore frequentissimo è misurare l’accuratezza sulla previsione mensile aggregata invece che sulle singole date. A livello di mese gli scarti positivi e negativi si compensano, e un sistema che sbaglia ogni giorno di dieci camere in direzioni alterne risulta perfetto. Ma le decisioni si prendono per data: tariffe, restrizioni, turni, acquisti di colazione. Misura sempre per data di soggiorno e aggrega gli errori dopo averli resi assoluti o quadrati, mai prima.
Da non confondere con
Il RMSE non è la deviazione standard della domanda. La deviazione standard misura quanto la domanda varia intorno alla propria media, cioè quanto è incerto il fenomeno; il RMSE misura quanto sbaglia il tuo modello. Se il RMSE è vicino alla deviazione standard, il modello non sta aggiungendo niente rispetto al prevedere sempre la media. Se è molto più piccolo, il modello sta effettivamente spiegando qualcosa.