L'errore percentuale assoluto medio (MAPE) ha svolto il suo dovere e ora dovrebbe andare in pensione

Secondo Gartner (2018 Gartner Sales & Operations Planning Success Survey), la metrica di valutazione più popolare per le previsioni nella pianificazione delle vendite e delle operazioni è l'errore percentuale assoluto medio (MAPE). Questo deve cambiare. Le previsioni moderne riguardano piccole quantità a livello disaggregato come prodotto-ubicazione-giorno. Per tali previsioni granulari, i valori MAPE sono estremamente difficili da giudicare e quindi si qualificano come utili indicatori di qualità delle previsioni. MAPE inganna anche profondamente gli utenti sia esagerando alcuni problemi che mascherandone altri, spingendoli a scegliere previsioni con distorsioni sistematiche. Le situazioni in cui il MAPE è adatto diventano sempre più rare. Questa non è una teoria secca: simuliamo un supermercato che si basa su un valore di previsione ottimizzato per il MAPE immesso nel rifornimento. Le scorte insufficienti e eccessive nei venditori veloci e lenti spingono rapidamente il negozio fuori dal mercato.

Quando gli errori assoluti e relativi si contraddicono, di chi dovremmo fidarci?

Avevi previsto una domanda di 7,2 mele e 9 sono state vendute. Avevi previsto 91,8 bottiglie d'acqua e 108 sono state vendute. Avevi previsto 1,9 scatolette di tonno e una è stata venduta. Come giudichi questi errori di previsione? Un approccio semplice consiste nel calcolare la deviazione assoluta della previsione rispetto a quella effettiva e dividerla per quella effettiva, cioè l'errore assoluto relativo, possibilmente come valore percentuale (errore percentuale assoluto, APE). Questo sembra molto più complicato di quanto non sia: inventare l'APE come primo colpo per la "valutazione della qualità delle previsioni" è abbastanza tipico. Per i tre esempi, si ottengono APE apparentemente moderati del 20% (=|7.2-9|/7.2), modesto 15% (=|91.8-108|/108) e allarmante 90% (=|1.9-1|/1), rispettivamente. Il MAPE, errore percentuale assoluto medio, è la media aritmetica di queste tre percentuali, e ammonta al 41,67%. Queste percentuali di errore trasmettono che la previsione sul tonno è peggiore di quella sulle mele e la previsione sulle bottiglie supera le altre. Ma questo riflette davvero la qualità delle previsioni? Guardate di nuovo all'inizio di questa sezione: la grande differenza assoluta tra le bottiglie d'acqua previste e quelle effettive è preoccupante e il suo piccolo errore relativo non può davvero rassicurarvi. D'altra parte, l'errore del 90% sul tonno potrebbe essere dovuto a una (sfortuna) sorte: si tratta di un solo articolo. Dovresti mantenere il tuo intuito tranquillo e affidarti ciecamente agli APE? Di conseguenza, dovresti rivedere la previsione del tonno e lasciare la previsione dell'acqua così com'è? Se viene emessa un'altra previsione, con un MAPE complessivo di solo il 30%, la nuova previsione è necessariamente migliore?

Naturalmente, in nessuna circostanza vi chiederei mai seriamente di ignorare il vostro giudizio umano! Questo spiacevole paradosso è risolto di seguito: il MAPE non è adatto per le moderne previsioni probabilistiche a livello granulare (cioè sul giorno di localizzazione del prodotto, in cui possono verificarsi numeri "piccoli" o addirittura "0"), a causa di diversi problemi intollerabili e irrisolvibili. Il MAPE di una previsione non ci dice quanto sia buona quella previsione, ma quanto stranamente si comporti l'APE.

Ignorare consapevolmente la scala: quando gli errori percentuali possono avere senso

Prima di addentrarci nelle previsioni granulari nel settore della vendita al dettaglio (a livello di prodotto-posizione-giorno), supponiamo di prevedere una quantità molto più ampia: il prodotto interno lordo (PIL) annuale dei paesi, misurato in dollari USA. Tale previsione potrebbe essere utilizzata per definire politiche per interi paesi, e queste politiche dovrebbero essere ugualmente applicabili a paesi di diverse dimensioni. Pertanto, è giusto ponderare ogni paese allo stesso modo in questo caso d'uso: un errore del 5% sul PIL degli Stati Uniti (circa 25 trilioni di dollari) danneggia tanto quanto un errore del 5% sul PIL di Tuvalu (circa 66 milioni di dollari, 380.000 volte più piccolo del PIL degli Stati Uniti). Qui, l'errore percentuale assoluto (APE) ha senso: il PIL effettivo non è mai vicino a 0 (il che causerebbe un terribile mal di testa quando lo si divide, ne parlerò più avanti), e l'obiettivo della previsione non è quello di ottenere il PIL complessivo del pianeta giusto, ma di essere il più vicino possibile per ogni singolo paese, su scale che vanno da milioni a trilioni. Minimizzando l'errore assoluto totale del modello (es. in dollari USA, non in percentuale) mette sotto i riflettori le economie più grandi e ignora quelle piccole. Non pesa ogni paese allo stesso modo, ma in base al suo potere economico. Un modello con un bel errore del 3% sul PIL degli Stati Uniti e un inaccettabile errore del 200% sul PIL di Tuvalu sembrerebbe essere "migliore" di un modello con un errore del 4% sul PIL degli Stati Uniti e del 10% sul PIL di Tuvalu in termini assoluti di dollari USA. Il MAPE, d'altra parte, punta verso l'utilizzo di quest'ultima previsione, che sacrifica molto dell'accuratezza assoluta del PIL degli Stati Uniti (1% di 25 trilioni di dollari) per un modesto miglioramento assoluto dell'accuratezza di Tuvalu (190% di 66 milioni di dollari). Il PIL degli Stati Uniti è molto più grande di quello di Tuvalu, ma si deciderebbe consapevolmente, e per buone ragioni, di trattarli allo stesso modo. Sia gli Stati Uniti che Tuvalu possono essere considerati "grandi", nel senso che non ci si può aspettare che le fluttuazioni statistiche o la "sfortuna" siano responsabili dell'errore di previsione, ovvero le deviazioni saranno in genere statisticamente significative e punteranno verso un potenziale di miglioramento del modello.

In sintesi, ogni volta che le singole istanze di una previsione di valori diversi devono essere trattate in modo paritario, cioè ogni volta che ci va bene confrontare mele enormi con minuscole arance, il MAPE può avere senso. Ma la parità di trattamento è sempre equa?