L'errore percentuale assoluto medio (MAPE) ha svolto il suo dovere e ora dovrebbe andare in pensione

Tratta tutti allo stesso modo: suona bene in generale, ma non nella valutazione probabilistica delle previsioni

Torniamo al nostro precedente esempio nel settore alimentare e parliamo di mele, scatolette di tonno e bottiglie. In questo caso, confrontare gli APE ha poco senso, per due motivi.

Per definizione, un venditore lento vende meno spesso di un venditore veloce. L'impatto commerciale di una previsione di vendita lenta inaffidabile è, quindi, molto meno grave rispetto a una previsione di vendita rapida altrettanto inaffidabile. Una perdita di vendite del 5% a causa di rotture di stock in qualche slow-seller marginale è semplicemente scomoda per il venditore, mentre una perdita di vendite del 5% sull'articolo più venduto può essere piuttosto drammatica. Alla fine della giornata, i numeri assoluti contano per la tua attività. Sovrastimate del 20% la domanda totale del vostro prodotto principale negli Stati Uniti? Probabilmente hai un problema e devi avere a che fare con molte scorte invendute, il che potrebbe persino mettere a rischio l'intera attività. Sovrastimate la domanda totale dello stesso prodotto del 20% a Tuvalu? Niente contro Tuvalu (senza offesa, davvero!), ma probabilmente puoi rilassarti, dal momento che quell'errore non affonderà la tua attività. È possibile tollerare un errore relativo molto più grande in piccoli assortimenti o mercati rispetto alle categorie di pane e burro. Perché promuovere articoli marginali o gruppi di clienti alla stessa importanza dei pesci veramente grandi?

In aggiunta a questa ovvia differenza (piccolo è piccolo e grande è grande), c'è un effetto statistico sottile ma importante: la dipendenza dalla scala dell'accuratezza delle previsioni raggiungibili. Essere scontati del 10% per un prodotto che si vende 10 volte al giorno è inevitabile a volte, anche per una previsione perfetta (con l'incertezza di Poisson). Essere scontati del 10% su un prodotto che vende 10.000 volte al giorno indica chiaramente un problema. Non solo il venditore lento è meno importante dal punto di vista commerciale rispetto al venditore veloce, ma naturalmente comporta errori relativi più grandi, come discusso più dettagliatamente nei precedenti post del blog Prevedere pochi è diverso parte 1 e parte 2.

Per le previsioni della spesa di cui sopra, probabilmente sei stato sfortunato per quanto riguarda il tonno quel giorno. Le 16 bottiglie d'acqua in più sembrano meno scusabili. Pertanto, l'errore percentuale assoluto (APE) non coglie bene la qualità della previsione raggiungibile, né in termini di business (pesa equamente le cose disuguali) né in termini statistici (il suo valore raggiungibile richiede il contesto del valore previsto stesso).

Il governo del rifornimento da parte del MAPE porta a livelli di scorte catastrofici

In altre parole, il MAPE non è di per sé un buon indicatore della qualità delle previsioni: il fatto che il 20%, il 70% e il 90% siano raggiunti in tre diverse situazioni non ha un significato immediatamente interpretabile. Dato un certo valore MAPE, non si dovrebbe saltare a nessuna conclusione. Ma anche accettando che un valore MAPE dica poco o nulla sulla qualità complessiva del modello, ci si potrebbe comunque aspettare che, per una data situazione di previsione, la previsione vincente del MAPE sia la migliore. Come spiegherò ora, devi anche rinunciare a quell'aspettativa più debole.

Prendi in considerazione un supermercato che offre molti prodotti diversi, dai venditori lenti che vendono circa una volta al trimestre fino ai venditori veloci che vendono 100 volte al giorno. Il rifornimento degli articoli viene effettuato da un sistema che seleziona la previsione MAPE ottimale giornaliera e i preordini in base ad essa. In altre parole, sceglie il valore di previsione per il quale il MAPE è più basso. Come si comporterebbe quel supermercato?

Per semplificare le cose, concentrati su 5 prodotti esemplari: mele, banane, anacardi, frutti del drago e melanzane, con tassi di vendita medi giornalieri reali di 0,01, 0,1, 1, 10 e 100: la più lenta, le mele, vende circa una volta al trimestre, la più veloce, le melanzane, vende 100 volte al giorno (hai ragione se sospetti che i numeri non siano stati inventati per plausibilità nel mondo reale, ma piuttosto chiarezza e semplicità matematica). In questo esperimento mentale, conosciamo questi tassi di vendita e sono la migliore previsione possibile per ogni prodotto per costruzione. Utilizzando la distribuzione di Poisson, possiamo simulare cosa succede e qual è il valore di previsione con il miglior MAPE.

Per ogni prodotto, la tabella seguente mostra il tasso di vendita reale (che è la migliore previsione giornaliera imparziale), il suo MAPE simulato, la previsione vincente MAPE ottimizzata, il suo MAPE simulato e la sua distorsione risultante:

Ricordate che il vero tasso di vendita giornaliero è indiscutibilmente il miglior input possibile per il sistema di rifornimento, poiché è, per costruzione, il valore medio delle vendite previste. Cosa succede se il rifornimento utilizza invece la previsione vincente MAPE? Il supermercato fa scorta di persone che si muovono lentamente: ogni giorno, una mela, una banana e un anacardio vengono riforniti, ma le mele si vendono solo una volta ogni 100 giorni e le banane una volta ogni 10 giorni! Le mele e le banane si accumulano, gli anacardi vanno bene, mentre la domanda di frutti del drago non viene soddisfatta: in media, un cliente che voleva acquistare un frutto del drago se ne andrà senza aver completato la spesa. Per le melanzane in rapido movimento, l'errore dell'1% potrebbe essere scusabile, tuttavia, è sorprendente che la previsione "migliore" sia sempre distorta, a meno che il vero tasso di vendita non sia uguale a 1.

I numeri calcolati per la tabella sopra presuppongono un mondo perfetto in cui i previsori si divertono a lavorare con un modello con un'incertezza di Poisson minima. Per un modello più realistico in cui è presente una moderata incertezza aggiuntiva (tecnicamente parlando: sovradispersione), la situazione appare immediatamente peggiore:

Il divario tra il valore MAPE calcolato al tasso di vendita reale e il valore MAPE della previsione di vincita MAPE è aumentato notevolmente. In altre parole, l'utente potrebbe pensare che la "prova" che la previsione vincente del MAPE sia migliore dell'altra sia ancora più forte di quella precedente. La previsione MAPE ottimale è, tuttavia, più fortemente distorta rispetto alla situazione ideale: le previsioni insufficienti per i frutti del drago e le melanzane ammontano ora rispettivamente al 40% e al 28% - la conseguenza sarebbe una massiccia situazione di esaurimento delle scorte. Di seguito, vedremo perché una maggiore incertezza significa "dobbiamo giocare sul sicuro" e perché ciò significa "dobbiamo giocare piuttosto basso".

Chiaramente, un supermercato che corre con questa strategia non sopravviverà a lungo! I problemi con il MAPE vanno quindi oltre l'interpretabilità aziendale (non è opportuno rispondere alla domanda "quanto è buona la previsione?") ma può potenzialmente portare a gravi problemi operativi (scegliendo una previsione indiscutibilmente peggiore rispetto a una migliore). Scopriamo perché!

Il MAPE censura gli eventi a conteggio zero, con conseguenze catastrofiche

Quando si calcola l'APE, si incontrano seri problemi quando l'effettivo è zero, poiché dovremmo dividerlo per esso. L'APE è quindi indefinito e non entra nel calcolo del MAPE (ricorda, è la media di tutti gli APE). In altre parole, gli eventi di vendita zero vengono semplicemente rimossi dai dati. Questa rimozione dei dati, per quanto brutta possa sembrare: porta a un palese pregiudizio di sovrastima sui super-lenti (che vendono una o meno per periodo di tempo) in una previsione MAPE-ottimale: poiché gli eventi 0 vengono ignorati, la previsione ragionevole più bassa per qualsiasi prodotto, posizione e giorno è 1, anche per un prodotto che vende una volta all'anno! Poiché la previsione ottimizzata per MAPE può tranquillamente ignorare il risultato "0", giocare sul sicuro significa proporre "1" come valore di previsione più basso. Le alternative alla rimozione (ad es. assegna sempre il 100% di errore invece di rimozione) non risolvono questo problema: una previsione di 1,7 con esito 0 è chiaramente meno problematica di una previsione di 17.000 con esito 0; assegnare a questi due eventi lo stesso APE artificiale non ha senso. Ovvero, ogni volta che i dati possono plausibilmente contenere "0" come valore effettivo per qualsiasi evento, MAPE è estremamente problematico. L'ottimizzazione porterà a sovrastimazioni negli elementi che si muovono molto lentamente, come vediamo nelle prime due righe delle tabelle.

Il MAPE penalizza in modo diverso le previsioni insufficienti e eccessive, portando a stime distorte

Prevedere 1, osservare 7: l'APE è 6/7, circa. 86%. Ti sembra molto? Se è così, scambia i numeri, prevedi 7, osserva 1: il tuo APE diventa 6/1, 600%! L'APE penalizza una sovrastima di un certo fattore molto più pesantemente rispetto a una sottostima dello stesso fattore. Per le stime insufficienti, il peggior APE possibile è del 100%; Per le stime eccessive, è illimitato. Di conseguenza, ogni volta che non si è certi del risultato (non si dovrebbe mai esserlo, e ogni buon modello conosce in un certo senso la propria incertezza) giocare sul sicuro significa giocare al ribasso: evitare forti sovraprevisioni a (quasi) qualsiasi costo, mentre una massiccia sottoprevisione non vi spezzerà il collo. Pertanto, anche in condizioni di incertezza minima delle previsioni, che abbiamo assunto nella prima tabella, la previsione MAPE ottimale è una sottostima per tassi di vendita superiori a 1 (ultime due righe). Inoltre, maggiore è la variabilità dei dati di addestramento, più incerto è il modello e più la previsione MAPE ottimale sarà inferiore alla previsione: ricorda, giocare sul sicuro significa giocare basso, e più sei incerto, più vuoi essere sicuro e più bassa diventa la previsione MAPE ottimale. Questa copertura contro le sovrastime porta a una forte distorsione nelle ultime due righe della seconda tabella. Questa asimmetria è affrontata da MAPE modificati: ad esempio, l'errore percentuale può essere calcolato rispetto alla media della previsione e dell'effettivo invece che solo dell'effettivo, ma anche questi emendamenti non risolvono completamente l'asimmetria e inducono altri problemi e paradossi.

MAPE mostra un comportamento di scalabilità particolarmente complesso, lasciandoci ignoranti su quanto sia realmente buona una previsione

Certo, la mancanza di interpretabilità (il 50% di MAPE è buono o cattivo?) non è una caratteristica esclusiva del MAPE: ogni metrica dipende dalla scala e assume valori diversi per i lenti e per i veloci. Tuttavia, la scalabilità del MAPE è particolarmente intricata e complessa, a causa della combinazione dei due effetti sopra menzionati: da un lato, una previsione MAPE ottimale non produrrà mai un numero inferiore a 1 e rimuoviamo semplicemente i risultati di vendita 0. D'altra parte, gli errori relativi diminuiscono per i grandi tassi di vendita. In questo grafico, mostriamo il "monte MAPE", il miglior MAPE possibile raggiungibile in funzione del tasso di vendita.

Fai un respiro profondo e dammi la possibilità di spiegare ciò che vedi: la scala x è logaritmica, quindi possiamo osservare bene i piccoli tassi di vendita - la scala va da 0,1 a 100, da super-lento a veloce. Per piccoli tassi di vendita inferiori a circa 2, una previsione di 1 è la migliore possibile, produce il valore MAPE dato dalla linea arancione che va dalla parte inferiore sinistra (dove è sovrapposta dalla linea tratteggiata nera) all'angolo superiore destro. La previsione 2 porterebbe a un grande MAPE nei paesi a lenta rotazione (linea verde), vicino al 95% per un tasso di vendita di 0,1. La previsione 0 porta sempre a un MAPE costante del 100% (linea blu): per qualsiasi risultato che non è 0 (e questi vengono rimossi dalla valutazione), abbiamo APE=|actual-0|/actual=100%. Ad un tasso di vendita di circa 2,3, la previsione 2 diventa quella ottimale, quindi la linea tratteggiata nera, la migliore MAPE possibile, salta dalla linea arancione a quella verde. Inoltre, si alterna ogni volta che la migliore previsione passa da un valore all'altro (mostrato per la previsione 3 e 4 rispettivamente in rosso e viola).

Il miglior MAPE possibile diminuisce quando passiamo a elementi che si muovono molto lentamente (a sinistra): poiché gli eventi di vendita 0 vengono rimossi dai dati, gli eventi "sopravvissuti" sono per lo più eventi di vendita 1, e ancora di più quanto più lentamente l'articolo viene venduto. Per un tasso di vendita di 0,1, osservare 2 articoli venduti in un solo giorno è già altamente improbabile, e la previsione "1" è quindi, nella maggior parte dei casi non 0, perfetta e il MAPE raggiunto piuttosto basso. In altre parole, quando sai che "0" verrà rimosso dai dati e l'elemento è lento, allora "1" è una scommessa abbastanza sicura per il numero di vendite che si verificano. Per valori di medie dimensioni compresi tra 1 e 5, vediamo il "turn-taking" del miglior MAPE possibile. Per previsioni di grandi dimensioni pari o superiori a 10 (sul lato destro del grafico), il MAPE ottenibile diminuisce di nuovo: la distribuzione di Poisson diventa relativamente stretta nel limite dei tassi elevati (si veda il nostro precedente post sul blog su Forecasting Few is Different 1 &2).

Ho fatto del mio meglio per spiegare la forma del "monte MAPE"! Mi ci sono volute più di 300 parole in due paragrafi, ma temo che potrebbe non essere del tutto un successo: l'ha capito in modo tale da essere in grado di giudicare intuitivamente i MAPE in futuro, nel contesto dei tassi di vendita previsti? Se non credete di farlo, non preoccupatevi: questa complessità è un altro argomento modesto che, anche tra i professionisti, è improbabile che un giudizio intuitivo e corretto dei valori MAPE possa mai diffondersi.

Le previsioni MAPE ottimali sono irrilevanti per l'azienda, mettendo a rischio il potenziale valore previsto

La previsione che vince al MAPE non è la previsione imparziale che si desidera in molte applicazioni. Ma cosa significa allora "ottimizzare per MAPE"? Matematicamente, il valore che minimizza il MAPE minimizza un'espressione dall'aspetto ingombrante che non oso nemmeno scrivere in un post sul blog non rivolto agli statistici. Cosa devi sapere: questa espressione non ha un'interpretazione aziendale significativa. Qualunque cosa tu voglia ottenere con la tua previsione - garantire la disponibilità, ridurre gli sprechi, pianificare promozioni e ribassi, rifornire gli articoli, pianificare la forza lavoro... - il costo aziendale di una previsione errata nella tua applicazione non è certamente riflesso da MAPE! Idealmente, scegli una metrica di valutazione che rifletta il costo finanziario effettivo dell'"essere fuori". Non si vuole ottimizzare una funzione matematica astratta, ma massimizzare il valore aziendale.

L'alternativa: lasciare che la metrica rifletta direttamente il business

A parte situazioni come la previsione del PIL a livello nazionale e in base a forti ipotesi, il MAPE non è adatto né a indicare quanto sia buono un modello di previsione (a causa della scalabilità), né un fattore decisionale adatto a scegliere tra due modelli concorrenti (le previsioni vincenti del MAPE sono distorte). Qual è l'alternativa? In modo ottimale, la metrica utilizzata riflette direttamente il valore aziendale. L'errore assoluto medio (MAE) quantifica le situazioni in cui il costo di un articolo in eccesso è uguale al costo di un articolo mancante: un'ipotesi forte, ma sicuramente più vicina alla realtà rispetto al MAPE. Il MAE ha la stessa dimensione della previsione stessa ("numero di elementi") e quindi dipende fortemente dalla scala. Dividendo il MAE per le vendite medie, otteniamo l'errore assoluto medio relativo (RMAE), che, a causa della proprietà di scala della distribuzione di Poisson, non è nemmeno indipendente dalla scala. La dipendenza dalla scala deve quindi essere sempre affrontata in modo esplicito.

Ignorare che le stime MAPE ottimali sono distorte, tuttavia, non è un'opzione: le decisioni strategiche importanti dipendono da una valutazione delle previsioni affidabile, significativa e rilevante per l'azienda! Scegliamo il fornitore di software A, il fornitore di software B o la nostra soluzione interna? Su quali assortimenti dovremmo concentrare i nostri sforzi di miglioramento del modello? Le previsioni in questa nuova categoria sono "abbastanza buone" per rendere operativo un sistema automatizzato? La valutazione delle previsioni dovrebbe fornire prove chiare, interpretabili e che riflettano il business per rispondere a queste e a molte altre domande. MAPE non può aiutarci in questo.