Confronto
Similitudini: Sia MAE che RMSE esprimono l’errore medio di previsione del modello in unità della variabile di interesse. Entrambe le metriche possono variare da 0 a ∞ e sono indifferenti alla direzione degli errori. Sono punteggi orientati negativamente, il che significa che valori più bassi sono migliori.
Differenze: Prendere la radice quadrata degli errori quadrati medi ha alcune implicazioni interessanti per il RMSE. Poiché gli errori sono al quadrato prima di essere mediati, il RMSE dà un peso relativamente alto agli errori grandi. Questo significa che l’RMSE dovrebbe essere più utile quando gli errori grandi sono particolarmente indesiderati. Le tre tabelle seguenti mostrano esempi in cui il MAE è costante e l’RMSE aumenta all’aumentare della varianza associata alla distribuzione di frequenza delle grandezze di errore.
L’ultima frase è un po’ boccaccesca ma credo sia spesso interpretata in modo errato e importante da sottolineare.
RMSE non aumenta necessariamente con la varianza degli errori. L’RMSE aumenta con la varianza della distribuzione di frequenza delle grandezze degli errori.
Per dimostrarlo, considerate il caso 4 e il caso 5 nelle tabelle qui sotto. Il caso 4 ha un numero uguale di errori di prova di 0 e 5 e il caso 5 ha un numero uguale di errori di prova di 3 e 4. La varianza degli errori è maggiore nel caso 4 ma il RMSE è lo stesso per il caso 4 e il caso 5.
Ci possono essere casi in cui la varianza della distribuzione di frequenza delle grandezze di errore (ancora un boccone) è interessante ma nella maggior parte dei casi (che mi viene in mente) la varianza degli errori è più interessante.
Un’altra implicazione della formula RMSE che non è spesso discussa ha a che fare con la dimensione del campione. Usando il MAE, possiamo mettere un limite inferiore e superiore al RMSE.
- ≤ . Il risultato RMSE sarà sempre più grande o uguale al MAE. Se tutti gli errori hanno la stessa grandezza, allora RMSE=MAE.
- ≤ , dove n è il numero di campioni di prova. La differenza tra RMSE e MAE è maggiore quando tutto l’errore di previsione proviene da un singolo campione di prova. L’errore quadratico è quindi uguale a per quel singolo campione di prova e 0 per tutti gli altri campioni. Prendendo la radice quadrata, RMSE è uguale a .
Concentrandosi sul limite superiore, questo significa che RMSE ha la tendenza ad essere sempre più grande di MAE all’aumentare della dimensione del campione di prova.
Questo può essere problematico quando si confrontano i risultati RMSE calcolati su campioni di prova di dimensioni diverse, che è spesso il caso nella modellazione del mondo reale.