Förhållanden

Förhållanden: Både MAE och RMSE uttrycker det genomsnittliga modellprognosfelet i enheter av den aktuella variabeln. Båda mätvärdena kan sträcka sig från 0 till ∞ och är likgiltiga för felens riktning. De är negativt orienterade poäng, vilket innebär att lägre värden är bättre.

Differenser: Att ta kvadratroten av de genomsnittliga kvadrerade felen har några intressanta implikationer för RMSE. Eftersom felen kvadreras innan de genomsnittsberäknas ger RMSE en relativt hög vikt åt stora fel. Detta innebär att RMSE bör vara mer användbart när stora fel är särskilt oönskade. De tre tabellerna nedan visar exempel där MAE är konstant och RMSE ökar när variansen förknippad med frekvensfördelningen av felstorlekar också ökar.

Den sista meningen är lite väl långsökt men jag tror att den ofta är felaktigt tolkad och viktig att belysa.

RMSE ökar inte nödvändigtvis med variansen av felen. RMSE ökar med variansen i frekvensfördelningen av felens storlek.

För att demonstrera detta, se på fall 4 och fall 5 i tabellerna nedan. Fall 4 har lika många testfel på 0 och 5 och fall 5 har lika många testfel på 3 och 4. Variansen av felen är större i fall 4 men RMSE är densamma för fall 4 och fall 5.

Det kan finnas fall där variansen i frekvensfördelningen av felstorlekarna (fortfarande en munsbit) är av intresse, men i de flesta fall (som jag kan tänka mig) är variansen i felen av större intresse.

En annan konsekvens av RMSE-formeln som inte ofta diskuteras har att göra med urvalsstorlek. Med hjälp av MAE kan vi sätta en nedre och övre gräns för RMSE.

1. ≤ . RMSE-resultatet kommer alltid att vara större eller lika stort som MAE. Om alla fel har samma storleksordning blir RMSE=MAE.
2. ≤ , där n är antalet testprov. Skillnaden mellan RMSE och MAE är störst när alla prediktionsfel kommer från ett enda testprov. Det kvadrerade felet är då lika med för det enskilda testprovet och 0 för alla andra prover. Genom att ta kvadratroten är RMSE då lika med .

Fokuserar man på den övre gränsen innebär detta att RMSE har en tendens att bli allt större än MAE när testprovets storlek ökar.

Detta kan vara problematiskt när man jämför RMSE-resultat som beräknats på testprov av olika storlek, vilket ofta är fallet vid modellering i den verkliga världen.