Vergelijking

Gelijkenissen: Zowel MAE als RMSE drukken de gemiddelde modelvoorspellingsfout uit in eenheden van de variabele van belang. Beide metingen kunnen gaan van 0 tot ∞ en zijn onverschillig voor de richting van de fouten. Het zijn negatief georiënteerde scores, wat betekent dat lagere waarden beter zijn.

Verschillen: Het nemen van de vierkantswortel uit de gemiddelde gekwadrateerde fouten heeft enkele interessante implicaties voor RMSE. Aangezien de fouten worden gekwadrateerd voordat ze worden gemiddeld, kent de RMSE een relatief groot gewicht toe aan grote fouten. Dit betekent dat de RMSE nuttiger zou moeten zijn wanneer grote fouten bijzonder ongewenst zijn. De drie onderstaande tabellen geven voorbeelden waarbij de MAE gelijk blijft en de RMSE toeneemt naarmate ook de variantie met betrekking tot de frequentieverdeling van de foutmagnitudes toeneemt.

De laatste zin is een beetje een mondvol maar wordt volgens mij vaak onjuist geïnterpreteerd en is belangrijk om te benadrukken.

RMSE neemt niet noodzakelijkerwijs toe met de variantie van de fouten. RMSE neemt toe met de variantie van de frequentieverdeling van de foutmagnitudes.

Om dit aan te tonen, bekijk geval 4 en geval 5 in de onderstaande tabellen. Geval 4 heeft een gelijk aantal testfouten van 0 en 5 en geval 5 heeft een gelijk aantal testfouten van 3 en 4. De variantie van de fouten is groter in geval 4, maar de RMSE is gelijk voor geval 4 en geval 5.

Er kunnen gevallen zijn waarin de variantie van de frequentieverdeling van de foutmagnitudes (nog steeds een mondvol) van belang is, maar in de meeste gevallen (die ik kan bedenken) is de variantie van de fouten van meer belang.

Een andere implicatie van de RMSE formule die niet vaak wordt besproken heeft te maken met de steekproefgrootte. Met behulp van MAE kunnen we een onder- en bovengrens aan de RMSE stellen.

1. ≤. Het resultaat van de RMSE zal altijd groter of gelijk zijn aan de MAE. Als alle fouten even groot zijn, dan is RMSE=MAE.
2. ≤ , waarbij n het aantal testmonsters is. Het verschil tussen RMSE en MAE is het grootst wanneer alle voorspelfouten van één enkel testmonster afkomstig zijn. De gekwadrateerde fout is dan gelijk aan 0 voor dat ene monster en 0 voor alle andere monsters. Als de vierkantswortel wordt genomen, is de RMSE gelijk aan .

Gericht op de bovengrens, betekent dit dat RMSE de neiging heeft steeds groter te zijn dan MAE naarmate de omvang van de teststeekproef toeneemt.

Dit kan problematisch zijn wanneer RMSE-resultaten worden vergeleken die zijn berekend op teststeekproeven van verschillende grootte, wat vaak het geval is bij modellering in de echte wereld.