Összehasonlítás

Hasonlóságok: Mind a MAE, mind az RMSE a modell átlagos előrejelzési hibáját fejezi ki a vizsgált változó mértékegységében. Mindkét metrika 0-tól ∞-ig terjedhet, és közömbös a hibák iránya szempontjából. Ezek negatív irányultságú pontszámok, ami azt jelenti, hogy az alacsonyabb értékek jobbak.

Különbségek: Az átlagos négyzetes hibák négyzetgyökének számítása érdekes következményekkel jár az RMSE-re vonatkozóan. Mivel a hibák négyzetre kerülnek, mielőtt átlagolnánk őket, az RMSE viszonylag nagy súlyt ad a nagy hibáknak. Ez azt jelenti, hogy az RMSE-nek hasznosabbnak kell lennie, amikor a nagy hibák különösen nem kívánatosak. Az alábbi három táblázat olyan példákat mutat, ahol a MAE állandó, az RMSE pedig nő, mivel a hibamagnitúdók gyakorisági eloszlásához tartozó variancia is nő.

Az utolsó mondat kissé szájbarágós, de szerintem gyakran helytelenül értelmezik, és fontos kiemelni.

Az RMSE nem feltétlenül nő a hibák varianciájával. Az RMSE a hibanagyságok gyakorisági eloszlásának varianciájával nő.

Az alábbi táblázatokban szereplő 4. és 5. esetet tekintsük szemléltetésképpen. A 4. esetben a 0 és 5 vizsgálati hibák száma egyenlő, az 5. esetben pedig a 3 és 4 vizsgálati hibák száma egyenlő. A hibák szórása a 4. esetben nagyobb, de az RMSE a 4. és az 5. esetben azonos.

Lehetnek olyan esetek, amikor a hiba nagyságának gyakorisági eloszlásának varianciája (még mindig egy szájbarágós szó) az érdekes, de a legtöbb esetben (amire gondolok) a hibák varianciája az érdekesebb.

Az RMSE-képlet másik, nem gyakran tárgyalt következménye a mintamérettel kapcsolatos. A MAE segítségével alsó és felső korlátot állíthatunk az RMSE-re.

1. ≤ . Az RMSE eredmény mindig nagyobb vagy egyenlő lesz a MAE-vel. Ha az összes hiba azonos nagyságú, akkor RMSE=MAE.
2. ≤ , ahol n a vizsgálati minták száma. Az RMSE és a MAE közötti különbség akkor a legnagyobb, ha az összes előrejelzési hiba egyetlen vizsgálati mintából származik. Ekkor a négyzetes hiba egyenlő az adott egyetlen tesztminta esetében és 0 az összes többi minta esetében. A négyzetgyökből kiindulva az RMSE ekkor .

A felső határra összpontosítva ez azt jelenti, hogy az RMSE tendenciaszerűen egyre nagyobb, mint a MAE, ahogy a tesztminták mérete növekszik.

Ez problémás lehet, amikor a különböző méretű tesztmintákon számított RMSE eredményeket hasonlítjuk össze, ami gyakran előfordul a valós modellezésben.

Az RMSE-értékek összehasonlítása a valós világban gyakran előfordul.