Vergleich

Ähnlichkeiten: Sowohl MAE als auch RMSE drücken den durchschnittlichen Modellvorhersagefehler in Einheiten der interessierenden Variable aus. Beide Kennzahlen können zwischen 0 und ∞ liegen und sind unabhängig von der Richtung der Fehler. Es handelt sich um negativ orientierte Werte, was bedeutet, dass niedrigere Werte besser sind.

Differenzen: Das Ziehen der Quadratwurzel aus den durchschnittlichen quadrierten Fehlern hat einige interessante Implikationen für den RMSE. Da die Fehler quadriert werden, bevor sie gemittelt werden, gibt der RMSE großen Fehlern ein relativ hohes Gewicht. Dies bedeutet, dass der RMSE nützlicher sein sollte, wenn große Fehler besonders unerwünscht sind. Die drei nachstehenden Tabellen zeigen Beispiele, bei denen die MAE konstant ist und der RMSE mit zunehmender Varianz in der Häufigkeitsverteilung der Fehlergrößen steigt.

Der letzte Satz ist etwas langatmig, wird aber meines Erachtens oft falsch interpretiert und sollte unbedingt hervorgehoben werden.

Der RMSE steigt nicht unbedingt mit der Varianz der Fehler. Der RMSE nimmt mit der Varianz der Häufigkeitsverteilung der Fehlergrößen zu.

Betrachten Sie zur Veranschaulichung die Fälle 4 und 5 in den folgenden Tabellen. Fall 4 hat eine gleiche Anzahl von Testfehlern von 0 und 5 und Fall 5 hat eine gleiche Anzahl von Testfehlern von 3 und 4. Die Varianz der Fehler ist in Fall 4 größer, aber der RMSE ist für Fall 4 und Fall 5 gleich.

Es mag Fälle geben, in denen die Varianz der Häufigkeitsverteilung der Fehlerbeträge (immer noch ein Zungenbrecher) von Interesse ist, aber in den meisten Fällen (die mir einfallen) ist die Varianz der Fehler von größerem Interesse.

Eine weitere Auswirkung der RMSE-Formel, die nicht oft diskutiert wird, hat mit dem Stichprobenumfang zu tun. Mit Hilfe des MAE können wir eine untere und obere Grenze für den RMSE festlegen.

1. ≤ Das RMSE-Ergebnis wird immer größer oder gleich dem MAE sein. Wenn alle Fehler die gleiche Größe haben, ist RMSE=MAE.
2. ≤ , wobei n die Anzahl der Stichproben ist. Der Unterschied zwischen RMSE und MAE ist am größten, wenn der gesamte Vorhersagefehler aus einer einzigen Stichprobe stammt. Der quadrierte Fehler ist dann für diese eine Stichprobe gleich 1 und für alle anderen Stichproben gleich 0. Durch Ziehen der Quadratwurzel ist der RMSE dann gleich .

Betrachtet man die obere Grenze, so bedeutet dies, dass der RMSE tendenziell immer größer als der MAE ist, je größer die Teststichprobe ist.

Dies kann problematisch sein, wenn man RMSE-Ergebnisse vergleicht, die für unterschiedlich große Teststichproben berechnet wurden, was in der realen Welt der Modellierung häufig der Fall ist.