Porównanie

Podobieństwa: Zarówno MAE jak i RMSE wyrażają średni błąd predykcji modelu w jednostkach zmiennej zainteresowania. Obie metryki mogą mieć zakres od 0 do ∞ i są obojętne dla kierunku błędów. Są to wyniki zorientowane ujemnie, co oznacza, że niższe wartości są lepsze.

Różnice: Wzięcie pierwiastka kwadratowego ze średnich kwadratowych błędów ma pewne interesujące implikacje dla RMSE. Ponieważ błędy są dzielone na kwadraty przed ich uśrednieniem, RMSE nadaje stosunkowo dużą wagę dużym błędom. Oznacza to, że RMSE powinien być bardziej użyteczny, gdy duże błędy są szczególnie niepożądane. Trzy poniższe tabele pokazują przykłady, w których MAE jest stałe, a RMSE rośnie wraz ze wzrostem wariancji związanej z rozkładem częstości występowania wielkości błędów.

Ostatnie zdanie jest trochę oklepane, ale myślę, że często błędnie interpretowane i ważne do podkreślenia.

RMSE niekoniecznie rośnie wraz z wariancją błędów. RMSE wzrasta z wariancją rozkładu częstości wielkości błędów.

Aby zademonstrować, rozważ przypadek 4 i przypadek 5 w tabelach poniżej. Przypadek 4 ma taką samą liczbę błędów testowych 0 i 5, a przypadek 5 ma taką samą liczbę błędów testowych 3 i 4. Wariancja błędów jest większa w przypadku 4, ale RMSE jest takie samo dla przypadku 4 i 5.

Mogą istnieć przypadki, w których wariancja rozkładu częstości wielkości błędów (wciąż jest to usterka) jest przedmiotem zainteresowania, ale w większości przypadków (o których mogę myśleć) wariancja błędów jest bardziej interesująca.

Inna implikacja formuły RMSE, która nie jest często omawiana, ma do czynienia z wielkością próbki. Używając MAE, możemy umieścić dolną i górną granicę na RMSE.

1. ≤ . Wynik RMSE będzie zawsze większy lub równy MAE. Jeśli wszystkie błędy mają tę samą wielkość, to RMSE=MAE.
2. ≤ , gdzie n jest liczbą próbek testowych. Różnica między RMSE a MAE jest największa, gdy cały błąd predykcji pochodzi z jednej próbki testowej. Błąd kwadratowy jest wtedy równy do dla tej pojedynczej próbki testowej i 0 dla wszystkich innych próbek. Biorąc pierwiastek kwadratowy, RMSE równa się .

Skupiając się na górnej granicy, oznacza to, że RMSE ma tendencję do bycia coraz większym niż MAE wraz ze wzrostem rozmiaru próbki testowej.

Może to być problematyczne, gdy porównuje się wyniki RMSE obliczone na próbkach testowych o różnej wielkości, co często ma miejsce w modelowaniu świata rzeczywistego.

.