Vertailu
Similarities: Sekä MAE että RMSE ilmaisevat mallin keskimääräisen ennustevirheen kiinnostavan muuttujan yksiköissä. Molemmat mittarit voivat vaihdella välillä 0 – ∞ ja ovat välinpitämättömiä virheiden suunnan suhteen. Ne ovat negatiivisesti suuntautuneita pisteitä, mikä tarkoittaa, että pienemmät arvot ovat parempia.
Eroavaisuudet: Keskimääräisten neliövirheiden neliöjuuren ottamisella on joitakin mielenkiintoisia vaikutuksia RMSE:hen. Koska virheet neliöidään ennen niiden keskiarvoistamista, RMSE antaa suhteellisen suuren painoarvon suurille virheille. Tämä tarkoittaa, että RMSE:n pitäisi olla hyödyllisempi silloin, kun suuret virheet ovat erityisen epätoivottuja. Seuraavissa kolmessa taulukossa on esimerkkejä, joissa MAE on tasainen ja RMSE kasvaa, kun myös virheiden suuruusluokkien taajuusjakaumaan liittyvä varianssi kasvaa.
Viimeinen virke on hieman suupielessä, mutta se tulkitaan mielestäni usein väärin, ja se on tärkeää tuoda esiin.”
RMSE:n ei välttämättä tarvitse lisääntyä virheiden varianssin myötä. RMSE kasvaa virheiden suuruusluokkien taajuusjakauman varianssin myötä.
Katsotaanpa havainnollistamiseksi tapausta 4 ja tapausta 5 alla olevissa taulukoissa. Tapauksessa 4 on yhtä monta testivirhettä 0 ja 5 ja tapauksessa 5 yhtä monta testivirhettä 3 ja 4. Virheiden varianssi on suurempi tapauksessa 4, mutta RMSE on sama tapauksissa 4 ja 5.
Voi olla tapauksia, joissa virheiden suuruusluokkien frekvenssijakauman varianssi (edelleen suusta suuhun) on kiinnostava, mutta useimmissa tapauksissa (joita voin ajatella) virheiden varianssi on kiinnostavampi.
Toinen RMSE-kaavan implikaatio, josta ei usein keskustella, liittyy otoskokoon. MAE:n avulla voimme asettaa RMSE:lle ala- ja ylärajan.
- ≤ . RMSE-tulos on aina suurempi tai yhtä suuri kuin MAE. Jos kaikilla virheillä on sama suuruus, RMSE=MAE.
- ≤ , missä n on testinäytteiden lukumäärä. RMSE:n ja MAE:n välinen ero on suurin, kun kaikki ennustevirheet tulevat yhdestä testinäytteestä. Tällöin neliövirhe on yhtä suuri kuin tämän yhden testinäytteen osalta ja 0 kaikkien muiden näytteiden osalta. Kun otetaan neliöjuuri, RMSE on tällöin .
Keskittymällä ylärajaan, tämä tarkoittaa, että RMSE:llä on taipumus olla yhä suurempi kuin MAE:llä, kun testinäytteen koko kasvaa.
Tämä voi olla ongelmallista, kun verrataan erikokoisista testinäytteistä laskettuja RMSE-tuloksia, mikä on usein tilanne reaalimaailman mallinnuksessa.