Comparaison
Similitudes : La MAE et la RMSE expriment toutes deux l’erreur moyenne de prédiction du modèle en unités de la variable d’intérêt. Les deux métriques peuvent aller de 0 à ∞ et sont indifférentes à la direction des erreurs. Ce sont des scores orientés négativement, ce qui signifie que des valeurs plus faibles sont meilleures.
Différences : Prendre la racine carrée des erreurs quadratiques moyennes a des implications intéressantes pour le RMSE. Puisque les erreurs sont élevées au carré avant d’être moyennées, le RMSE donne un poids relativement élevé aux grandes erreurs. Cela signifie que la RMSE devrait être plus utile lorsque des erreurs importantes sont particulièrement indésirables. Les trois tableaux ci-dessous montrent des exemples où MAE est stable et RMSE augmente lorsque la variance associée à la distribution de fréquence des amplitudes d’erreur augmente également.
La dernière phrase est un peu longue mais je pense qu’elle est souvent mal interprétée et qu’il est important de la souligner.
La RMSE n’augmente pas nécessairement avec la variance des erreurs. Le RMSE augmente avec la variance de la distribution de fréquence des amplitudes d’erreur.
Pour le démontrer, considérons le cas 4 et le cas 5 dans les tableaux ci-dessous. Le cas 4 a un nombre égal d’erreurs de test de 0 et 5 et le cas 5 a un nombre égal d’erreurs de test de 3 et 4. La variance des erreurs est plus grande dans le cas 4 mais la RMSE est la même pour le cas 4 et le cas 5.
Il peut y avoir des cas où la variance de la distribution de fréquence des amplitudes d’erreur (encore un mot) est intéressante mais dans la plupart des cas (auxquels je peux penser) la variance des erreurs est plus intéressante.
Une autre implication de la formule RMSE qui n’est pas souvent discutée a trait à la taille de l’échantillon. En utilisant la MAE, nous pouvons mettre une limite inférieure et supérieure à la RMSE.
- ≤ . Le résultat de la RMSE sera toujours supérieur ou égal à la MAE. Si toutes les erreurs ont la même ampleur, alors RMSE=MAE.
- ≤ , où n est le nombre d’échantillons de test. La différence entre RMSE et MAE est la plus grande lorsque toute l’erreur de prédiction provient d’un seul échantillon de test. L’erreur au carré est alors égale à pour cet unique échantillon de test et à 0 pour tous les autres échantillons. En prenant la racine carrée, la RMSE est alors égale à ,
En se concentrant sur la limite supérieure, cela signifie que la RMSE a tendance à être de plus en plus grande que la MAE à mesure que la taille de l’échantillon de test augmente.
Cela peut poser problème lorsqu’on compare les résultats de la RMSE calculés sur des échantillons de test de taille différente, ce qui est fréquemment le cas dans la modélisation du monde réel.