Comparación

Similitudes: Tanto el MAE como el RMSE expresan el error medio de predicción del modelo en unidades de la variable de interés. Ambas métricas pueden oscilar entre 0 y ∞ y son indiferentes a la dirección de los errores. Son puntuaciones orientadas negativamente, lo que significa que los valores más bajos son mejores.

Diferencias: Tomar la raíz cuadrada del promedio de los errores al cuadrado tiene algunas implicaciones interesantes para el RMSE. Dado que los errores se elevan al cuadrado antes de ser promediados, el RMSE da un peso relativamente alto a los errores grandes. Esto significa que el RMSE debería ser más útil cuando los errores grandes son particularmente indeseables. Las tres tablas siguientes muestran ejemplos en los que el MAE es constante y el RMSE aumenta a medida que la varianza asociada a la distribución de frecuencias de las magnitudes de error también aumenta.

La última frase es un poco farragosa, pero creo que a menudo se interpreta incorrectamente y es importante destacarla.

El RMSE no aumenta necesariamente con la varianza de los errores. El RMSE aumenta con la varianza de la distribución de frecuencias de las magnitudes de error.

Para demostrarlo, considere el caso 4 y el caso 5 en las tablas siguientes. El caso 4 tiene un número igual de errores de prueba de 0 y 5 y el caso 5 tiene un número igual de errores de prueba de 3 y 4. La varianza de los errores es mayor en el caso 4, pero el RMSE es el mismo para el caso 4 y el caso 5.

Puede haber casos en los que interese la varianza de la distribución de frecuencias de las magnitudes de los errores (sigue siendo un trabalenguas) pero en la mayoría de los casos (que se me ocurren) interesa más la varianza de los errores.

Otra implicación de la fórmula RMSE que no se discute a menudo tiene que ver con el tamaño de la muestra. Utilizando el MAE, podemos poner un límite inferior y superior al RMSE.

1. ≤ El resultado del RMSE siempre será mayor o igual al MAE. Si todos los errores tienen la misma magnitud, entonces RMSE=MAE.
2. ≤ , donde n es el número de muestras de prueba. La diferencia entre RMSE y MAE es mayor cuando todo el error de predicción proviene de una sola muestra de prueba. El error al cuadrado es entonces igual a para esa única muestra de prueba y 0 para todas las demás muestras. Tomando la raíz cuadrada, el RMSE es igual a .

Centrándose en el límite superior, esto significa que el RMSE tiende a ser cada vez más grande que el MAE a medida que aumenta el tamaño de la muestra de prueba.

Esto puede ser problemático cuando se comparan los resultados del RMSE calculados en muestras de prueba de diferente tamaño, lo que ocurre con frecuencia en la modelización del mundo real.