Comparação

Similitudes: Tanto o MAE como o RMSE expressam erro de predição do modelo médio em unidades da variável de interesse. Ambas as métricas podem variar de 0 a ∞ e são indiferentes à direção dos erros. São pontuações orientadas negativamente, o que significa que valores mais baixos são melhores.

Diferenças: Tomar a raiz quadrada dos erros quadrados médios tem algumas implicações interessantes para o RMSE. Uma vez que os erros são quadrados antes de serem calculados como média, o RMSE dá um peso relativamente alto a erros grandes. Isto significa que o RMSE deve ser mais útil quando os erros grandes são particularmente indesejáveis. As três tabelas abaixo mostram exemplos em que o MAE é estável e o RMSE aumenta à medida que a variância associada à distribuição de frequência das magnitudes do erro também aumenta.

>

A última frase é um pouco bocadinho boca-a-boca mas penso que muitas vezes é interpretada incorrectamente e importante destacar.

RMSE não aumenta necessariamente com a variância dos erros. RMSE aumenta com a variância da distribuição de freqüência de magnitudes de erro.

Para demonstrar, considere o Caso 4 e o Caso 5 nas tabelas abaixo. O Caso 4 tem um número igual de erros de teste de 0 e 5 e o Caso 5 tem um número igual de erros de teste de 3 e 4. A variância dos erros é maior no Caso 4 mas o RMSE é o mesmo para o Caso 4 e o Caso 5.

Pode haver casos em que a variância da distribuição de freqüência de magnitudes de erro (ainda uma boca cheia) é de maior interesse, mas na maioria dos casos (que eu posso pensar) a variância dos erros é de maior interesse.

Uma outra implicação da fórmula do RMSE que não é frequentemente discutida tem a ver com o tamanho da amostra. Usando MAE, podemos colocar um limite inferior e superior no RMSE.

1. ≤ . O resultado do RMSE será sempre maior ou igual ao MAE. Se todos os erros tiverem a mesma magnitude, então RMSE=MAE.
2. ≤ , onde n é o número de amostras de teste. A diferença entre RMSE e MAE é maior quando todos os erros de previsão provêm de uma única amostra de teste. O erro ao quadrado é então igual a para essa amostra de teste única e 0 para todas as outras amostras. Tomando a raiz quadrada, o RMSE é então igual a .

Focalizando no limite superior, isto significa que o RMSE tem tendência a ser cada vez maior do que o MAE à medida que o tamanho da amostra de teste aumenta.

Isto pode ser problemático quando se comparam resultados de RMSE calculados em amostras de teste de diferentes tamanhos, o que é frequentemente o caso na modelagem do mundo real.