Métricas para Regressão: Entendendo as métricas R², MAE, MAPE, MSE e RMSE

Tutorial explicando como funcionam algumas das métricas para avaliação de modelos de regressão.

Photo by Miguel A. Amutio on Unsplash

Alguns tipos comuns de projetos de machine learning ou ciência de dados são destinados a classificação, onde há a classificação, como por exemplo, de sentimento de textos, se uma pessoa será inadimplente ou não, se uma determinada movimentação está ligada a fraude, dentre outros. Além da classificação, há também modelos de regressão que têm como objetivo a previsão de valores numéricos. Apesar de terem funções parecidas, não é possível usar métricas de classificação em problemas de regressão e vice-versa. Portanto, ao avaliar modelos de regressão é preciso utilizar abordagens diferentes para a sua avaliação.

Então, quais são as métricas destinadas para avaliar modelos de regressão e o que elas representam?

Diante disso, neste texto serão apresentadas algumas métricas que podem ser importantes na hora de avaliar modelos de regressão e como elas podem ser interpretadas principalmente para descrever os seus resultados. As métricas abordadas serão a R², Erro Absoluto Médio (MAE), Erro Percentual Médio Absoluto (MAPE), Erro Quadrático Médio (MSE) e Raiz do Erro Quadrático Médio (RMSE).

Caso o leitor queira saber mais sobre métricas de classificação, recomendo a leitura do artigo Indo Além da Acurácia: Entendo a Acurácia Balanceada, Precisão, Recall e F1 score. Neste texto explico sobre as principais métricas para avaliar modelos de classificação juntamente com suas interpretações.

Quando lidamos com modelos de classificação, as métricas fazem comparações se a classes foram corretamente previstas ou não. Ao utilizarmos a regressão, isto fica inviável, pois estamos lidando com valores numéricos, muitas vezes com casas decimais, e não apenas 0 ou 1. Portanto, a principal abordagem das métricas de regressão baseia-se na diferença entre o valor real e o previsto como pode ser observado na equação 1. No qual, y representa o valor real, enquanto que ŷ é atribuído a valores que foram preditos.

Equação 1 — Equação que mostra o cálculo da diferença entre o valor real e a previsão. Na equação e é o desvio, enquanto que y é o valor real e ŷ é o valor predito. Este cálculo é a base de todas as métricas aqui abordadas, mas cada uma tendo o seu propósito e sua interpretabilidade.

Todas as métricas apresentadas neste artigo usam esta mesma ideia de cálculo da diferença entre o valor real e o previsto, contudo com algumas diferenças. Estas diferenças são importantes para nos dar diferentes perspectiva sobre a performance do modelo.

R²

A métrica R², também conhecida como R-dois ou coeficiente de determinação, representa o percentual da variância dos dados que é explicado pelo modelo. Os resultados variam de 0 a 1, geralmente também são expressos em termos percentuais, ou seja, variando entre 0% e 100%. Quanto maior é o valor de R², mais explicativo é o modelo em relação aos dados previstos. Na equação 2 é mostrado o cálculo desta métrica, no qual y e ŷ os valores reais e previstos, respectivamente, e y-barra representa a média dos valores reais.

Equação 2 — Equação do coeficiente de determinação. Os valores de y são os valores verdadeiros e o y-barra é a média desses valores, enquanto que ŷ são os valores preditos. Os resultados de R-quadrado ficam entre 0 e 1, quanto mais perto de 1 melhor e pior para resultados perto de 0.

Porém, utilizando somente esta métrica, será que um valor de 0,5 já seria o suficiente para colocar o modelo em produção? Faz-se necessário aproximar ainda mais o seu resultado para 1? Para responder a essa e outras perguntas, deve-se sempre utilizar outras métricas para se ter uma visão global sobre a performance do modelo.

Erro Médio Absoluto

O erro médio absoluto (MAE — do inglês Mean Absoluto Error), como demonstrado na equação 3, mede a média da diferença entre o valor real com o predito. Mas por haver valores positivos e negativos, é adicionado um módulo entre a diferença dos valores. Além disso, esta métrica não é afetada por valores discrepantes — os denominados outliers.

Equação 3 — Equação do erro médio absoluto. Nesta equação há o calculo da média da diferença entre o valor predito ŷ e o real y. Quanto menor o valor de MAE, significa que melhor são os resultados preditos pelo modelo de machine learning.

O valor de saída da equação tem a mesma escala dos dados utilizados para previsão, logo fica mais fácil a sua interpretação. Se o valor de MAE resultante for igual a 10,01 m, por exemplo, este resultado significa que o modelo pode estar errando em média 10,01 m para mais quanto para menos em relação ao valor correto. Por isso que para uma previsão futura, este resultado precisa ser levado em consideração para a tomada de decisão. Contudo o quanto este erro representa em relação ao valor real percentualmente?

Erro Percentual Absoluto Médio

O erro percentual absoluto médio (MAPE — do inglês Mean Absolute Percentual Error) é uma métrica que mostra a porcentagem de erro em relação aos valores reais. Na equação 4 representa o cálculo de MAPE que basicamente se parece com MAE, mas com o acréscimo de uma divisão por |y|. Então se o resultado de MAPE for igual a 40% significa que o nosso modelo faz previsões que em média a diferença entre o valor previsto e o real equivale a 40% do valor real tanto para mais quanto para menos.

Equação 4 — Equação do erro percentual absoluto médio. Nesta equação há o cálculo do valor da média da divisão entre a diferença entre o valor real e o predito sobre o valor real. Para evitar a divisão por zero, é utilizado o valor de ε para ser utilizado caso o valor de y seja 0. Este valor é definido pela biblioteca sklearn como 2,220446049250313e-16.

Ao observar a equação 4 nota-se que caso o valor de y seja 0, ocorrerá um erro, devido a divisão por zero. Por isso que a biblioteca scikit-learn utiliza a tratativa de colocar um número muito pequeno, representado por ε, cujo valor é 2,220446049250313e-16. A métrica MAPE é uma das métricas mais usadas para reportar a performance do modelo, trazendo uma compreensão mais abrangente do resultado de MAE.

Erro Quadrático Médio

O erro quadrático médio (MSE — do inglês Mean Squared Error) é uma métrica que calcula a média de diferença entre o valor predito com o real, como a métrica MAE. Entretanto, ao invés de usar o módulo do resultado entre o valor de y e ŷ, nesta métrica a diferença é elevada ao quadrado. Desta maneira penalizando valores que sejam muito diferentes entre o previsto e o real. Portanto, quanto maior é o valor de MSE, significa que o modelo não performou bem em relação as previsões.

Equação 5 — Equação do erro quadrático médio. Nesta equação há o cálculo da diferença entre o valor real y e o valor predito ŷ, porém elevando o resultado ao quadrado. Desta forma valores altos, ou seja, que a previsão esteja muito diferente da previsão são mais penalizados que os demais.

Apesar de sua ideia poderosa, a métrica MSE apresenta um problema de interpretabilidade. Por haver a elevação ao quadrado, a unidade fica distorcida, em outras palavras, se a unidade medida for metros (m), o resultado será em m². Por isso que uma adaptação da MSE é a RMSE que será apresentada abaixo.

Raiz do Erro Quadrático Médio

A raiz do erro quadrático médio (RMSE — do inglês, Root Mean Squared Error) é basicamente o mesmo cálculo de MSE, contendo ainda a mesma ideia de penalização entre diferenças grandes do valor previsto e o real. Porém, para lidar com o problema da diferença entre unidades, é aplicada a raiz quadrática como demonstrado na equação 6. Assim a unidade fica na mesma escala que o dado original, resultando em uma melhor interpretabilidade do resultado da métrica.

Equação 6 — Equação da raiz do erro quadrático médio. Nesta equação há o cálculo da diferença entre o valor y e ŷ, contudo com a elevação do resultado ao quadrático. Mas para deixar o resultado na mesma escala que os dados, é aplicado a raiz quadrada no resultado.

Apesar do valor ter a mesma unidade, ele não costuma se assemelhar ao resultado encontrado de MAE, demonstrando como os outliers podem estar impactando nas previsões do modelo. Mas a sua interpretabilidade pode seguir a mesma lógica, onde o resultado da métrica sendo igual a 80,0 m, significa que o modelo pode estar errando em 80,0 m para mais ou para menos. Por essa razão, esta métrica pode ser uma boa opção quando é preciso ter uma avaliação mais criteriosa sobre as previsões do modelo.

Conclusão

Neste artigo foram apresentadas algumas das métricas mais utilizadas para avaliar o modelos de regressão juntamente com as suas particularidades.

Então qual métrica usar?

Isso depende da solução que o modelo pode vir a resolver com o modelo de machine learning. Mas uma abordagem comum e muito interessante é utilizar todas para se ter diferentes perspectivas em relação a performance do modelo.

Dentre as métricas apresentadas, a R² é uma métrica muito comum, mas difícil de ser utilizada sozinha para se tirar conclusões completas sobre a performance do modelo. Tanto MAE e MAPE apresenta uma boa interpretabilidade, principalmente para reporte dos resultados do modelo. Enquanto que MSE e RMSE são afetados por valores discrepantes, o que pode ser importante quando é preciso ter uma avaliação mais criteriosa do modelo.

Espero que o artigo tenha ajudado e que tenha gostado. Até o próximo!

Referencias

• Scikit-learn developers. Regression metrics. Disponível em: <https://scikit-learn.org/stable/modules/model_evaluation.html#regression-metrics>. Acesso em: 2 de setembro de 2021.
• BRUCE, Peter; BRUCE, Andrew. Estatística prática para cientistas de dados: 50 conceitos essenciais. 1ª edição. Rio de Janeiro — RJ: Alta Books, 2019.
• HARRISON, Matt. Machine Learning: Guia de referência rápido. 1ª edição. São Paulo — SP: Novatec Editora Ltda, 2020.