Como avaliar um modelo de Machine Learning: Regressão

Você está aprendendo a construir seus primeiros modelos de Machine Learning para resolver problemas de Regressão e pode estar surgindo a dúvida: como avaliar o meu modelo? Como saber se ele está bom ou ruim? Como saber o erro esperado dele para novos dados?

Essas são perguntas importantes e que devem ser avaliadas com cautela pois irão nos dizer se precisamos aperfeiçoar o nosso modelo ou até mesmo se ele realmente é útil ou não. Para aprender as principais métricas de avaliação de um modelo de regressão, continue aqui pois hoje iremos aprender sobre:

• MAE (Mean Absolute Error)
• MAPE (Mean Absolute Percentage Error)
• MSE (Mean Squared Error)
• RMSE (Rout Mean Squared Error)

Ao final deste artigo, você saberá qual a melhor métrica para avaliar seu modelo de regressão a depender do contexto do seus dados.

1. Relembrando um pouco sobre a Regressão

Antes de falarmos das métricas em si, vamos relembrar brevemente alguns pontos sobre esse problema clássico e muito frequente que é a regressão. Alguns pontos devem ser avaliados para garantirmos que de fato modelos de regressão irão nos ajudar a solucionar o desafio em vista.

Regressão é um tipo de problema em que buscamos estimar um valor real para determinado fenômeno. Na prática podemos estimar o valor de vendas para o próximo mês, a temperatura em determinado dia e região e também o valor de uma ação. Existem diferentes tipos de regressão nos quais não vamos profundar aqui, mas que valem a citação como a regressão linear simples e múltipla, regressão não linear, regressão lasso e etc. O que nos interessa saber é que para qualquer tipo de regressão temos um objetivo claro que é prever um valor real (contínuo) para determinado fenômeno.

2. Métricas de Avaliação

Quando falamos sobre métricas de avaliação de qualquer modelo, estamos interessados em avaliar a capacidade do modelo de prever corretamente os valores do fenômeno dadas novas entradas ou observações. Em outras palavras, como todo modelo possui um erro intrínseco, temos interesse de saber o tamanho do erro associado às suas previsões.

Para isso, essa avaliação é feita, em sua essência, comparando os valores reais com os valores preditos pelo modelo: quanto menor for essa diferença (erro), mais assertivo é o nosso modelo e vice e versa.

Para nortear e exemplificar o cálculos das métricas aqui neste artigo, vamos considerar um conjunto de predições de um modelo com o objetivo de prever o preço de venda de alguns apartamentos. A fim de simplificar, vamos considerar um conjunto de apenas 5 predições, como mostrado abaixo:

Com isso, teremos em mãos o valor real de venda de cada imóvel e o valor estimado pelo modelo para calcular na prática essas métricas!

2.1 MAE (Mean Absolute Error)

O MAE é, em sua definição mais bruta, a média dos valores absolutos dos erros. A partir dos erros (diferença entre o real é o predito) de todas previsões feitas pelo modelo, tomamos o valor absoluto dessas medidas e fazemos a média. Assim, o MAE nos indica o tamanho médio do erro do modelo a cada previsão.

A formulação do MAE é:

Onde:

y: valor real do imóvel

ŷ : valor estimado do imóvel

n: número de predições realizadas

Considerando nosso exemplo de previsão de preço de venda, podemos calcular o MAE da seguinte forma:

Dessa forma, podemos interpretar que, nesse conjunto de predições, o modelo possui erro médio absoluto (MAE) de R$ 11.783,00. Logo, para cada previsão de valor X podemos esperar que o valor real do imóvel esteja entre X — R$ 11.783 e X + R$ 11.783

2.1.1. Características

1 . Interpretabilidade

Uma vantagem do MAE é a sua fácil interpretabilidade. Como ele está na mesma unidade de medida da nossa variável resposta (no nosso caso, R$) é fácil para os times de negócios entenderem que o erro médio é de R$ X para mais ou menos, o que melhora as todas de decisão

2. Simplicidade matemática

O MAE também possui um cálculo muito simples pois basicamente é a média do modulo dos erros, facilitando o entendimento e o cálculo

3. Igual peso para todos os erros

Uma desvantagem do MAE é sua falta de robustez em lidar com outliers. Como o MAE é a média os erros absolutos, todos os erros possuem o mesmo peso dentro do cálculo o que muitas vezes é ruim pois deixa passar despercebido grandes desvios que podem ser prejudiciais ao negócio.

4. Desconsidera a direção dos erros

Como o MAE considera o módulo dos erros, ele assume que os erros são simétricos, ou seja, são iguais tanto para mais, quanto para menos, o que pode não ser verdade. Caso o modelo esteja subestimando ou superestimando os valores, não seremos capazes de identificar isso por essa métrica

2.1.2. Quando usar?

Devido sua fácil interpretabilidade, sempre é recomendado utilizar o MAE a fim de melhorar o entendimento das áreas envolvidas, porém, não é recomendado utilizar somente esta métrica pois ele possui pontos fracos que podem ser prejudiciais ao negócio.

2.2 MAPE

O MAPE (Mean Absolute Percentage Error) é bem semelhante ao MAE, diferenciando-se pelo fato de que considera o percentual do erro em relação ao valor real, e não seu valor bruto. Dessa forma, com essa métrica nós avaliamos que o modelo possui um o erro de X% para mais ou para menos.

Sua formulação é:

Onde :

y: valor real do imóvel

ŷ : valor estimado do imóvel

n: número de predições realizadas

Considerando nosso exemplo de referência, podemos calcular o MAPE da seguinte forma:

Assim, podemos interpretar que as previsões estão em média 8,05% erradas, para mais ou para menos.

2.2.1. Características

1 . Interpretação Intuitiva

Assim como o MAE, o MAPE é de fácil interpretação e entendimento para os time não técnicos, o que melhora as tomadas de decisão

2. Independencia da Escala

O MAPE é uma métrica relativa, ou seja, é adimensional e não dependente da escala original dos dados o que pode facilitar também seu entendimento e a tomada de decisão

3. Problemas com valores próximos ou iguais à zero

Pelo fato de ser uma métrica relativa ao valor real, caso este seja zero ou próximo de zero, teremos problemas no cálculo dessa métrica pois ela tenderá a infinito ou próximo disso. Para casos assim, a métrica SMAPE é mais indicada.

4. Viés em relação à valores baixos de predição

Para um erro de R$ 10.000 na previsão de um imóvel, caso seu valor real seja R$ 100.000 teremos um erro relativo de 10% mas caso ele seja de R$1.000.000, seja de 1%. Essa sutileza que no MAE não é percebida, pode afetar o MAPE. Para valores de predição baixos, o erro relativo (em %) pode se tornar alto mesmo que o erro absoluto (em R$) seja baixo em relação às outras predições, o que pode não ser desejado dependendo do contexto.

2.2.2. Quando usar?

O MAPE possui uma fácil interpretação pelas áreas de negócio e pode ser utilizado sempre que possível, porém, deve-se atentar à diferença de escala entre os valores de predição que podem ocasionar distorções

2.3 MSE

O MSE, ou Mean Squared Error, também calcula a média dos erros assim como o MAE e MAPE, porém, ao invés de utilizar o módulo do erro, utiliza o quadrado do erro, o que traz características interessantes à essa métrica. Sua formulação é dada por:

Onde :

y: valor real do imóvel

ŷ : valor estimado do imóvel

n: número de predições consideradas

Considerando nosso exemplo de precificação de imóveis. nossa métrica MSE seria:

2.3.1. Características

1. Penalização de Outliers

O MSE é capaz de penalizar mais severamente grandes erros de predições uma vez que esses erros têm o seu peso elevado ao quadrado no cálculo da média. Na maioria dos casos isso é um ponto positivo pois grandes desvios entre os valores reais e preditos pode ocasionar em grandes prejuízos. Caso haja grandes erros no modelo, o MSE refletirá isso melhor que as métricas de MAE e MAPE, por exemplo.

2. Difícil Interpretabilidade

Diferentemente do MAE e do MAPE, o MSE possui uma interpretabilidade mais complexa devido à sua unidade de medida. Como elevamos o erro ao quadrado, o erro que antes era expresso na mesma medida da variável resposta, em R$ por exemplo, agora é expresso em R$² o que dificulta sua interpretação e comparabilidade para os times de negócio.

2.3.2 Quando usar

O MSE é especialmente útil quando grandes erros não são desejados no seu modelo. Como essa métrica penaliza grandes desvios, ela pode ser útil para sinalizar-los mesmo que outras métricas como MAE e MAPE não sejam tão afetadas

2.4 RMSE

O RMSE, ou Rout Mean Squared Error, é bem semelhante ao MSE, diferenciando-se pelo fato de retornar a raiz quadrada dos erros quadráticos. Em outras palavras, o RMSE é a raiz quadrada do MSE, fazendo com que a métrica volte a ter a mesma unidade de medida da variável resposta. Sua formulação é:

Onde :

y: valor real do imóvel

ŷ: valor estimado do imóvel

n: número de predições consideradas

Seguindo a mesma linha do cálculo do MSE, o cálculo do RMSE seria da mesma forma, acrescentando o passo de extrair a raiz quadrada ao final:

2.4.1. Características

1. Penalização de Outliers

O RMSE continua possuindo a mesma característica do MSE de penalizar grandes erros, o que é útil em situações em que grandes desvios são indesejados

2. Mesma unidade da variável resposta

Como vantagem sobre o MSE, o RMSE está na mesma unidade da variável resposta o que facilita uma comparação direta com os valores reais.

2.4.2 Quando usar?

Embora sua interpretação não seja tão direta quanto a do MAE ou MAPE, o RMSE é indicado quando se deseja uma robustez contra outliers e uma comparabilidade com a variável resposta.

3. Conclusão

Ao longo deste artigo você viu as principais métricas utilizadas para avaliar um modelo de regressão e espero que agora esse conteúdo tenha ficado mais claro para você.

Entendemos que a métrica MAE possui uma fácil interpretação mas não é tão robusta contra outliers e que o MAPE possui características bem semelhantes mas além disso possui algumas limitações quanto à escala dos dados. Já o MSE possui a característica interessante de inserir um peso maior para grandes erros o que é muito útil na maioria das situações enquanto o RMSE é capaz de manter essa característica adicionando o fato de que está na mesma escala da variável resposta, facilitando a interpretação dos times de negócio.

Espero que agora você tenha mais clareza sobre como começar a avaliar o seu modelo de regressão e que comece a colocar esses conhecimentos em prática o quanto antes.

Se gostou deste artigo e ele te ajudou de alguma forma, me siga para acompanhar mais conteúdos neste estilo!

Um abraço e até a próxima!