O que é Precisão e Revocação

Saiba o que são essas importantes métricas para avaliar modelos de classificação de Machine Learning

Photo by Bryan Goff on Unsplash

Introdução

Antes de produtizar um modelo de Machine Learning, precisamos avaliar a sua qualidade. Afinal, ninguém quer um modelo em produção fazendo besteira, certo? Ainda mais quando as interferências do modelo estão diretamente ligadas à experiência do usuário, ganhos ou perdas para a companhia, ou mesmo à vida de pessoas.

Para isso, existem diversas métricas que nos auxiliam a identificar que o modelo está corretamente treinado — em outras palavras, que não está com overfitting (viciado nas amostras de treino) ou underfitting (incapacitado de encontrar relações nas amostras de treino).

Para modelos classificadores, temos as métricas de Precisão e Revocação. Estas são métricas comumente utilizadas para avaliar modelos, embora existam outras que não serão abordadas nesse texto. Normalmente quando se fala em Precisão e Revocação, também se menciona o conceito de Matriz de Confusão. É por isso que vamos começar o texto falando dela.

Entendendo a Matriz de Confusão

A melhor forma de entender como funciona uma Matriz de Confusão é trazendo um exemplo prático.

O nosso universo contém inúmeras galáxias que podem ser classificadas de acordo com seu formato. Existem diferentes tipos de formato, sendo que as principais galáxias são em formato elíptico, espiral ou irregulares.

Imagem 1. Tipos principais de galáxias. Fonte: própria.

Vamos supor que construímos um modelo classificador de galáxias em formato irregular. Nesse problema, temos 1000 amostras de galáxias como conjunto de teste e o nosso modelo irá classificá-las como irregular ou não irregular. Vamos considerar que galáxias irregulares é nossa classe positiva e galáxias não irregulares é nossa classe negativa.

Imagem 2. Esquema de classificação das amostras. Fonte: própria.

Observe a Imagem 2. Das 1000 amostras na base, temos 100 galáxias irregulares e 900 galáxias de qualquer outro tipo (como espiral ou elíptica), ou seja, não irregulares. Na parte mais à direita do esquema, podemos ver como o modelo classificou essas amostras.

O nosso modelo classificou 80 do total de 100 amostras de galáxias irregulares existentes na base como sendo galáxias irregulares e as outras 20 como sendo galáxias não irregulares. Podemos dizer que houveram 80 verdadeiros positivos e 20 falsos negativos.

Da mesma forma, nosso modelo classificou 890 do total das 900 amostras não irregulares como sendo não irregulares, e as outras 10 restantes como sendo galáxias irregulares. E assim, podemos afirmar que houveram 890 verdadeiros negativos e 10 falsos positivos.

Um pouco confuso, né? A-há. 😃

Vamos trazer para uma tabela, que normalmente é a forma como visualizamos a Matriz de Confusão.

Imagem 3. Matriz de Confusão. Fonte: própria.

• Verdadeiros positivos: são as galáxias que são de fato galáxias irregulares e o modelo as classificou como sendo irregulares. Este é o quadrante superior esquerdo da matriz;
• Verdadeiros negativos: são as galáxias que são de fato galáxias não irregulares e o modelo as classificou como sendo não irregulares. Este é o quadrante inferior direito da matriz;
• Falsos positivos: são as galáxias que são de fato galáxias não irregulares, mas o modelo errou e as classificou como galáxias irregulares. Este é o quadrante inferior esquerdo da matriz;
• Falsos negativos: são as galáxias que são de fato galáxias irregulares, mas o modelo errou e as classificou como galáxias não irregulares. Este é o quadrante superior direito da matriz.

Com esses conceitos esclarecidos, podemos fazer o cômputo das métricas de Precisão e Revocação.

Precisão

A precisão é uma métrica que indica, das classificações positivas do modelo, quantas foram acertadas. Portanto, a fórmula fica em:

Imagem 4. Cálculo da taxa de precisão. Fonte: própria.

Note pela fórmula que esta métrica avalia a qualidade das predições positivas do modelo, ou seja, o quão o modelo é assertivo quando decide fazer uma classificação positiva. Trazendo para nosso exemplo, o cálculo indica que nosso modelo conseguiu acertar quase 89% das vezes que disse que uma galáxia era irregular.

Revocação

A revocação é uma métrica que indica, das amostras positivas existentes, quantas o modelo conseguiu classificar corretamente.

Imagem 5. Cálculo da taxa de revocação. Fonte: própria.

Confesso que prefiro chamar essa métrica de cobertura para conversar com pessoas não técnicas, pois falar em cobertura dá a ideia do quanto o modelo consegue cobrir dos casos em que deveria. Se, olhando para a minha amostra, o modelo tinha 100 chances de acertar que uma galáxia é irregular, a revocação em 80% diz que ele acerta 80 casos, deixando de cobrir 20.

Conclusão

As métricas de Precisão e Revocação são utilizadas para avaliar modelos supervisionados de classificação em Machine Learning, a fim de medir a qualidade de suas classificações antes de produtizá-los.

É muito importante destacar que *o conceito de qualidade do modelo depende do problema a ser resolvido*. No exemplo citado, temos 88.88% de Precisão e 80% de Revocação para um problema de classificação de tipos de galáxias. Para o determinado contexto de exemplo, esse já pode ser considerado um bom resultado.

Entretanto, quando se trata de problemas que envolvam saúde, como por exemplo classificar se uma mulher possui câncer de mama ou não, esse pode ser um resultado bem aquém do esperado, visto que uma quantidade alta de falsos negativos pode interferir no tratamento precoce desta doença e ocasionar até em mortes.

Portanto, é de extrema importância que qualquer métrica que envolva modelos de Machine Learning seja bem compreendida e conversada com todos os envolvidos no seu projeto antes de se tomar uma decisão de utilizar um modelo. Afinal, nosso objetivo na área é que possamos impactar positivamente nossos usuários.