Entenda o que é AUC e ROC nos modelos de Machine Learning

As curvas AUC e ROC estão entre as métricas mais utilizadas para a avaliação de um modelo de Machine Learning.

A curva AUC é derivada da curva ROC, então vamos inicialmente entender a curva ROC, que significa “Receiver Operating Characteristic”.

A ROC mostra o quão bom o modelo criado pode distinguir entre duas coisas (já que é utilizado para classificação). Essas duas coisas pode ser 0 ou 1, ou positivo e negativo. Os melhores modelos podem distinguir com precisão entre as duas coisas que está a avaliar.

O ROC possui dois parâmetros:

  • Taxa de verdadeiro positivo (True Positive Rate), que é dado por true positives / (true positives + false negatives)
  • Taxa de falso positivo (False Positive Rate), que é dado por false positives / (false positives + true negatives)

Uma curva ROC traça “True Positive Rate vs. False Positive Rate” em diferentes limiares de classificação (veja figura abaixo).

Assim, na tentativa de simplificar a análise da ROC, a AUC (“area under the ROC curve”) nada mais é que uma maneira de resumir a curva ROC num único valor, agregando todos os limiares da ROC, calculando a “área sob a curva”.

O valor do AUC varia de 0,0 até 1,0 e o limiar entre a classe é 0,5. Ou seja, acima desse limite, o algoritmo classifica em uma classe e abaixo na outra classe. Quanto maior o AUC, melhor.

Um exemplo da ROC/AUC. Referência da imagem.

Um modelo cujas previsões estão 100% erradas tem uma AUC de 0, enquanto um modelo cujas previsões são 100% corretas tem uma AUC de 1. Cada modelo apresentará um valor de AUC, o que irá te auxiliar na escolha do melhor, como na figura abaixo:

Referência da figura.

O interessante do AUC é que a métrica invariante em escala, uma vez que trabalha com precisão das classificações, em vez de seus valores absolutos. Além disso, também mede a qualidade das previsões do modelo, independentemente do limiar de classificação.


Visite nosso site ou mande um e-mail para viniciusbrbio@gmail.com. Você também pode me encontrar no Twitter. Se preferir, poderá adicionar o feed do blog.