Entenda o que é AUC e ROC nos modelos de Machine Learning
As curvas AUC e ROC estão entre as métricas mais utilizadas para a avaliação de um modelo de Machine Learning.
A curva AUC é derivada da curva ROC, então vamos inicialmente entender a curva ROC, que significa “Receiver Operating Characteristic”.
ROC
A curva ROC mostra o quão bom o modelo criado pode distinguir entre duas coisas (já que é utilizado para classificação). Essas duas coisas podem ser 1 ou 0, ou positivo e negativo. Os melhores modelos conseguem distinguir com precisão esse binômio.
O ROC possui dois parâmetros:
- Taxa de verdadeiro positivo (True Positive Rate), que é dado por true positives / (true positives + false negatives)
- Taxa de falso positivo (False Positive Rate), que é dado por false positives / (false positives + true negatives)
Uma curva ROC traça “True Positive Rate vs. False Positive Rate” em diferentes limiares de classificação (veja figura abaixo).
Assim, na tentativa de simplificar a análise da ROC, a AUC (“area under the ROC curve”) nada mais é que uma maneira de resumir a curva ROC em um único valor, agregando todos os limiares da ROC, calculando a “área sob a curva”.
AUC
O valor do AUC varia de 0,0 até 1,0 e o limiar entre a classe é 0,5. Ou seja, acima desse limite, o algoritmo classifica em uma classe e abaixo na outra classe.
Quanto maior o AUC, melhor.
Um modelo cujas previsões estão 100% erradas tem uma AUC de 0, enquanto um modelo cujas previsões são 100% corretas tem uma AUC de 1. Cada modelo apresentará um valor de AUC, o que irá te auxiliar na escolha do melhor, como na figura abaixo:
Edit: Se quiser mais opções visuais pra estudar e entender, recomendo o post do MLU-Explain (em inglês).
O interessante do AUC é que a métrica é invariante em escala, uma vez que trabalha com precisão das classificações ao invés de seus valores absolutos. Além disso, também mede a qualidade das previsões do modelo, independentemente do limiar de classificação.
Abraços
Dúvidas? Visite nosso site ou mande um e-mail para viniciusbrbio@gmail.com