Matriz de Confusão e AUC ROC
Translating Machine Learning Metrics into the Real World
Existem centenas de postagens explicando como calcular métricas de Machine Learning, e são muitas métricas! Escolher a métrica certa para seu modelo de algoritmo de Machine Learning otimizar já é um grande desafio, muitas vezes não temos uma resposta certa. Devemos utilizar uma métrica mais sensível aos outliners como o MSE ou devemos tornar o algoritmo mais sensível percentualmente como o MAPE? Daí vem uma dúvida ainda mais importante, como é que nós podemos transformar essas diferentes métricas em coisas mais palpáveis para os times de negócios? Ou responder à pergunta de todos os dias, vale a pena continuar melhorando o modelo? Quanto ganharemos se o modelo melhorar 1% na AUC? Nessa postagem vamos tentar responder essas perguntas.
Geralmente em um problema de regressão, tentamos diminuir a distância do valor previsto (yhat) para o valor real (y) e escolhemos os pesos das variáveis que produzem o menor erro. Em um problema de classificação otimizar esse tipo de métrica não faz sentido, pois ou teremos uma classe binária e a distância será sempre 0 ou 1. Em um problema multiclass teremos distâncias maiores mas que não implicam erros maiores, já que as classes são independentes umas das outras. Como resolvemos esse impasse?
