Estadísticas para personas con prisa
Traducido por Carlos Secada del original por Cassie Kozyrkov (editado por Felipe Chiriboga)
¿Alguna vez deseaste que alguien te dijera cuál es el sentido de la estadística y qué significa su jerga en un lenguaje sencillo? ¡Déjame intentar concederte ese deseo! ¡Iré a través de todas las ideas más importantes en estadísticas en 8 minutos! O solo 1 minuto, si te limitas al texto en negritas.
¿Qué es una estadística? Es una vieja forma de recolectar nuestros datos. Sip. Definición 100% correcta técnicamente. Ahora vamos a ver de qué se trata la disciplina de la estadística.
La estadística es la ciencia de cambiar tu mente.
Tomar decisiones basadas en hechos (parámetros) es lo suficientemente difícil en sí mismo, pero ¡demonios! — a veces ni siquiera tenemos los hechos que necesitamos. En cambio, lo que sabemos (nuestra muestra) es diferente de lo que deseamos saber (nuestra población). Eso es lo que significa tener incertidumbre.
Estadística es la ciencia de cambiar tu mente bajo incertidumbre. ¿A qué podría estar tu mente predispuesta? A una acción por defecto o a una creencia previa. ¿Qué pasa si tu mente fuese una pizarra en blanco? Mejor lee esto.
Los bayesianos cambian de opinión acerca de las creencias.
Las estadísticas bayesianas son la escuela de pensamiento que se ocupa de incorporar datos para actualizar tus creencias. A los bayesianos les gusta informar resultados usando intervalos creíbles (dos números que se interpretan como: “Creo que la respuesta está entre aquí y aquí”).
Los frecuentistas cambian de opinión acerca de las acciones.
La estadística frecuentista se ocupa de cambiar tu opinión acerca de las acciones. No necesitas tener una creencia para tener una acción por defecto, es simplemente lo que estás comprometido a hacer si no analizas ningún dato. Las estadísticas de frecuencia (también conocidas como clásicas) son las que son más probable que te encuentres por todo lados, y también en tu clase de “Estadística Básica Inicial”, así que mantengámonos con la clásica por el resto de este artículo.
Las hipótesis son descripciones de cómo podría verse el mundo.
La hipótesis nula describe todos los mundos en donde realizar la acción por defecto, es una buena opción; La hipótesis alternativa es todos los otros mundos. Si te convenzo (¡con datos!) de que no vives en el mundo de las hipótesis nulas, será mejor que cambies de opinión y tomes medidas alternativas.
Por ejemplo: “Podemos caminar juntos a clase (acción por defecto o predeterminada) si normalmente tardas menos de 15 minutos en estar listo (hipótesis nula), pero si la evidencia (datos) sugiere que en estar listo te demoras más de ello (hipótesis alternativa), puedes caminar solo, porque yo me voy de una vez ¡para no llegar tarde! (acción alternativa)”.
Dicho en pocas palabras: “¿Nuestra evidencia hace que la hipótesis nula parezca ridícula?”
Todas las pruebas de hipótesis se tratan de preguntar: ¿nuestra evidencia hace que la hipótesis nula parezca ridícula? Rechazar la hipótesis nula significa que aprendimos algo y debemos cambiar de opinión. No rechazar la hipótesis nula significa que no aprendimos nada interesante, es como hacer una caminata en el bosque y no ver ningún humano, lo que no prueba que no haya humanos en el planeta. Solo significa que no aprendimos nada interesante sobre la existencia de los humanos. ¿Te entristece no aprender nada? No debería, porque tienes una buena póliza de seguro: tú sabes exactamente qué medidas tomar. Si no aprendiste nada, no tienes ninguna razón para cambiar de opinión, así que continúa con tu acción por defecto.
Entonces, ¿cómo sabemos si aprendimos algo interesante… algo fuera de lo común en el mundo en el que queremos seguir haciendo nuestra acción por defecto? Para obtener la respuesta, podemos ver un valor de p o un intervalo de confianza.
El valor p en la tabla periódica: es el elemento sorpresa.
El valor de p dice: “Si estoy viviendo en un mundo en el que debería tomar esa acción por defecto o predeterminada, ¿qué tan poco convincente es mi evidencia?” Cuanto más bajo es el valor de p, más son los datos que gritan: “Vaya, eso es convincente, ¡tal vez deberías cambiar de opinión!”
Para realizar la prueba, compara ese valor p contra un límite llamado nivel de significación. Esa es una perilla que usas para controlar la cantidad de riesgo que quieres tolerar. Es tu máxima probabilidad de tontamente abandonar tu acogedora y cómoda acción por defecto. Si estableces el nivel de significación en cero, eso significa que te niegas a cometer el error de dejar tu valor por defecto por error. ¡Deja de escribir! No analices ningún dato, simplemente ejecuta tu acción por defecto. (Pero eso significa que podrías terminar tontamente NO abandonando una mala acción por defecto.)
Un intervalo de confianza es simplemente una forma de informar los resultados de la prueba de hipótesis. Para usarlo, verifica si se superpone con tu hipótesis nula. Si se superpone, no se aprende nada. Si no es así, cambia de opinión.
Cambia de opinión solo si el intervalo de confianza no se superpone con tu hipótesis nula.
Si bien el significado técnico de un intervalo de confianza es un poco extraño (les contaré todo en un futuro post, definitivamente no es tan simple como el intervalo creíble que conocimos anteriormente), tiene también dos propiedades útiles que los analistas encuentran valiosas para describir sus datos: (1) la mejor estimación siempre está ahí y (2) es más estrecho cuando hay más datos. Ten en cuenta que tanto el intervalo de confianza como el valor de p no fueron diseñados para hablar bien de ellos, así que no esperes definiciones concisas. Sólo son formas de resumir los resultados de las pruebas. (Si tomaste una clase y encontraste las definiciones imposibles de recordar, ¡a eso me refiero!)
¿Cuál es el punto? Si realizas tu prueba de la manera que acabo de describir, la matemática garantiza que tu riesgo de cometer un error está limitado al nivel de significación que elegiste (por eso es importante que tú la elijas… la matemática está ahí para garantizarte los niveles de riesgo que elegiste, lo cual no tiene sentido si no te molestas en elegirlos).
La matemática tiene que ver con construir un modelo de juguete del universo de la hipótesis nula. Así es como se obtiene el valor de p.
¿Qué pasa con todas esas fórmulas locas, esas probabilidades y distribuciones? Nos permiten expresar las reglas que gobiernan el universo de hipótesis nula para que podamos averiguar si ese universo es el tipo de lugar que contiene datos similares a los que obtuviste en la vida real. Y si no lo es, gritas: “¡Ridículo! ¡Castigado, a la pared!” Si lo es, te encoges de hombros y no aprendiste nada. Más sobre esto en una futura publicación. Por ahora, solo piensa en la matemática como en la construcción de pequeños mundos de juguete para que podamos analizarlos, de modo que podamos ver si nuestro conjunto de datos luce razonable en ellos. El valor de p y el intervalo de confianza son formas de resumir todo esto para que no tengas que quedar virolo con una prolija descripción de un universo. Son el punto final: utilízalos para ver si vas a dejar o no tu acción por defecto. ¡Trabajo hecho!
¿Hicimos nuestra tarea? Eso es lo que el poder mide.
Espera, ¿hicimos nuestra tarea para asegurarnos de que en realidad recopilamos suficientes pruebas para darnos una oportunidad justa de cambiar de opinión? Eso es lo que el concepto de poder mide. Es realmente fácil no encontrar ninguna evidencia que te haga cambiar de opinión… simplemente, no vayas a buscarla. Cuanto más poder tengas, más oportunidades tendrás de cambiar de opinión si eso es lo correcto. El poder es la probabilidad de dejar correctamente tu acción por defecto.
Cuando no aprendemos nada y seguimos haciendo lo que estamos haciendo, podemos sentirnos mejor acerca de nuestro proceso si lo hicimos teniendo mucho poder. Al menos hicimos nuestra tarea. Si tuviéramos poco poder, sabríamos que no íbamos a cambiar de opinión. Mejor no nos molestamos en analizar los datos.
Usa el análisis de poder para verificar que hayas tomado en cuenta suficientes datos antes de comenzar.
El análisis de poder es una forma de verificar cuánto poder esperas para una cantidad determinada de datos. Lo utilizas para planificar tus estudios antes de empezar. (También es bastante fácil; en una publicación futura, te mostraré que todo lo que necesitas son algunos bucles.)
La incertidumbre significa que puedes llegar a la conclusión incorrecta, incluso si tienes las mejores matemáticas del mundo.
¿Qué no es la estadística? Magia que crea certeza a partir de la incertidumbre. No hay magia que pueda hacer eso; aún puedes cometer errores. Hablando de errores, aquí hay dos errores que puedes cometer en las estadísticas frecuentistas. (Los bayesianos no cometen errores. Es broma. Bueno, más o menos. Estén atentos a mi publicación bayesiana).
El error de Tipo I es descartar tontamente tu acción por defecto. Oye, dijiste que te sentías cómodo con esa acción por defecto y ahora, gracias a todos tus cálculos, la descartaste. ¡Ay! El error de Tipo II es tontamente no descartar tu acción por defecto. (Los estadísticos somos tan creativos a la hora de nombrar cosas. Adivina qué error es peor. ¿Tipo I? Sí. Tan creativos…)
El error de tipo I es cambiar de opinión cuando no deberías hacerlo.
El error de tipo II es NO cambiar de opinión cuando deberías.
El error de tipo I es como condenar a una persona inocente y el error de tipo II es como no condenar a una persona culpable. Estas dos probabilidades de error están equilibradas (facilitar el condenar a una persona culpable también hace más fácil condenar a una persona inocente), a menos que obtengas más evidencia (¡datos!), en cuyo caso ambos errores son menos probables y todo mejora. ¡Es por eso que los estadísticos quieren que tengas más, y más, y MÁS datos! Todo se vuelve mejor cuando tienes más datos.
Más datos significa más protección contra llegar a la conclusión errónea.
¿Qué es la corrección de comparaciones múltiples? Debes hacer tus pruebas de una manera diferente y ajustada, si sabes que planeas hacer varias preguntas sobre el mismo conjunto de datos. Si sigues sometiendo a juicio a sospechosos inocentes una y otra vez (si sigues investigando tus datos), eventualmente algo parecerá culpable por accidente aleatorio. El término estadísticamente significativo no significa que algo importante haya ocurrido a los ojos del universo. Simplemente significa que cambiamos de opinión. Quizás incorrectamente. ¡Maldice a esa incertidumbre!
No pierdas el tiempo respondiendo la pregunta equivocada. Aplica las estadísticas de manera inteligente (y sólo cuando sea necesario).
¿Qué es un error de tipo III? Es una especie de broma estadística: se refiere a rechazar correctamente la hipótesis nula incorrecta. En otras palabras, usar todas las matemáticas correctas para responder la pregunta incorrecta.
Se puede encontrar una cura para formular y responder una pregunta incorrecta en Inteligencia de Decisiones, la nueva disciplina que trata de aplicar la ciencia de datos para resolver problemas de negocios y tomar decisiones correctamente. Al dominar la inteligencia de decisiones, acumularás tu inmunidad frente a errores de tipo III y analítica inútil.
En resumen, las estadísticas son la ciencia de cambiar tu mente. Hay dos escuelas de pensamiento. La más popular, las estadísticas de frecuencia, consiste en comprobar si descartar o no tu acción por defecto. Las estadísticas bayesianas tienen que ver con tener una opinión previa y actualizar esa opinión con datos. Si tu mente está realmente en blanco antes de comenzar, mira tus datos y simplemente sigue tu instinto.
Obtén más información sobre ciencia de datos e inteligencia artificial en español aquí.
