¿Eres culpable de usar la palabra “Experimento” incorrectamente?
Los 3 requerimientos para hablar acerca de causa y efecto
Traducido por Ale Koretzky del original por Cassie Kozyrkov. (Editado por Carlos Secada)
“Experimento” es una palabra bastante abusada. Tiene múltiples significados, así que debes prestar atención al contexto en que es utilizado. ¿Está siendo usada de manera casual, como lo hacen los niños? ¿O está siendo utilizado para referirse al estándar científico para responder preguntas sobre la causa-efecto en una conversación madura?
Relaciones (semánticamente) abusivas
Cuando los científicos utilizan la palabra, se refieren al santo grial para el entendimiento de la naturaleza de las cosas. No me sorprende que te tiente impresionar a todos al decirles que “hiciste un experimento” tú también. ¡Es algo que causa sensación! Un experimento es la única herramienta legítima que te da una licencia para usar la palabra “porque” en una conversación formal.
Un experimento te da permiso para hablar de qué cosa causa qué otra cosa.
Considera las emociones de un científico al ver un documento en el que has escrito la palabra “experimento” — — ¡Mantente atento! ¡Estamos a punto de revelar un regalo de cumpleaños! ¡¡¡Vamos a ver qué cosa causa que otra cosa!!! ¡Estamos tan emocionados!
¿Te imaginas la desmoralizante desilusión cuando descubrimos que lo que has llamado “experimento” es esto?
“Veamos qué sucede.”
Me estás rompiendo el corazón.
Como Estadístico, fui entrenada para ser precisa con la terminología pero también soy bastante flexible cuando otras personas utilizan las palabras incorrectamente. Mientras no existan consecuencias graves y más o menos nos entendamos, no me importa tanto.
Es por eso que me gustaría tomar esta oportunidad para usar todos mis cupones de habla-claro-maldición en esta palabra: experimento. Mal utilizada puede causar efectos letales. (Especialmente en la era del COVID-19.)
Palabras (más) seguras
Si has llamado “Experimento” a “veamos qué sucede” y tienes más de 10 años, por favor, vé y reemplaza esa palabra en todos tus documentos por algo distinto.
¿Qué te parece esto?
“Caos.” Ok, si eso es demasiado agresivo, te ofrezco siete sinónimos para “veamos qué sucede”, los cuales son mucho más relajados en relación a la ciencia. Son palabras de seguridad, en el sentido de que si las usas en lugar de experimento, el estadístico dejará de atacarte.
¿Por qué los profesionales ponen “diseño experimental” en sus currículos si todo lo que eso significa es “veamos qué sucede”?
Los primeros tres son “estudio”, “investigación”, y “análisis” — puedes usar estos para cualquier cosa. Ante la duda, simplemente usa “estudio” para todo.
La palabra “estudio” puede referirse a cualquier cosa antigua — siéntete libre de usar esta palabra como te parezca mejor.
Si quieres entrar un poco en la jerga, el término técnico para “veamos qué sucede” es “estudio observatorio.”
También puedes llamar a lo que hiciste un “piloto” o “prueba” si estás de acuerdo con implicar que tienes la intención de volver y hacer algo un poco más riguroso luego.
Finalmente, la última palabra para referirse a “veamos qué sucede” es…
…“¡Lanzamiento!”
Si quieres utilizar la palabra para referirte — como lo hacen los niños — a un procedimiento tentativo, por favor, no lo hagas frente a personas que estén discutiendo cosas de adultos como negocios, ciencia o política. Para ellos, un experimento es un intento sólido, bien diseñado y controlado, para intentar entender qué cosa causa que otra cosa. Ellos se referirán a experimentos cuando estén discutiendo preguntas como “¿Realmente funciona esta vacuna?” Preguntas en las cuales cualquier malentendido puede costar muy caro. Si no estás seguro si estás en presencia de un experimento real, evita usar esa palabra.
¿Qué es un experimento?
¿Qué es un experimento en el sentido científico y por qué acarrea connotaciones legitimadoras?
Un experimento es el mejor instrumento científico para el razonamiento causal a través del control activo (y la eliminación) de explicaciones alternativas. Si estás por utilizar la palabra en el contexto de los datos, asegurate que todos estos elementos estén presentes:
- Distintos tratamientos aplicados
- Tratamientos asignados aleatoriamente
- Hipótesis científicas probadas (lee mi explicación aquí)
Hipótesis
Una hipótesis no es suficiente para hacer de un estudio un experimento. Por ejemplo, puedo tener la hipótesis nula de que la altura real promedio en humanos adultos es superior a 3 metros, luego puedo recolectar datos los cuales me llevarán a la conclusión de que esta hipótesis nula queda en ridículo. Me quedaré con la teoría científica de que un gigante de 3 metros superaría en altura a un humano promedio. Si, ¡ciencia! ¡Y sin ningún experimento cerca!
Una teoría es en lo que se convierte una hipótesis cuando ésta madura.
A propósito, ¿te diste cuenta de que utilicé la palabra “teoría”? Sip, una teoría es lo mejor que la ciencia puede crear. Es en lo que se convierte una hipótesis cuando ésta madura. (la gente las confunde, pensando que una teoría es menos que una hipótesis. No es así.)
No he mencionado “hecho científico” ya que hacerlo es una manera rápida de revelar que no tienes idea de cómo funciona la ciencia. Los científicos no adoran la información y solo están dispuestos a aferrarse a las teorías hasta que otras mejores aparecen, en cuyo caso dejan caer aquella teoría obsoleta como si fuera una papa caliente.
Mientras tanto, el público malgasta sus años siguientes quemándose las manos, simplemente “porque es ciencia”.
Pero volvamos a donde estábamos. Una hipótesis no es suficiente para hacer de algo un experimento, pero deberías tener una… de otra manera no sabrás cómo aplicar tratamientos.
Distintos tratamientos
Lo más especial acerca de un experimento es que ya no estaremos mirando nuestros datos de manera pasiva. En lugar de eso, ¡impondremos nuestra voluntad por sobre la realidad! Muuajajajaja…
En fin.
Para realizar un experimento, debemos aplicar distintos cambios a las distintas partes de nuestro universo. Las distintas cosas que hacemos las llamamos tratamientos. (Aun si el experimento no tiene nada que ver con la medicina). Un tratamiento en el que no hacemos nada extra, lo llamamos control. Un control en el que pretendemos hacer algo pero en realidad no estamos haciendo nada, se llama placebo.
Asignado aleatoriamente
Si existe cualquier variabilidad entre las unidades de experimentación (objetos o víctimas, hmm.. digo, participantes) antes de comenzar, entonces no es un experimento real a menos que las unidades estén asignadas de forma aleatoria a los distintos grupos de tratamiento.
La salsa secreta que hace de un experimento una herramienta válida para la inferencia causal, es la combinación entre aleatorización y muestras de tamaño lo suficientemente grandes.
Correlación no es causación
Si tenemos aquellos tres elementos, realmente contamos con un experimento. Del tipo que tiene dientes. Tenemos la habilidad de hablar sobre qué cosa causa qué otra cosa… ¡aun bajo incertidumbre! Esto es increíble. Sin experimentos, todo lo que tiene es correlación. Correlación es una forma amable de decir “dos patrones parecen moverse juntos pero se van a reir si utilizamos esto para concluir que uno es la causa del otro.”
Por ejemplo, si un estudio observatorio encuentra que las personas que beben vino tinto tienen a vivir más años, eso es meramente correlación. Nadie obligó a un grupo aleatorio de personas a beber vino tinto, mientras que a otro grupo se le prohibió hacer lo mismo. Puede que las personas que son más saludables / adineradas / refinadas, sean más longevas por otras razones y que por coincidencia, suelan tomar más vino tinto. Sin un experimento no hay evidencia de que beber vino tinto te hará a ti más saludable.
Mientras que estas dos cosas están altamente correlacionadas, espero que estés de acuerdo conmigo en sospechar que ninguna es causa de la otra. Para más correlaciones divertidas, puedes chequear el sitio en donde encontre este ejemplo.
¿Por qué los experimentos funcionan?
Si estás interesado en ver un experimento en acción para entender por qué funcionan como herramientas para realizar inferencias sobre causa-y-efecto, presta atención a la lógica detrás de uno de los experimentos más simples que puedes llevar a cabo: la prueba A/B.
La aleatorización de tratamientos es la salsa secreta que hace que un experimento funcione.
Si quieres que te dé una explicación sobre la prueba A/B, puedes leer mi artículo ¿Cómo funcionan las pruebas A/B?
Errores letales
Las opiniones casuales no tienen grandes implicancias cuando no existe demasiado en juego, pero existen algunos escenarios en los que es peligroso sacar conclusiones sin experimentos.
Si no existe un experimento real, se muy escéptico con cualquiera que esté utilizando la palabra “porque” para explicar conexiones entre fenómenos complejos. Lo que esta persona está realmente diciendo es, “tengo una opinión que suena razonable en mi propia cabeza y realmente no hice la tarea necesaria para eliminar explicaciones alternativas. Me gusta mi historia y me quedaré con ella.”
Cinco ejemplos (¡entre muchos otros!) en los que te rogaría que exijas un experimento real antes de sacar conclusiones:
- Esta vacuna, ¿causa que las personas no se enfermen cuando se exponen al virus?
- Este sistema de ML/IA, ¿causa mejores resultados?
- Este nuevo plano de distribución de posiciones en la oficina, ¿causa que los empleados sean más productivos?
- Esta nueva póliza, ¿causa mejores condiciones para los ciudadanos?
Una mirada al último ítem te recordará que a veces es muy difícil/caro/no ético llevar a cabo un experimento. Seguro, a veces no podemos adquirir las cosas que deseamos. (como una licencia para utilizar la palabra “porque” en lugar de “espero que”)
Sin un experimento, nuestras acciones están basadas en esperanza en lugar de evidencia.
Si la vida es tan injusta al punto de que no puedas realizar un experimento, esto no te califica para saltarte a la parte en la que actúas como si lo hubieras hecho de todas formas. En lugar de eso, admite que andas a tientas en la oscuridad y procede con mucha precaución.
¡Gracias por leer! ¿Te gusta el autor?
Si quieres agradecerme, mucho apreciaré que compartas o hagas re-tweets. Si quieres leer más artículos de mi autoría, la mayoría de los enlaces en este artículo te llevarán a mis otros escritos. ¿No logras decidirte? Prueba empezar con con alguno de estos:
Notas a pie de página
* La inferencia causal es un subcampo de la estadística con intentos sofisticados de sacar conclusiones sobre causa y efecto sin experimentos. Ten en cuenta que deberás estar dispuesto a absorber una montaña de suposiciones para hacer que esos enfoques sean válidos, así que no todo el mundo los acepta. La inferencia causal también tiende a confiar bastante en la idea de que “ya hemos pensado en todo”, lo cual, dada la predisposición de nuestra especie a cometer errores, es bastante exagerado. Los experimentos bien diseñados que explotan la aleatoriedad en muestras de datos grandes son mucho más convincentes.
** Algún día, escribiré sobre el análisis de potencia y cómo dimensionar un experimento, pero mientras tanto puedes encontrar definiciones en mis otros artículos. [1] & [2].
Obtén más información sobre ciencia de datos e inteligencia artificial en español aquí.
