Reglas prácticas para experimentos cuantitativos
Por Tristan Kromer
Una gran cantidad de trabajo de innovación implica pequeños tamaños de muestra y se basa en datos cualitativos. El Design Thinking, Agile, Customer Discovery y Lean Startup enfatizan la necesidad de comenzar chico e ir construyendo. Pero eventualmente, tenemos que comenzar a ejecutar experimentos cuantitativos, lo que requiere enfocarse en el diseño de experimentos cuantitativos.
Esto significa que más nos vale diseñar experimentos que nos guíen en la dirección correcta. Si ejecutamos experimentos cuantitativos defectuosos, todos esos números que suenan objetivos podrían convencernos de tomar el camino equivocado, lejos de nuestros clientes.
Al observar o ejecutar innumerables experimentos cuantitativos a lo largo de los años, hemos visto muchos errores que surgen una y otra vez. Así que creamos una hoja de trucos básicos para complementar nuestro taller interactivo en línea sobre estadísticas.
Esta es solo una lista de consejos para ayudar a recordar cuándo aplicar esas lecciones. Si bien esta publicación no les enseñará estadísticas, esperamos que sirva como recordatorio de algunas lecciones clave para evitar algunos errores críticos.
Debido a que nos gusta abrir nuestro trabajo mediante el uso de licencias de Creative Commons cuando podemos, estamos compartiendo nuestras Reglas prácticas aquí junto con algunas breves descripciones de cada regla. ¡No dude en compartirlo con sus colegas, o incluso imprimirlo y publicarlo para una referencia rápida!
1. Crea un gran plan para la prueba
Céntrate en el objetivo
Siempre trata de invalidar tu hipótesis. No necesitamos un experimento perfecto con 99.99967% de confianza. Necesitamos datos suficientes que nos digan si estamos haciendo algo estúpido.
Deberíamos pensar en cada experimento cuantitativo como una prueba mínima viable y asegurarnos de que solo estamos recopilando datos que nos dirían si estamos equivocados.
Elige la métrica
Cuando elegimos una métrica, debemos intentar pensar en los posibles resultados. Si cada resultado posible nos hace sentir bien, probablemente es una métrica vanidosa. Prueba una nueva.
Del mismo modo, si cada resultado posible se puede interpretar de manera tal que valide o invalide una predicción, ¡cuidado! También es probablemente una métrica vanidosa.
Las métricas accionables generalmente deben tener un% o un “por” en ellas. Deberían ser algo dividido por otra cosa. Por ejemplo, “Registros por visitante” o “ticket promedio por cliente”.
Busca un segundo par de ojos y háblalo si no estas seguro de si tu métrica es accionable.
Establecer el nivel de confianza
Acuerda el nivel de confianza antes de la prueba. No todas las decisiones deben tomarse con un 95% de confianza.
¡Somos emprendedores! Si tuviéramos información perfecta, todos lo estarían haciendo. Pero si no estas seguro, quédate con el 95% como valor predeterminado.
Estimar la población
Cuando intentes calcular el tamaño de muestra requerido, no te preocupes por obtener el tamaño de población exactamente correcto si es bastante grande, por ejemplo, 100.000 personas.
Cuando la población es muy grande, el número exacto en realidad no afecta el tamaño de la muestra o el margen de error.
Decidir sobre el tamaño de la muestra
Cuantos más datos obtenemos, más certeza. Pero la recopilación de datos tiene costos crecientes y rendimientos decrecientes. Por lo tanto, elige el tamaño de muestra mínimo requerido para un margen de error que podría hacerte cambiar de opinión. ( Ver enfoque en el objetivo)
Al generar ideas durante Customer Discovery o pruebas de usabilidad, tamaño de la muestra debería no ser considerado de la misma manera que el anterior. Una muestra de 5 es lo suficientemente buena.
Elige la muestra
Asegúrate completamente de que nuestra muestra se elija al azar. Si estamos probando un martes, ¿es el martes lo mismo que el sábado?
Si la muestra no es aleatoria, podríamos terminar con falsos positivos o falsos negativos. Verifique la estacionalidad, los experimentos relacionados que pueden sesgar nuestros datos u otras rarezas.
2. Informe y calcule resultados
Calcular el margen de error
Recuerda verificar el nivel de confianza. No calcule el margen de error con un nivel diferente al que acordaste al diseñar el experimento.
Calcula el margen de error después del experimento, no antes. Cambia dependiendo del resultado real. (Pruébelo usando nuestra calculadora experimental . Si está usando una calculadora de margen de error que no se ajusta en función de su resultado, está mal).
Y si ejecutas una prueba A / B, asegúrate de ver el margen de error en ambos lados de la prueba A / B.
Consejo especial para inversores y gerentes comerciales: si un equipo muestra resultados cuantitativos del experimento sin un tamaño de muestra o margen de error, no puedes juzgar los datos. Insiste en que el equipo muestre los datos reales.
Recuerda la regla de los cinco
Si intentas obtener una estimación rápida, recuerda la Regla de los Cinco. La mediana tiene un 93.75% de probabilidades de estar dentro del rango de una muestra aleatoria de 5.
3. Sintetizar ideas
Centrarse en el objetivo
No puedo repetir esto lo suficiente. No puedes probar nada de manera concluyente, solo fallar en refutarlo.
Siempre trata de invalidar tu hipótesis.
Verifica errores comunes
Primero repasemos los puntos clave desde arriba.
- Recuerde verificar el nivel de confianza.
- Verifique que la muestra sea verdaderamente aleatoria.
- Considera cualquier factor que pueda producir un falso positivo o un falso negativo.
- Busca explicaciones alternativas o cambios.
Pero aquí hay algunos más:
- Verifica el sesgo potencial de las personas que realizan el experimento, incluido tu mismo. Ten cuidado con equipos y colegas con un sesgo de confirmación. Te informarán lo que ellos quieren ver.
- Verifica si la observación cambió el resultado. A veces, los participantes de nuestra prueba pueden sentirse observados y cambiar su comportamiento.
- Las probabilidades no cambian. Un cierto resultado no es “debido”. No caigas en la falacia del jugador. Si lanzas una moneda cinco veces seguidas y sale cara, es falso que sea menos probable que la siguiente no lo vuelva a ser.
- No te sorprendas por números inusualmente altos o bajos. Las estadísticas son raras. A veces sacas cara veinte veces seguidas. No significa que la moneda esté amañada. Intenta nuevamente y aumenta lentamente el tamaño de la muestra.
- No asumas que un grupo grande se comportará igual que el más pequeño. Si pruebas con los early adopters, no te sorprendas cuando la mayoría de las personas se comporten de manera diferente. Las poblaciones son diferentes.
- No mires las pruebas de forma aislada: considera todos los hechos validados juntos. No ignores tu conocimiento previo solo porque una prueba A / B te dice algo. A veces tu conocimiento previo juega un rol clave.
- La correlación no es igual a la causalidad. Este es un viejo pero bueno. Las ventas de helados y los ataques de tiburones aumentan en el verano, pero los ataques de tiburones no hacen que la gente quiera helado y el helado no causa ataques de tiburones. No saltes a conclusiones.
Por último, piense en los próximos pasos.
No apuestes todo con cada nuevo movimiento. Cuando decidas los siguientes pasos, aumenta siempre el tamaño de la muestra lentamente. Hay muchas, muchas cosas que pueden salir mal al ejecutar pruebas cuantitativas, así que ve despacio y asegúrate de que tu “éxito” no sea solo una casualidad estadística.
Lecciones aprendidas
- No hay certezas en las estadísticas.
- Las estadísticas son difíciles. Consigue ayuda.
- En caso de duda, aumenta el tamaño de la muestra lentamente …
Esta es una traducción personal del artículo original de Tristan Kromer “Rules of Thumb for Quantitative Experiments”
Tambien te puede interesar
