Test A/B extremos
Los archiconocidos test A/B son una herramienta muy útil para identificar posibles mejoras de un Producto como el ratio de conversión, la experiencia de usuario, etc., pero hoy no hablaremos de estos test al uso en profundidad, sino de una variante de estos: los test A/B extremos.
Para poder explicar este tipo de pruebas, repasaremos brevemente los pasos que se realizan al enfrentarse a una prueba A/B regular:
1. Investigación
Se pueden usar multitud de herramientas, desde datos en bruto en hojas de cálculo hasta mapas de calor con las interacciones de los usuarios en la interfaz. Cuanta más información tengamos sobre lo que queremos probar y por qué queremos probarlo, más fácil nos resultará el siguiente paso.
2. Formulación de una hipótesis
Una vez tengamos identificados posibles patrones o elementos que pueden ser optimizados, será necesario analizar los datos y ponerlos en perspectiva respecto de los objetivos que queremos lograr (esto es muy importante, recordadlo más adelante porque es donde entra en juego el test extremo).
3. Creación de “A” y “B”
Identificada la hipótesis que queremos comprobar, tendremos que crear las diferentes variantes de la prueba, que serán mostradas a un determinado porcentaje de usuarios junto con la versión control, que será la que proporcione el contraste y nos permita poner las diferentes variantes en perspectiva.
4. Ejecución de la prueba
El test se ejecuta por un periodo de tiempo determinado, dependiendo del objetivo, las variantes, el tamaño y llegada al grupo objetivo, del tipo de negocio, etc…
5. Análisis de los resultados
Concluida la prueba, es hora de analizar e interpretar los resultados, escoger un vencedor (si es que lo hay), implementarlo y continuar con la siguiente prueba.
De la breve y muy básica explicación de los pasos de arriba, seguro que os surgen dudas, ¡a mí desde luego sí me surgieron! Expongo una de ellas relacionada con el punto 5.
Interpretación de los datos
Es muy fácil decir que incluso los experimentos fallidos son útiles, interpretables, llenos de información valiosa, pero… ¿y si no es posible o no somos capaces de extraer esta información? ¿El experimento fue una pérdida de tiempo?
Pues no, siempre tenemos la opción de ejecutar una prueba extrema; esta prueba consiste en “extremar” o “radicalizar” las hipótesis de los experimentos que no han dado resultado, y así conseguir alguna de estas dos metas:
· Alcanzar significancia estadística que nos permita identificar el experimento como fallido o exitoso.
· Identificar patrones, comportamientos o preferencias de los usuarios que no habían mostrado (quizá porque no se les había presentado la oportunidad) y que pueden llegar a marcar tendencia en un Producto.
Por qué usar test A/B extremos
La diferencia entre este tipo de pruebas y el A/B testing normal es que estas pruebas se basan en un principio en la hipótesis inicial, pero el cambio incluido en esta hipótesis va evolucionando hasta conseguir un resultado.
Estas pruebas tienen varios beneficios:
1. Iterativas: siguen un proceso ordenado y evolutivo, por lo que el extremo no llega en una prueba, sino tras una serie de versiones que se basan en la anterior.
2. Rápidas: es mucho más sencillo ejecutar una prueba de este tipo porque gran parte del trabajo, que es la hipótesis inicial, ya se ha hecho. Es posible lanzar estos experimentos mientras se están preparando otras hipótesis o analizando datos de otros experimentos.
3. La duración del experimento puede ser menor ya que son “un paso más” dentro de un experimento mayor.
Recordemos que, por naturaleza, los seres humanos sabemos lo que nos gusta o no mediante prueba y error. Sin embargo, la mayoría de las veces, lo que nos encanta lo identificamos partiendo de algo que nos gusta y yendo un paso más. Quizá lo más importante se puede ver si nos situamos en el lado opuesto del espectro, y es que lo que detestamos (o llegamos a detestar), sigue exactamente el mismo proceso iterativo desde un punto neutro hasta el extremo.
