Experimentación, el camino para darle vida a nuestras ideas
Cuando desarrollamos productos, debemos ser conscientes de que las necesidades, deseos y preferencias de consumo cambian constantemente, por lo que la capacidad de reacción al proponer el producto o la funcionalidad acertada en el menor tiempo posible, juega un papel trascendental en nuestra búsqueda continua de generación de valor.
En otras palabras, el principal desafío de cualquier equipo de producto es la creación de soluciones deseables, factibles y rentables; una tarea nada simple si tenemos en cuenta que usualmente lo que pensamos que nuestros usuarios quieren, difiere bastante de lo que realmente necesitan.
Por otra parte, si agregamos el peso que pueden llegar a tener los HIPPO’s (de las siglas en inglés de opinión de la persona que más dinero gana), en las definiciones sobre qué hacer o cómo hacerlo, podemos fácilmente caer en uno de los peores escenarios posibles: una situación donde construimos algo tecnológicamente eficiente, con un caso de negocio muy lindo, pero que nadie efectivamente usa.
En cualquier caso al construir productos, tenemos que lidiar con altos niveles de incertidumbre (es verdad que si no fuera así, no sería tan interesante) y es precisamente en este punto en donde la experimentación entra en la ecuación. Los experimentos son pruebas que consisten en provocar un fenómeno en unas condiciones determinadas con el fin de analizar sus efectos y de verificar una hipótesis construida sobre los datos del comportamiento de nuestros clientes.
Por lo tanto, gracias a los experimentos, podemos sistemática e iterativamente reducir la incertidumbre inherente a las soluciones que desarrollamos día a día, sin enfocarnos en si podemos o no construir la solución. La pregunta que éste busca responder es; “¿deberíamos construir esto?. Y si la respuesta es sí, entonces nos cuestionamos; “¿ podemos construir un modelo de negocio sostenible alrededor de esa idea?”.¹
Ahora bien, el nivel de incertidumbre es inversamente proporcional a la etapa de desarrollo del producto, dicho de otra manera, a medida que el producto se incrementa y entra en su ciclo de entrega de valor continua, la incertidumbre decrece. Para hacerlo más claro, imagina que estás perdido en medio de la jungla y tienes que llegar al refugio más cercano que queda al norte, el mayor nivel de incertidumbre lo tendrás al dar el primer paso, por lo tanto, si de alguna forma puedes saber que esa entrada inicial la está dando en el sentido correcto, lo siguiente irá progresivamente siendo menos incierto.
Entendiendo esta relación existente entre la incertidumbre y las diferentes etapas de producto, podemos proponer distintos tipos de experimentos, que en función del nivel de incertidumbre que queramos reducir, tienen formas y objetivos diferentes. Por ejemplo, experimentos tipo “Puerta falsa (Fake door)”, buscan validar una demanda sobre algo que no se ha construido, es decir, qué tanto interés existe en nuestros usuarios por algo que creemos que puede ser interesante pero que no queremos invertir mucho tiempo ni dinero para saberlo.
Este modelo de experimento es de extrema utilidad al contrastar los casos de negocio (datos observacionales) y la realidad de nuestros clientes (datos experimentales).
Otros tipos de experimentos como “Mago de Oz (Wizard of Oz)” o “Conserje (Concierge)” tienen por objeto probar ideas o servicios de una forma que permite percibir su valor propuesto pero en una escala mucho menor. Un buen ejemplo de ello es cuándo Airbnb quiso probar si se aumentarían los alquileres al mejorar la calidad de las fotos. Probaron la idea con un experimento tipo Conserje usando el mínimo esfuerzo posible para conseguir una prueba que les permitiera validar la hipótesis. Cuando éste mostró buenos resultados, desarrollaron las funcionalidades necesarias y los desplegaron para que estuviera disponible para todos sus clientes. “A veces, el crecimiento de un negocio proviene de sitios inesperados”.²
“No vendas lo que puedas hacer; haz lo que puedas vender, algo que también implica averiguar lo que la gente está dispuesta a comprar.” Alistair Croll
Otro tipo de experimento ampliamente usado en Latam durante el 2019 fue la prueba A/B (A/B Test), son experimentos en donde se exponen aleatoriamente a nuestros clientes dos (o más) variantes, A y B, siendo una la de control (sin cambios) y la otra la variante. Con este tipo de experimentos buscamos encontrar causalidad, es decir, qué tan seguros podemos estar de que la mejora del indicador (KPI) que perseguimos sea causada por la variación que incorporamos.
En este punto, y aunque pueda sonar un poco complejo, observar la causalidad y no la correlación, es uno de los ejes sobre los que gira la experimentación.
Es un error común confundir estos dos conceptos, imagina como un alto ejecutivo y tiene en sus manos dos informes. En el primero hay una caída importante en las ventas y en el segundo hay un aumento importante en el tiempo que los usuarios permanecen en el sitio. Las dos parecen ocurrir al mismo tiempo. Pide un tercer informe que cruza los dos anteriores y, efectivamente, encuentra una relación: entre mayor es el tiempo de los usuarios en el sitio, menores son las ventas.
¿Quiere decir esto que la baja de las ventas es causada por el tiempo de los usuarios en la página? No necesariamente, así como los divorcios en Maine no son causados por la cantidad de margarina que se consume, aún cuando entre el 2000 y el 2009 existe una correlación de más del 99%.³
“Correlación no es causalidad” Kenneth L. Woodward
Considerando todo lo anterior, durante 2019, en la Dirección Digital incluímos este proceso que involucra pruebas experimentales al construir y optimizar productos digitales. Para ello, articulamos un framework que asociado a uno de medición, nos ha permitido garantizar un trabajo riguroso y cada vez más frecuente; ya que para formular las hipótesis se debe contar con datos suficientes y confiables O en palabras de Peter Drucker, “Si no puedes medirlo, no puedes gestionarlo” y mucho menos mejorarlo.
El año pasado, en alrededor de seis meses, ocho equipos de producto implementaron más experimentos que American Airlines en todo el 2018 y cada vez más grupos están evaluando nuevos briefs y formulando nuevas hipótesis para continuar con este proceso de forma autónoma, permitiendo descentralizar el proceso de experimentación y autogestionar los distintos requerimientos.
El proceso de experimentación o la mejora continua impulsada por datos.
Para poder lograr resultados concretos con el proceso de experimentación, debemos considerar el siguiente flujo:
1.- Observación
¿Qué sabemos? ¿Cómo están usando el producto los clientes? Si aún no existe el producto, ¿Les interesa?, ¿Cómo es su relación con otros productos análogos? En este punto es crucial entender bien el comportamiento de los usuarios con el producto, cruzar información sobre qué hacen (datos cuantitativos) y por qué lo hacen (datos cualitativos) es fundamental.
2.- Detección del problema
A partir de la observación y el análisis de los datos existentes, emergen oportunidades y posibles problemas. En este punto es clave identificar el problema correcto, hacerlo es más importante que proponer una solución eficiente. El impacto al solucionar un problema es directamente proporcional a su gravedad.
3.- Formulación de hipótesis
Este tipo de experimentos, deben construirse sobre una hipótesis causal, es decir, qué es lo que vamos a modificar/agregar (variable independiente) versus lo que suponemos que va a causar (variable dependiente), ej: Si reducimos el número de campos del formulario de pasajeros vamos a aumentar la cantidad de pasajes comprados.
4.- Definición de métricas y criterios de éxito
¿Cómo saber cuál es la mejor opción, A o B? Fundamental determinar un KPI como objetivo principal del experimento y todavía más importante medir los impactos que pueda llegar a tener en la experiencia completa, no vamos a querer desarrollar, por ejemplo, una solución que mejore la venta de un ancillary pero al mismo tiempo disminuye sensiblemente la venta de pasajes aéreos.
5.- Muestra y ejecución
¿Cuántas personas vamos a necesitar para poder tener datos en los que podamos confiar? ¿Qué personas y en qué condiciones (mercado, idioma, dispositivo, horario, etc.)? Una adecuada selección de la muestra del experimento va a permitir tomar decisiones acertadas.
Un ejemplo del proceso llevado a cabo en este flujo de experimentación lo podemos ilustrar con el siguiente caso para el nuevo Latam Store (momento en la compra dedicado a la mejora de la experiencia mediante la adquisición de ancillaries).
Resultado: Aumento de 21% y 35% del tráfico hacia la selección de asientos en móvil y escritorio respectivamente, con intervalos de confianza superiores al 98%.
También hemos tenido casos de experimentación que han resultado negativos. En realidad esto es algo bastante común, Microsoft o Airbnb de cada 10 experimentos solo 1 o 2 confirman la hipótesis sobre la que se construyeron. Lo fundamental es que nos aportan más datos reales, nos ayudan a comprender por qué no se puede construir un producto, podemos ver si es necesario hacer cambios, iterar y acercarnos más a nuestros clientes al conocer mejor sus necesidades, comportamientos y tendencias de consumo.
Después de poco menos de un año, hemos logrado impulsar la toma decisiones basadas en datos, evolucionando hacia un cambio cultural que nos acerca cada día más al Data-Driven y nos aleja del peligroso Guata-Driven.⁴
De ahora en más, nuestra intención es continuar promoviendo esta cultura y evaluar la mejor forma de incluir experimentación en otros momentos asociados a la experiencia de viaje de nuestros pasajeros. Al mismo tiempo poder capacitar y democratizar este conocimiento en otras áreas de la compañía.
Estamos convencidos de que para cuidar que los sueños lleguen a su destino, tenemos que tener a los usuarios en el centro. Es clave conocerlos para tomar decisiones bien informados y, sobre todo, poner nuestros esfuerzos y recursos no en lo que podemos hacer, sino en lo que debemos.
Notas y referencias
¹ — Lean vs Agile vs Design Thinking: Lo que realmente necesitas conocer para construir productos digitales con equipos de alto rendimiento por Jeff Gothelf
² — Lean Analytics: Cómo utilizar los datos para crear más rápido una startup mejor por Alistair Croll, Benjamin Yoskovitz
³ http://tylervigen.com/spurious-correlations
⁴ Expresión coloquial en Chile para referirse al vientre de las personas o de los animales. En este contexto para hacer referencia a suposiciones o al famoso “yo creo que…”.
