Entendiendo al usuario con Amplitude

En Clevergy tenemos una cultura de datos muy fuerte. Desde el primer día, tanto el equipo de ingeniería como el de producto hemos considerado fundamental, instrumentar el producto y los sistemas para poder tomar mejores decisiones. Nuestra estrategia de datos se basa en dos patas principales: trazabilidad de los eventos de dominio e independencia en las consultas.En producto, registramos todos los eventos de dominio en BigQuery. Esto significa que todos los eventos de entidades de dominio de la plataforma quedan guardados en una base de datos. Gracias a este proceso, podemos revisar y auditar, todos los sucesos que ocurren dentro de los sistemas de Clevergy. Si tienes curiosidad, puedes leer sobre la parte técnica en este blog.

Además de guardar todos estos datos en BigQuery, hacemos que cada persona sea responsable de hacer sus propias consultas a BigQuery. Aunque aprender SQL tiene una curva de aprendizaje alta, todos los datos están al alcance de cualquier persona del equipo, y gracias a ello:

• Tenemos registrados todos los eventos de la aplicación, por lo que podemos auditar cualquier flujo de usuario
• Podemos entender el histórico de una métrica sin necesidad de pedirle a ingeniería que instrumente ese nuevo flujo
• Hay una fiabilidad del 100% entre los datos que analizamos y los datos que tenemos en las bases de datos operacionales.
• Está desacoplado de producción, una consulta que analice todo nuestro histórico, no afectará al rendimiento de producción.

La flexibilidad tiene un precio

Si estamos tan contentos con BigQuery, ¿por qué nos hemos planteado utilizar Amplitude?

BigQuery en sí no es una herramienta de analítica enfocada en el usuario. Es una base de datos que gestiona muy bien grandes volúmenes de información. En BigQuery, hacer consultas analíticas para entender cómo se está comportando la plataforma es fácil. Lo que no es fácil es relacionar eventos de la plataforma con comportamientos del usuario.

Podemos inferir un inicio de sesión en base a las peticiones de login y de carga de los módulos. Pero una vez cargada la información, ¿cuánto tiempo están? ¿5 minutos? ¿Qué pasó con las personas que se registraron la semana pasada en comparación con el mes pasado?

Cuando quieres hacer preguntas sobre el comportamiento del usuario, las consultas se van haciendo más complicadas.

Para ver la complejidad a la que me refiero, aquí podéis ver un análisis por cohortes que realizamos de los usuarios que se registran en la aplicación. Para poder hacer esta gráfica, el equipo de producto tuvo que invertir aproximadamente 8 horas y aun así no fuimos capaces de hacer que la consulta fuera flexible para filtrar una función del cliente.

Esto tiene las siguientes implicaciones:

• Dedicamos tiempo extra en algo que no aporta valor en sí (realizar una consulta para ver datos)
• Tiene una curva de aprendizaje alta, y no todo el equipo es capaz de evolucionar este tipo de consultas.
• Barrera alta para utilizar los datos. Conociendo el esfuerzo que llevaba sacar algunas conclusiones, al final no lo medíamos porque no era algo “prioritario” invertir ese tiempo en calcularlo.

Amplitude, el mejor complemento para BigQuery

Desde que nos dimos cuenta de que necesitábamos un refuerzo, empezamos a mirar diferentes opciones, y en concreto, el programa para startups de Amplitude.

Amplitude es una plataforma de analítica que nos permite asociar el comportamiento que tienen los usuarios en nuestra aplicación de una manera sencilla, con gráficas y análisis colaborativos, la mayoría ya creados.

Amplitude es una de las herramientas más reconocidas en el ámbito de analítica de datos para productos. Aun así, antes de implementarla por completo verificamos dos cosas que para nosotros eran esenciales:

• La primera, comprobar que resolvería el principal problema que teníamos: agilidad a la hora de responder una pregunta a nivel de negocio sobre cómo se comporta el usuario. Desde el tiempo de implementación por parte de desarrollo, hasta la creación del dashboard por cualquier persona del equipo.
• La segunda, confianza en el dato. Queríamos poder trazar las métricas y contrastarlas con la información de BigQuery para poder crecer con ambos sistemas. Para ello, analizamos que hubiese menos de un 1% de desviación en algunas métricas básicas como usuarios registrados y usuarios activos.

Para hacer todas estas pruebas, nos dimos de alta con el plan Starter ya que era suficiente para empezar a trabajar con la herramienta y verificar estos requisitos.

Primeros pasos en Amplitude

El equipo de Amplitude estuvo pendiente durante la implementación y nos ayudó a enfocar bien las pruebas. Para acometerlas, decidimos no captar toda la información por defecto que recoge el SDK de Amplitude, ya que genera muchos eventos que no eran relevantes para nuestros casos de uso.

En este sentido, Amplitude tiene una filosofía a la hora de hacer analítica distinta a la nuestra con BigQuery. Cuanto menos monitorices mejor. No hay una mejor que la otra, si guardas todo, es fácil realizar análisis nuevos y no tienes que esperar a captar datos. Por otro lado, monitorizar sólo los casos de uso que vas a usar hace que tengas menos entidades en la plataforma, haciendo el proceso de búsqueda mucho más sencillo.

Lo primero fue decidir qué casos de uso íbamos a medir, y trazar eventos específicos para ello. Así fue como, tras una semana definiendo los flujos y otra implementando las trazas en la herramienta, empezamos a tener los primeros datos.

La primera comprobación que hicimos fue intentar realizar el mismo análisis de cohortes de usuarios que teníamos en BigQuery y Looker Studio. Parecía magia, gracias a los análisis preparados de Amplitude tardamos dos minutos en hacerlo.

También hicimos algunas validaciones con éxito para comprobar la diferencia entre usuarios y sesiones entre ambas plataformas.

Es tentador querer implementar una herramienta así. Parece que, gracias a ella, todas las respuestas a tus preguntas aparecerán por arte de magia en la herramienta.

No obstante, la realidad es que el éxito no está en las respuestas, sino en las preguntas. Saber cuántos usuarios se meten todos los días en la aplicación, no te llevará muy lejos. Sin embargo, entender, qué patrones hacen que un usuario vuelva a la aplicación, sí.

Caso práctico: mejorando el funnel de onboarding

Uno de los proyectos que hemos realizado con Amplitude desde que empezamos ha sido optimizar el funnel de onboarding.

En Clevergy, necesitamos datos personales de cada usuario para tener acceso a los datos de consumo de su casa, además de otros datos como (personas que viven en casa, metros cuadrados, electrodomésticos…) con el objetivo de ofrecerle el mayor partido a la aplicación.

Esto supone un gran reto en el onboarding, cuantos más datos pedimos, mayor es el valor que aportamos al usuario, pero menor es la conversión.

Hasta la fecha, este flujo de onboarding lo habíamos analizado teniendo como objetivo el acceso a los datos del usuario. Con este objetivo en mente, hemos conseguido en los últimos meses aumentar la conversión de un 30% a un 78%.

Pero ¿cuántos de esos usuarios vuelven a la aplicación en un rango de 24 horas después de que tengamos acceso a sus datos? Decidimos medir el flujo en Amplitude y a la semana, empezamos a observar las primeras respuestas.

¡Un 5%!

Nos habíamos enfocado tanto en mejorar la conversión del acceso a datos, que se nos había olvidado que la conversión que realmente importa es mostrarle esos datos al usuario.

Las buenas noticias son, que este resultado era esperado, ya que habíamos visto proporciones similares entre los usuarios que completaban su registro y aquellos que volvían a la aplicación.

La primera idea que se nos ocurrió parecía evidente: reducir el tiempo de acceso a los datos del cliente. No podemos conseguir que los usuarios accedan a la aplicación en menos de 24 horas, si no somos capaces de acceder a esos datos en ese tiempo. Este comportamiento es por un motivo técnico. No podemos dar de alta a un usuario mediante un servicio API. Por lo tanto, dar de alta al usuario en tiempo real quedaba descartado. Al final encontramos una solución poco convencional, usando distintas herramientas. Después de probar con varias soluciones hemos sido capaces de reducir ese tiempo de acceso a 3 minutos de media.

Desgraciadamente, al implementar este cambio comprobamos que los usuarios no volvían… Para cuando teníamos acceso a los datos, el usuario había cerrado la aplicación y se había olvidado de nosotros.

¿Qué podíamos hacer para que ese usuario no se fuera?

Alargar el onboarding. Mantener la atención del usuario dentro de la aplicación para que nos diera tiempo a acceder a sus datos y poder mostrarle su información.

Esas pantallas cumplían dos funciones:

• Explicarle al usuario que esperar antes de utilizar la aplicación para acelerar su proceso de onboarding
• Solicitarle información al usuario para personalizar su experiencia

Es importante destacar, que ya habíamos comprobado que la tasa de usuarios activos aumentaba de un 17% a un 57% en usuarios que completaban información como el perfil de su casa dentro de la aplicación, por lo que incluir este paso en el onboarding parecía obvio.

Resultados

La conversión al terminar de validar este nuevo flujo aumentó al 24,7%.

Aunque esto es solo el principio y la muestra no sea tan grande, la idea de este artículo no es mostrar cuánto ha mejorado el número, sino contar abiertamente cómo Amplitude nos ha ayudado durante todo este proceso de reflexión y pruebas.

Además, no solo hemos podido obtener muestras absolutas del funnel, sino que además obtenemos otro tipo de información valiosa que nos permite realizar nuevas hipótesis, como por ejemplo:

El tiempo que tardaba el usuario en completar el perfil con los datos de su casa.

O la posibilidad de crear cohortes y medir la diferencia de retención entre los usuarios que se registraron con el nuevo onboarding y el antiguo.

Sin duda, esta facilidad y agilidad para de responder a preguntas sobre cómo se comportan los usuarios ha supuesto un gran avance en la cultura de datos de Clevergy.

El impacto con el rediseño de la aplicación ha sido enorme. No solo por haber aumentado la conversión entre registro y primera sesión útil del usuario sino por dos aprendizajes que no habríamos sido capaces de medir sin Amplitude:

• Aumentando el proceso de onboarding, disminuimos el porcentaje de registros completados, pero las personas que terminaban el registro estaban más preparadas para usar la aplicación. Esto tuvo como consecuencia un aumento en el número neto de personas que acaban visitando la aplicación.
• Cuando solo analizas un funnel a través de trazas y te abstraes del proceso que realiza el usuario en tu aplicación, tiendes a optimizar métricas que no son importantes, como reducir el tiempo de registro o aumentar el número de registros completados.

Claves que hemos aprendido durante el camino

Durante el camino de implementación de Amplitude hemos encontrado aspectos positivos y negativos. Por eso, antes de terminar, quiero compartir algunas lecciones que hemos aprendido en el proceso.

Definir un caso de uso en vez de medir todo

En el pasado he probado varias herramientas de analítica, por lo que tengo claro que cuando tienes acceso a todo lo que ocurre en tu aplicación, se genera mucho ruido que dificulta encontrar lo que quieres.

Con esta premisa decidimos probar Amplitude sin medir todo. Pensamos qué casos de uso concretos queríamos medir y a partir de ahí, trazamos los eventos necesarios desde nuestra aplicación.

Esto no solo hizo la herramienta más útil, sino que nos dio más confianza en el dato, ya que son eventos que controlábamos al 100%, tanto para crear nuevos como para modificar lo que no cuadraba.

Planifica tiempo para generar un histórico

Por otro lado, esta virtud nos generó conflicto. Cuando planteas hipótesis necesitas datos, y con Amplitude hemos tenido que esperar para recoger datos.

Aunque puedes importar datos de varias fuentes, quizá sean casos de uso nuevos, por lo que no esperes usar Amplitude al instante.

En nuestro caso necesitamos un mes para recoger datos y hacer estos gráficos y comparaciones.

Involucra al equipo de desarrollo para una correcta implementación

Tanto al principio de la implementación, como para definir nuevos eventos o depurar alguna métrica que no se esté midiendo bien, hemos necesitado una ayuda continua del equipo de desarrollo.

En nuestro caso, las ventajas de Amplitude están por delante a las desventajas, pero sí que hay que tener en cuenta que vas a necesitar recursos técnicos para medir bien. Esto implicar dedicar tiempo a definir requisitos, planificar el desarrollo y esperar un tiempo para recoger datos que te permitan decidir.

La curva de aprendizaje por parte de producto es muy buena

A diferencia de otras herramientas, Amplitude ha sido muy sencillo de aprender a utilizar. Además, cuenta con multitud de plantillas que te ayudan a saber cómo puedes sacarle el máximo potencial a la herramienta.

Esto fue un gran punto a favor para nuestra empresa, ya que cuando usábamos BigQuery y Looker Studio, muchos de los gráficos eran complejos a nivel de SQL, y no todas las personas del equipo están capacitadas para realizarlos o entenderlos.

Ahora cualquier persona del equipo puede entrar en Amplitude y crear su propio análisis.

Próximos pasos en Clevergy

En este artículo hemos mostrado cómo Amplitude nos ha ayudado a mejorar el funnel de onboarding de nuestra aplicación, y cómo esta herramienta ha impulsado nuestra cultura de datos y nuestro aprendizaje.

Creemos que Amplitude es una herramienta muy útil para cualquier empresa que quiera basar sus decisiones en datos, y por eso recomendamos su uso a otros equipos del sector. Además, nos gustaría seguir explorando otras funcionalidades de Amplitude que nos permitan medir otros aspectos de nuestra aplicación, como la satisfacción del usuario, el engagement o la fidelización.

Amplitude nos ha permitido obtener los datos de comportamiento de nuestros usuarios con más agilidad, y mejorar nuestra aplicación y su experiencia de uso. Lo que más me ha gustado de este proceso es que nos ha motivado a basar todas nuestras hipótesis y épicas de producto en datos. Ahora nadie tiene excusa para no entrar en Amplitude, sacar sus conclusiones y compartirlas con el equipo.

Esperamos que este artículo te haya resultado interesante y útil, y que te anime a medir más en tu propio producto.