12 cosas a tener en cuenta antes de trabajar con datos y analíticas web

(Preparé una versión inicial de este texto para el curso Analytics para Periodistas que di para el programa del Knight Center Journalism for the Americas a principios de 2018. Desde entonces, lo he corregido y aumentado en varias oportunidades).

Buena parte de mi vida la he pasado trabajando con datos y analíticas web. Aquí algunas de las cosas que he aprendido y que me gustaría compartir:

1- Si no tienes ninguna buena pregunta, no esperes de los datos ninguna buena respuesta.

Todo se debería empezar con un par de preguntas simple: “¿Qué quiero saber?” y “¿Qué quiero lograr”? Una de los aprendizajes más importantes que nos da el trabajar con datos es que las preguntas son más importantes que las respuestas.

Si no tenemos claro qué es lo que estamos buscando, va a ser casi imposible encontrarlo. En la práctica esta falta de guía puede hacer que terminemos inundados con métricas, indicadores y resultados que no necesitamos y que, al final del día, no sabemos qué quieren decir ni qué utilidad podemos extraer de ellos.

2- Conocer las limitaciones de los datos.

A veces, aunque tengas una buena pregunta, no necesariamente vas a optener respuesta.

En primer lugar, porque la data no tiene todas las respuestas. Bien utilizada, puede ser muy buena para contarte qué es lo que pasó, pero rara vez te va a decir por qué. El por qué tal vez pueda responderse con una combinación de intuición, y conocimiento previo que te ayude a interpretar lo que los datos parecen decir.

La data por otra parte no es infalible. Es una creación humana, no una entidad divina, y por lo tanto es susceptible a errores, sesgos o parcialidades.

3- Los datos no hablan por sí solos.

No hay que creer a nadie que diga que trabajar con analytics “ es tan simple como poner un pedazo de código en una página web” o con usar Herramienta X o Heramient Z.

Trabajar con datos analíticos no es una tarea simple en tanto hay diferentes estadíos envueltos, cada uno con su propia complejidad:

• Recolección
• Almacenamiento
• Análisis e Interpretación
• Toma de decisiones e intervención

La realidad es que para que los datos hablen tiene que haber un equipo con el conocimiento adecuado, tanto de los aspectos técnicos requeridos para trabajar con datos como de los objetivos de la organización, para poder hacer un trabajo consistente y sostenido en el tiempo.

4- No hay ninguna métrica que sea “la métrica”.

No hay consenso en cuál es la mejor métrica ni lo va a haber.

La realidad es que la elección de las métricas depende de lo que queremos saber y del rol de nuestra organización.¿Cuál es su objetivo fundamental? ¿Cuál es su modelo de negocios? Si no tengo esto claro previamente será muy difícil determinar cuáles son las métricas que deberemos seguir y será imposible poder seleccionar la métrica Clave de Performance (la más importante de todas):

Veamos el caso de dos empresas de contenidos digitales:

• Empresa A que vive de la publicidad.
• Empresa B que sólo vive de las suscripciones de sus lectores.

Para Empresa A el número de páginas o videos vistos va a ser muy importante porque está relacionada a una métrica que es importante: el número de publicidades o anuncios que vamos a poder mostrar. Es por eso que a partir de esta métrica clave de performance (KPI, Key Performance Indicator, en inglés) se mirará todo: desde las performance de los artículos, de los temas y de los escritores.

Para Empresa B: el número de suscriptores pasa a ser su métrica más importante, su KPI (Key Performance Indicator), en tanto sus ingresos y, por ende su supervivencia, viven de ello. Los pageviews ya no son tan importante. Pero pasa a ser importante otras cuestiones. Por ejemplo, ¿Cuál es el contenido o autor que me permite generar más suscriptores nuevos?

Y los ejemplos que vimos son a nivel general. Dentro de cada una de estas organizaciones, a su vez, se necesitará trabajar con otras métricas y dimensiones más pertinentes para el problema que se busca explicar o resolver.

5- Ningún sistema analítico te dirá dónde tienes que ir.

Los datos pueden ayudarnos a tener un panorama más claro de lo que está pasando, también pueden ayudarnos a entender si lo que estamos haciendo funciona o no, pero los datos nunca podrán decirte cuál es la estrategia correcta que debes elegir, ni cuáles deberían ser tus objetivos, ni decirte cuáles de las cosas que no estás haciendo deberías empezar a hacer. Esa es una decisión de la organización o del creador de contenidos.

Los datos, sí pueden ayudarte a tomar esa decisión. A decidir adónde, entre todas las opciones posibles, ir. Por ejemplo, si ya tienes el grueso de tu audiencia que te visita de manera directa, valora tu contenido y vuelve frecuentemente, esto puede ser un punto a considerar para definir una estrategia de largo plazo como lanzar un programa de suscripciones. También podrá, a posteriori, decirte si estás en la dirección correcta.

Pero la dirección la tiene que definir la organización o el que crea los contenidos, no los datos.

6- La analítica está, al mismo tiempo, subutilizada como práctica, pero, sobrevalorada en su potencial.

Todos dicen que lo hacen y mucho, pero en la práctica hay una subutilización. En el caso de los productores de contenido, recién en los últimos tiempos se ha empezado a desarrollar el campo de analíticas editoriales, que va dando lugar al desarrollo de métricas más pertinentes y a servicios analíticos especializados (Parsely, Chartbeat, Content Insights, IO Analytics y otras).

7- La voluntad de la organización es más importante que la herramienta analítica que utilizamos.

Uno de los mitos más grandes que tienen muchas organizaciones es que al adoptar la tecnología X o Z van a vivir un antes y un después. Las expectativas que se suelen montar son tan grandes e irreales, como la desilusión que le sigue.

La verdad es que ninguna tecnología de analíticas web por si sola va a solucionar nuestras necesidades de información ni nos va a transformar en una empresa que ama trabajar y experimentar con datos. Y esto es así porque en general las tecnologías son bastante standard, casi commodities, comparables entre sí, pero sobre todo, porque la razón más importante no es de orden tecnológico sino cultural. Y si la cultura de la organización no valora ni promueve la toma de decisiones basadas en datos, da lo mismo si la herramienta que utilizamos es X o Z.

8- Si la data sólo va para servir para confirmar aquello que creemos que ya sabemos e ignorar todo el resto, no hay necesidad de trabajar con datos.

Muchas profesionales consideran que conocen a la audiencia a la perfección: lo que les interesa, cuándo les interesa y de qué manera. Para ellos la data sólo servirá para confirmar lo que piensan o, en el caso de ser algo contrario a lo que creen, simplemente para descalificarla. Si usted tiene la suerte de ser uno de estos personajes o tiene uno en su organización, ahórrese todo desarrollo porque ya tiene todas las respuestas…

Al final del día hay que aprender a amar la data que no confirma lo que ya sabemos, porque esta es la nos pemitirá aprender y superarnos.

9- Tener más datos no es necesariamente mejor.

Muchas veces creemos que más es mejor y que, por lo tanto, mientras más información juntemos mejor será. Esto se manifiesta en el día a día en reportes o en tableros de control que tienen muchas métricas escogidas “por si acaso”, “porque quizás a alguien le interesa” o “porque la herramienta ya la trae por default” y que, al final, nadie mira.

La verdad es que lo idea el es trabajar con la menor cantidad de métricas y variables, solo las que son necesarias para responder la pregunta que tenemos entre manos.

10- Tener monitor de TV en la sala de redacción con métricas en tiempo real no significa que seamos una organización que se maneja con datos.

No me malinterpreten, tener un monitor para que todos puedan monitorear en tiempo real la evolución de una métrica clave (KPI) puede ser muy útil para generar unidad y alinear equipos. Pero para eso es primero necesario que la organización en su conjunto sepa qué representan las métricas que están en ese monitor y cómo leerlas. Si no, el monitor será algo que está ahí como parte del decorado, como un cuadro, al que nadie le presta demasiada atención, solo para dar la impresión a visitantes externos que esta es una organización que escucha lo que está pasando.

11- Cuidado con las métricas que tienen el mismo nombre: Existen tantas definiciones de métrica como sistemas de medición.

Así como no existe una métrica que sea la mejor, no existe una sola definición de métrica aunque, nominalmente, se llamen igual en diferentes sistemas.

Una de las primeras precauciones que tenemos que tener en cuenta es, entonces, entender qué está midiendo exactamente la métrica con la cual queremos trabajar. Esto es fácil decirlo, pero es muy fácil pasarlo por alto.

Muchas veces creemos que sabemos qué significa una métrica o creemos saberlo porque la métrica parece nominalmente familiar a un término que usamos en el lenguaje cotidiano. Tomemos por ejemplo una de las métricas más conocidas: usuario. Parece sencillo, ¿no? Muchos creemos que un usuario es igual a una persona lo cual puede ser cierto… en algunos casos. Pero hay muchos casos en que no.

Veamos algunas discrepancias en torno a lo que se entiende por usuario para ver la complejidad que un término en apariencia simple trae aparejado.

Los sistemas de analíticas web más conocidos como Google Analytics o Adobe Analytics incluyen la métrica de usuarios. Lo que estos sistemas están registrando cuando hablan de usuarios no son personas sino, en realidad, browsers o navegadores, a partir de una cookie que se guarda en cada dispositivo. Si yo, usando mi computadora personal y el navegador navegador Chrome voy a ser un usuario. Si, acto seguido, visito con la misma computadora, pero en este caso con el navegador Firefox, a pesar de que soy la misma persona y la misma computadora, voy a ser para este sistema analítico dos usuarios únicos distintos. Si luego utilizo mi teléfono y visito el mismo sitio la cuenta de usuarios únicos asciende a tres.

Para Facebook, entretanto, un usuario no es un browser sino un perfil. Aquí no importante con qué dispositivo estoy accediendo sino que, mientras navegue logueado con la misma cuenta, voy a ser el mismo perfil. Pero a su vez, la misma persona puede crearse un perfil diferente….

Comscore también utiliza la métrica “usuario”. Y, por supuesto, es dferente a las mencionadas anteriormente. En este caso su aspiración es a que un usuario equivale a una persona pero la metodología de recolección es completamente distinta al ser un sistema de tipo panel (en el cual a partir de una muestra de la población, extrapolo resultados a su conjunto).

Para hacer corta una historia larga, ninguna métrica significa lo mismo y es esencial saber qué es lo que esa métrica apunta a medir antes de empezar a recolectar o analizar información.

12- Los datos pueden ser muy buenos para decirte qué funcionó en el pasado, pero no te dirán que pasará en el futuro.

Uno de los peligros más frecuentes es que, al analizar lo que funciona en el pasado, creamos que este modelo se repetirá al infinito. En el caso de los creadores de contenidos, esto es especialmente sensible, ya que termina direccionando la producción a “hacer más de lo mismo” una y otra vez, repitiendo esquemas, temáticas, personajes o fórmulas que funcionaron un tiempo pero que no son garantía de éxito futuro.

En este sentido, así como veíamos que no podemos esperar de las analíticas que nos dicten que estrategia seguir, no podemos esperar que los datos de ayer nos digan qué producir en el día a día de manera infalible. Esto no implica que no nos puedan a ayudar a tomar mejores decisiones sobre qué funciona o ayudarnos a predecir. Sin duda pueden hacerlo, pero hay que ser bien consciente de sus limitaciones.