Series de tiempo: ¿qué dicen los usuarios?
Los usuarios nos contaron cómo trabajan, qué mejoró con el uso de la API y qué cosas se pueden mejorar.
Algunos números
Se realizaron casi 2 millones y medio de consultas a la API hasta el 19 de Septiembre de 2018. Las 10 series más consultadas se llevan casi la mitad del total, mientras que las primeras 100 series superan el 80% de las consultas. Sin embargo, prácticamente la totalidad de las series ha recibido consultas en los primeros 9 meses del servicio.
Las primeras 5:
- IPC Núcleo. Base abr 2016. Mensual
- Tipo de Cambio BNA (Vendedor)
- Índice de Tipo de Cambio Real Multilateral
- EMAE. Base 2004
- IPC Nivel General. Base abr 2016. Mensual
¿Cuánto valor le aportaron a los usuarios esas 2 millones y medio de consultas? ¿Cómo las hacían antes de tener la API? ¿Realizan ahora consultas que antes no hacían? ¿Se redujo el costo de trabajar con estos datos? ¿Dónde se puede reducir aún más o mejorar la experiencia en otros aspectos?
¿Cómo hablar con los usuarios?
Para empezar a responder todas estas preguntas, necesitábamos diseñar cómo hablar con los usuarios. Incluso para un usuario reflexivo, no es fácil responder esas preguntas en un tiempo breve, de una manera comparable, sin recomponer los pasos de su trabajo diario de una manera ordenada.
Así es como en el marco del Laboratorio de Gobierno Argentino (LabGobAr) diseñamos una entrevista donde les pedíamos a los usuarios describir y cuantificar una serie de pasos para completar tareas de creciente complejidad, usando series de tiempo.
- Tiempo total: 45 minutos.
- 3 escenarios de creciente complejidad, en cantidad y variedad de series requeridas, como por ejemplo:
“Necesitás realizar un nuevo informe que vas a actualizar mensualmente, en donde deberás seguir la evolución de un indicador (por ej., el IPC o el EMAE), para los últimos 12 meses”
- 17 pasos disponibles para usar en la reconstrucción del flujo de trabajo tal como era antes de usar la API, y después (pudiendo agregar pasos diferentes, si fuera necesario).
- Se les pidió cuantificar en tiempo el costo de cada paso, e identificar mejoras (API vs. situación base) y puntos de dolor antes y después.
Lo que la API mejoró
Durante la entrevista los usuarios identificaron mejoras directamente generadas por el uso de la API y otras indirectas, causadas por la reasignación del tiempo desde tareas intensivas en mano de obra y bajas en valor agregado hacia tareas de mayor valor agregado.
Mejoras Directas:
- Buscar series. Algunos usuarios encontraron más fácil buscar series, teniendo un Excel que lista 20 mil de ellas y sus metadatos.
- Acondicionar y limpiar los datos. Todos los usuarios coincidieron en que las tareas de limpieza y acondicionamiento de datos se reducen drásticamente con la API.
“Me lo baja en CSV así que ya ahí lo tengo super limpio y puedo hacer lo que quiero” dice una analista de datos de la Administración Pública Nacional.
- Actualizar los datos. Los usuarios coincidieron también en que el costo de actualizar las mismas consultas para repetir un informe similar, es otra de las grandes ganancias de la API.
“Te ahorrás mucho tiempo en bajar todo lo que necesitás para actualizar el reporte. Es tiempo que ganás, cuantas más cosas uno pueda automatizar de lo que hace mejor” dice un analista de una consultora.
Indirectas:
- Más tiempo para el análisis. Si bien la API no facilita directamente el análisis de los datos, la mayoría de los entrevistados hizo hincapié en la satisfacción de poder incrementar el tiempo destinado a analizar datos en lugar de buscarlos, descargarlos y limpiarlos.
“Actualizar los datos sin esto, es la muerte de los pasantes. Lo mejor es que el junior se puede dedicar a entender más el análisis y reducir los tiempos de las peores tareas, que no tienen nada de valor agregado” dice un investigador de un centro de estudios.
Lo que todavía debe mejorar
Las entrevistas dejaron claro que la inversión en la calidad y documentación de los datos es uno de los puntos claves de la API de Series de Tiempo pero todavía existen pasos difíciles en su uso.
- Armar la llamada a la API. Casi todos los usuarios coincidieron en que armar las llamadas a la API por primera vez no es sencillo.
“El costo fijo que te lleva armar la primera vez, armarte el Excel que tome los datos de la API o el R o lo que sea, es el costo más alto”
- Buscar las series. Algunos usuarios no encontraron práctico buscar las series en el catálogo consolidado, preferían buscarlas en Google o incluso tomar los ids de las series de los tradicionales Excels de Información Económica al Día. Se señaló que una experiencia web de búsqueda facilitaría este aspecto, y que las distintas actividades que requiere la búsqueda de la serie adecuada incluyen la necesidad de descargar los datos y hacer gráficos para comparar y elegir.
- Automatizar los procesos para aprovechar el uso de la API
“Uno también se tiene que acomodar a la API para tratar de automatizar lo más posible” “La primera vez puede tardar hasta 8 horas de trabajo armar las consultas, pero después ya está.. es una inversión”
También se les consultó por otros aspectos que dificultan el uso de la API o que podrían mejorarse más allá de los pasos planteados en el ejercicio.
- Nuevas fuentes de datos. La flexibilidad de la API para cruzar datos de distintas fuentes fue algo valorado por los usuarios, pero esto los llevó a desear que otros organismos publicaran series de tiempo en este formato.
“Me gustaría que Series E del Banco Central esté en la base” “Lo mismo con los reportes del BCRA que sube en Excel”
- Tiempos de actualización. Algunos usuarios necesitan los datos en la API en el menor tiempo posible desde que se hacen públicos en la fuente original, como quienes hacen informes de coyuntura ante la salida de un indicador.
- Confiabilidad de los datos de la API. La distancia con la fuente debería ser acortada. Se sugirió sumar links a la fuente original, mostrar en forma destacada el último dato (permite un rápido control del usuario para saber si esta es la serie que está buscando).
“Es un problema no confiar: ‘¿esto estará igual que en la fuente original?’ Sobre todo los que hacen trabajo de coyuntura profunda. Hay un intermediario entre tu fuente original y vos”
- Curva de aprendizaje. Varios señalaron que es difícil aprender a usar la API, y que en su oficina con “champions” en su uso para sus compañeros. Hace falta el desarrollo de otros elementos de documentación y desarrollos que faciliten y acorten la curva de un usuario para aprender a usar el servicio.
“Por ahora soy el único que usa la api en el laburo, los otros usan Excel, pero yo armo las consultas para todos y las usan desde ahí”
- Entender qué serie elegir. Algunos términos son difíciles de entender al principio. Agregar una indicación de la popularidad de una serie puede ser útil para saber cuál elegir (“dentro de todas las del IPC, probablemente la más consultada por el resto sea la que yo quiero también”).
Cuantificar el impacto
Las entrevistas dejaron devoluciones cualitativas muy útiles, pero también permitieron sentar las primeras bases para una evaluación cuantitativa del impacto generado por el uso de la API.
Se verificó en todos los entrevistados que hubo ahorros de tiempo significativos en el costo de ejecutar cada una de las tareas, a partir del uso de la API. Dependiendo del entrevistado y de la complejidad del escenario, los ahorros identificados van desde 7 a 167 minutos por escenario o consulta.
Para ilustrar la diferencia: el ahorro en tiempo de armar una tabla con varias series de fuentes distintas, se estimó un 70% más alto que el de armar una tabla con varias series de la misma fuente. Si comparamos contra el ahorro de armar una tabla con una sola serie, el ahorro en el escenario más complejo es entre el doble y 6 veces más alto.
Este resultado abre la posibilidad de realizar una estimación del impacto económico directo generado por el uso de la API. Para esto es necesario elaborar criterios que permitan segmentar las consultas y asignarles un valor económico. Esto no es, sin embargo, una tarea fácil.
El origen de nuevo valor agregado podría dividirse en dos casos:
- Ahorro de tiempos sobre consultas que ya se hacían antes y ahora se pueden hacer más eficientemente.
- Generación de consultas nuevas, que antes no se hacían porque su costo anterior era más elevado que su valor. Ahora se hacen porque el costo ha bajado.
Luego es distinto el valor que cabe asignarle a las consultas realizadas por analistas (donde las entrevistas realizadas facilitan un criterio de valuación donde la consulta genera un ahorro de tiempos) respecto de las realizadas por programadores que desarrollan rutinas para integrar las consultas en otros sistemas.
En este último caso, resulta más difuso cómo debe compararse la situación “sin API” respecto del valor agregado nuevo que sólo es posible “con API”. Estos son, sin embargo, algunos de los casos más interesantes.
Lo que sigue en la hoja de ruta
Medir el impacto económico del uso de servicios de datos es indispensable para comunicar mejor el valor de desarrollarlos y escalar las iniciativas en esta dirección.
Entrevistar a los usuarios es vital para potenciar el desarrollo de un ecosistema de aplicaciones basadas en servicios de datos, que estén orientadas a optimizar y ampliar la experiencia del uso de datos públicos, bajando cada vez más los costos de usarlos.
Hace menos de un mes, lanzamos una de ellas: el Explorador de Series de Tiempo, que apunta a facilitar la búsqueda, visualización y comparación de series, así como la generación de consultas a la API y la posibilidad de compartirlas con otros.
Durante el próximo año, queremos trabajar cada vez más en esos puntos que los usuarios de datos nos piden mejorar.
Mientras tanto, frases como estas nos dan el entusiasmo y la energía para seguir desarrollando:
“Yo como que cuando lo tengo que hacer con la API lo super disfruto: digo ‘qué bueno’”
“En 2 años todo el mundo va a estar usando esto”
