¿Por qué Big Data necesita Thick Data?
Traducido por Paz Bernaldo.
Publicado originalmente el 13 de mayo de 2013 en Etnography Matters, estoy re-publicando este artículo para el nuevo canal en Medium de Etnography Matters. He actualizado este artículo con un estudio de caso que refiere al tiempo que pasé trabajando para Nokia, tiempo durante el cual fui testigo de la excesiva dependencia de esta empresa en datos cuantitativos. Continúa impresionándome que el artículo original de 2013 haya provocado tal discusión acerca de la integración de los thick data o datos espesos, y los big data o datos masivos. Desde entonces, he hablado de la necesidad de integrar los datos masivos y los datos espesos en conferencias tales como EPIC y Strata. Y en 2015, al pronunciar el discurso de cierre en la conferencia Republica, Cómo Evitar las Maldiciones en la Era de los Datos Masivos, amplié este artículo al volver la mirada hacia los orígenes modernos de la valoración de los números por sobre las historias. Apenas el año pasado, Word Spy creó una entrada para datos espesos, haciendo referencia a mi artículo original como el hito de resurgimiento del término. En el futuro seguiré escribiendo más sobre este tema. Así es que como siempre, por favor contáctame si este trabajo es relevante para ti. En lo que vine, quisiera crear más oportunidades para mostrar a personas que están haciendo este tipo de trabajo integrador dentro de sus organizaciones. Mil gracias a Paz Bernaldo por traducir la version inglés a espańol. Y gracias a Elyssa He de IDEO por traducir este artículo al chino, 大 数据 离不开 “厚 数据”, publicado en 36kr. Además, si deseas unirte a una comunidad de personas que están a la cabeza de este tipo de trabajo, crea una cuenta en Etnografía Hangout Slack y únete al canal #datatalk y #hola-speak-spanish.
Cuando investigaba a Nokia en 2009, que en aquel entonces era la empresa de telefonía celular del mundo con mayor presencia en economías emergentes, descubrí algo que yo creía desafiaría su modelo de negocio. Después de años de llevar a cabo trabajo etnográfico en China, desde vivir con inmigrantes a trabajar como vendedora ambulante y vivir en cafés internet, pude observar un montón de indicadores que me llevaron a concluir que consumidores de bajos ingresos estaban de hecho dispuestos a pagar por teléfonos inteligentes más caros.
Así, llegué a la conclusión de que Nokia necesitaba reemplazar la que entonces era su estrategia de desarrollo de productos y que se enfocada en producir teléfonos inteligentes caros para usuarios de élite, por una estrategia de producción de teléfonos inteligentes asequibles para usuarios de bajos ingresos. Informé mis conclusiones y recomendaciones a la sede central. Sin embargo, Nokia no supo qué hacer con mis resultados. Dijeron que el tamaño de mi muestra de 100 era débil y pequeño en comparación con su tamaño de muestra de varios millones de puntos de datos. Además, Nokia señaló que ellos no observaban ninguna señal de la presencia de mis descubrimientos en sus bases de datos ya existentes.
En respuesta, les dije que tenía sentido el que no hubiesen visto ninguno de mis datos aparecer en sus bases de datos cuantitativos porque su noción de demanda correspondía a un modelo cuantitativo estático que no lograba mapear cómo la demanda trabajaba como modelo cultural en China. Lo que es medible no es lo mismo que lo que es valioso.
A estas alturas, todos sabemos lo que le pasó a Nokia. Microsoft compró la compañía en 2013 y hoy Nokia posee sólo el tres por ciento del mercado mundial de teléfonos inteligentes. Hay muchas razones para la caída de Nokia, pero una de las más grandes, y que pude observar en persona, fue que la empresa se basó demasiado en los números. Pusieron un valor más alto en los datos cuantitativos, no sabiendo cómo manejar datos que no eran fáciles de medir, y que no aparecían en los informes existentes. Lo que podría haber sido su inteligencia competitiva terminó significando su eventual caída.
Desde mis años en Nokia, he permanecido perpleja frente al por qué las organizaciones valoran más los datos cuantitativos que los cualitativos. Con el auge de los datos masivos, he visto la intensificación de aquella valoración, con organizaciones invirtiendo en tecnología de datos masivos, mientras que disminuyen sus presupuestos para investigación centrada en el humano. Estoy profundamente preocupada por el futuro del trabajo cualitativo, etnográfico, en esta Era del Big Data.
El trabajo etnográfico se enfrenta a un grave problema de percepción en un mundo impulsado por los datos. Aunque siempre he integrado el análisis estadístico con mi trabajo cualitativo en el ámbito académico, me encontré por el contrario con un montón de escepticismo sobre el valor de los datos derivados del trabajo etnográfico al comenzar a trabajar principalmente con corporaciones. Empecé a escuchar ecos de lo que habían dicho los líderes de Nokia sobre mi conjunto de datos: que los datos etnográficos son “pequeños”, “petite”, “insignificantes”. ¿Qué debemos hacer los etnógrafos cuando nuestra investigación es vista como insignificante o sin valor? ¿Cómo puede nuestro tipo de investigación ser vista como tan valiosa como la investigación de datos procesados mediante algoritmos? Para resolver este problema de percepción, los etnógrafos necesitan tener a la mano un “discurso ascensor” de 10 segundos para ser presentado en una habitación repleta de científicos de datos.
Debido a la falta de palabras conceptuales para posicionar rápidamente el valor del trabajo etnográfico en el contexto de los datos masivos, en el último año he comenzado a emplear el término Thick Data o datos espesos (¡haciendo un guiño a Clifford Geertz!) para abogar por enfoques de investigación integradores. Los datos espesos son datos sacados a la luz usando métodos de investigación cualitativa, etnográficos, que ponen de manifiesto las emociones, historias y modelos de mundo de las personas. Es aquella sustancia pegajosa que es difícil de cuantificar. Viene a nosotros en la forma de una pequeña muestra y a cambio obtenemos una increíble profundidad de significados e historias. Los datos espesos son lo contrario a datos masivos, que son datos cuantitativos a gran escala y que implican el uso de nuevas tecnologías para capturarlos, almacenarlos y analizarlos. Para que los datos masivos puedan ser analizables, se debe utilizar la normalización, la estandarización, la definición, el agrupamiento, todos procesos que despojan al conjunto de datos de su contexto, significado e historias. Los datos espesos pueden rescatar al Big data de la pérdida de contexto que resulta de los procesos de hacer utilizables a los datos masivos.
Integrar Big Data y Thick Data proporciona a las organizaciones un contexto más completo en cualquier situación dada. Para que las empresas puedan formarse una imagen completa, necesitan tanto datos masivos como datos espesos, puesto que cada uno de ellos produce diferentes tipos de conocimientos a distintas escalas y profundidades. Los datos masivos requieren de un gigantesco N (tamaño de la muestras desde la que se recolectan datos) para descubrir patrones a gran escala, mientras que los datos espesos requieren de un pequeño N para ver en profundidad los patrones centrados en el humano. Los datos espesos se sostienen sobre el aprendizaje humano, mientras que los datos masivos se basan en el aprendizaje de máquinas. Thick Data revela el contexto social de las conexiones entre puntos de datos, mientras que Big Data revela conocimientos con un rango específico de puntos de datos cuantificados. Técnicas de datos espesos aceptan la irreductible complejidad, mientras que las técnicas de datos masivos aíslan variables para identificar patrones. Los Datos Espesos pierden escala, mientras que los Datos Masivos pierden resolución.
A CONTINUACIÓN: PRECAUCIÓN
A medida que el concepto de Big Data se ha convertido en la principal corriente, muchos profesionales y expertos han advertido a organizaciones que adopten datos masivos de manera equilibrada. Muchos investigadores cualitativos, desde Genevieve Bell a Kate Crawford y Danah Boyd, han escrito ensayos sobre las limitaciones de los datos masivos desde la perspectiva de Big Data visto como persona, como ilusión algorítmica, como fundamentalismo de datos, y en función a la preocupación por la privacidad, respectivamente. Los periodistas también se han sumado a la conversación. Caribú Honig defiende small data, Gary Marcus advierte sobre las limitaciones de inferir correlaciones, Samuel Arbesman nos llama a movernos hacia long data. Jenna Burrell, por su parte, ha desarrollado una guía destinada a los etnógrafos, para comprender aquello de Big Data.
Dentro de las organizaciones los datos masivos pueden ser peligrosos. Steven Maxwell señala que “las personas están quedando atrapadas en el lado cuantitativo de la ecuación más que en la calidad de las ideas de negocio que los métodos analíticos pueden desenterrar”. Más números no necesariamente producen más conocimientos.
Otro problema es que los datos masivos tienden a poner un valor enorme en los resultados cuantitativos, mientras que se devalúa la importancia de los resultados cualitativos. Esto conduce a la peligrosa idea de que los datos estadísticamente normalizados y estandarizados son más útiles y objetivos que los datos cualitativos, reforzando la noción de que los datos cualitativos son datos pequeños.
Estos dos problemas, combinados, refuerzan y empoderan décadas de toma de decisiones en la gestión empresarial basada únicamente en datos cuantitativos. Los consultores en gestión empresarial han durante mucho tiempo trabajado con datos cuantitativos para crear empresas más eficientes y rentables.
Sin contrapeso, sin embargo, el riesgo en un mundo de datos masivos es que las organizaciones e individuos comiencen a tomar decisiones y optimizar su rendimiento en función de las métricas -métricas que se derivan de los algoritmos. Y en este proceso de optimización general, la gente, las historias, las experiencias reales, quedan casi olvidadas. El peligro, escribe Clive Thompson, es que
“al sacar de la ecuación lo humano de la toma de decisiones, estamos poco a poco deshaciéndonos de la deliberación humana –los momentos en los que se reflexiona sobre la moralidad de nuestras acciones.”
LA INSPIRACIÓN Y LA EMOCIÓN
Big Data produce tanta información que se necesita algo más para hacer de puente y/o revelar las lagunas de conocimiento. Es por eso que el trabajo etnográfico tiene un valor tan enorme en la era de los datos masivos. A continuación, se exploran algunas formas en que las organizaciones están integrando los datos espesos.
Thick Data es el mejor método para mapear un territorio desconocido. Cuando las organizaciones quieren saber lo que aún no saben, necesitan datos espesos ya que éstos proveen de algo que Big Data no provee de forma explícita: inspiración. El acto de recolección y análisis de historias produce ideas.
Las historias pueden inspirar a las organizaciones a averiguar diferentes maneras de llegar a su destino –las percepciones. Si vas a conducir, los datos espesos te inspiran a teletransportarte. Los datos espesos a menudo revelan lo inesperado. Frustrarán. Sorprenderán. Pero no importa qué, inspirarán. La innovación debe ir en la compañía de la imaginación.
Cuando las organizaciones quieren construir lazos más fuertes con las partes interesadas, necesitan historias. Historias contienen emociones, algo que ningún conjunto de datos por más lavado y normalizado podrá jamás ofrecer. Las cifras por sí solas no responden a las emociones de la vida cotidiana, a la confianza, la vulnerabilidad, el miedo, la codicia, la lujuria, la seguridad, el amor y la intimidad. Es difícil representar algorítmicamente la fuerza de afiliación de un individuo con un servicio/producto y cómo el significado de esa afiliación cambia a través del tiempo. Enfoques de datos espesos se adentran profundamente en los corazones de las personas. En última instancia, una relación entre un actor y una organización o marca es emocional, no racional.
Algunas personas se sienten incómodas con el uso del término “historias” para describir el trabajo etnográfico. Hay mucha confusión en aquello de que las historias son el equivalente a las anécdotas. Los investigadores de mercado se preguntan si es una “moda”. Incluso en el mundo académico, muchos sociólogos evitan el uso de “historias”, ya que hace su trabajo cualitativo parecer menos científico. En mi programa de doctorado en sociología, profesores a menudo nos decían que utilizaramos “casos” en lugar de “historias”.
Sin embargo, hay una gran diferencia entre anécdotas e historias. Anécdotas son historias que son por casualidad obtenidas y por casualidad compartidas. Dentro de un contexto de investigación, las historias son obtenidas de manera intencional y sistemáticamente muestreadas, compartidas, interrogadas, y analizadas, lo que produce conocimientos (o análisis, en el ámbito académico). Grandes ideas inspiran el diseño, la estrategia y la innovación.
NPR tiene un segmento que ilustra el poder de los datos espesos, presentando a Frans de Waal, un primatólogo y biólogo que acaba de publicar “El bonobo y el ateo: En busca del Humanismo Entre los primates”. A través de sus experimentos, de Waal proporciona evidencia para apoyar su teoría de que un sentido de equidad — las bases de la moral — no es exclusivo de los seres humanos. En sus conversaciones, de Waal muestra un video de dos monos capuchinos recibiendo diferentes recompensas para realizar la misma acción. La mona que recibe un pepino se molesta mucho cuando ve al mono junto a ella recibir una uva como recompensa por realizar una tarea similar a la que ella realizó. En el mundo de mono, las uvas son un bocado exquisito mientras los pepinos son como el pan duro.
En su declaración de investigación, de Waal construye un fascinante caso a favor de los principios de Datos Espesos:
“Muestro aquel vídeo a menudo, porque si muestro los datos, que son los gráficos y cosas por el estilo, las personas no se convencen realmente, pero si muestras la reacción emocional, la cantidad de emoción que va allí, entonces la gente se convence.”
Como deja claro de Waal, a veces los datos cuantitativos por sí solos no logran crear un argumento convincente. Incluso los científicos necesitan historias para hacer ver su punto.
OPORTUNIDADES
Puesto que utilizar datos masivos de forma aislada puede ser problemático, es sin duda fundamental seguir explorando cómo datos masivos y datos espesos pueden complementarse entre sí. Estamos frente a una gran oportunidad para que los investigadores cualitativos posicionen nuestro trabajo en el contexto de los resultados del Big Data. Empresas como Claro Partners están reformulando incluso el modo en que formulamos preguntas sobre datos masivos. En su investigación Personal Data Economy, en lugar de preguntar qué nos dice Big Data sobre el comportamiento humano, se preguntaron qué nos dice el comportamiento humano acerca del papel del Big Data en la vida cotidiana. Ellos crearon una caja de herramientas para los clientes que les ayuda a cambiar su “punto de vista desde un uno centrado en los datos a uno centrado en el humano.”
Estas son algunas de las áreas en las que veo oportunidad para la colaboración entre los dos métodos dentro de las organizaciones (esta no se supone que sea una lista exhaustiva).
Cuidado de la Salud — A medida que las personas se han ido empoderado más del monitoreo de su propia salud, la idea del “yo monitorizado” (Quantified Self) se está transformando en la corriente principal. Así, los proveedores de salud han ido incrementado el acceso a datos obtenidos desde fuentes colectivas y anónimas. Proyectos como Archivos del Asma (asthma files) proporcionan un vistazo hacia lo que podría ser el futuro de las asociaciones entre datos espesos y masivos para resolver los problemas globales de salud.
Datos anónimos reutilizados y provenientes de operadores de telefonía móvil — Empresas móviles de todo el mundo están empezando a empaquetar y vender los datos de sus clientes. Los comerciantes no son los únicos compradores. Los urbanistas que desean obtener mejores datos basados en la localización para entender el transporte dentro de una ciudad están utilizando los datos de la red celular de Air Sage. Para proteger la privacidad del usuario, los datos son anónimos o deliberadamente desligados de la comunicación personal. Y, sin embargo, en ausencia de datos de carácter personal clave, los datos pierden información contextual esencial. Sin datos espesos, será difícil que las organizaciones entiendan el contexto personal y social de los datos que han sido despojados de información personal.
Análisis de Redes Sociales — Medios de comunicación social producen montones de datos que pueden enriquecer el análisis de redes sociales. Científicos de investigación, tales como Hilary Mason, Gilad Lotán, Duncan Watts, y Ethan Zuckerman (y su laboratorio en el MIT Media Lab) están explorando cómo la información se propaga en las redes sociales y, al mismo tiempo, están creando más preguntas que sólo pueden ser respondidas usando métodos para obtener datos espesos. A medida que más compañías hacen uso de métricas de medios sociales, las organizaciones tienen que tener cuidado de creer erróneamente que los datos por si solos revelarán a los “influenciadores”. Un ejemplo de interpretación errónea de una señal proveniente del análisis de redes de datos masivos es lo que los medios escribieron sobre la obra de César Hidalgo, sugiriendo que Wikipedia que podría servir como un representante de la cultura. (Léase la corrección de Heather Ford).
Estrategia de marca y generación de conocimientos — Las empresas han dependido durante mucho tiempo de análisis de mercado para dictar la estrategia corporativa y generar una visión en la empresa. Ahora están recurriendo a un enfoque más centrado en el usuario que se basa en Datos Espesos. La reciente publicación de Fast Company sobre Jcrew aclara que cuando los consultores de gestión Big Data fallaron, los héroes que dieron el giro a la marca fueron empleados que entendían lo que los consumidores querían. A una de las empleadas, Jenna Lyons, se le dio la oportunidad de implementar pruebas de productos iterativas, experimentales y en tiempo real con los mismos clientes. Su enfoque resonó con los consumidores, transformando Jcrew en la marca de culto que es ahora y que la llevó a triplicar sus ingresos.
Diseño de Productos/servicios — Los algoritmos solos no resuelven los problemas, y sin embargo, muchas organizaciones dependen de ellos para el diseño de sus productos y servicios. Xerox utiliza Datos Masivos para resolver problemas para el gobierno, pero también usa métodos etnográficos junto con analíticas. Ellen Issacs, un etnógrafo Xerox PARC, habla de la importancia de los datos espesos en el diseño:
“incluso cuando se tiene un concepto claro de una tecnología, todavía tienes que diseñar de tal manera que sea consistente con la forma en que la gente piensa acerca de sus actividades… tienes que verlos a ellos haciendo lo que hacen”.
Implementación de estrategia organizacional — Los datos espesos se pueden utilizar como un contrapeso a Datos Masivos y así mitigar la disrupción del cambio organizativo previsto. Los datos cuantitativos pueden sugerir que es necesario un cambio, pero tal disrupción dentro de las organizaciones puede ser costosa. Cuando se reorganizan los organigramas, se re-escriben las descripciones de trabajo, las funciones de trabajo cambian, y se replantean los indicadores de éxito — los cambios pueden causar una disrupción costosa que puede no aparecer en el plan de datos masivos. Las organizaciones necesitan expertos en datos espesos para trabajar junto a los líderes de negocios y así comprender el impacto y el contexto de los cambios desde una perspectiva cultural y determinar qué cambios son aconsejables y cómo navegar a través del proceso. Grant McCracken llama a esto Gestor Cultural Jefe: “los ojos y los oídos de la corporación, que le permite detectar cambios que vienen, incluso cuando existen sólo como la más débil de las señales.” El CCO es la persona a quien dirigirse por datos esperos, el responsable de recoger, contar y circular historias para mantener una organización inspirada y ágil. Roger Magoulas, que acuñó el término Big Data, hace hincapié en la necesidad de historias: “historias tienden a propagarse rápidamente, ayudando a difundir las lecciones extraídas del análisis a lo largo de toda la organización.”
FUTURO
El integrar datos espesos plantea nuevas preguntas para las organizaciones.
· ¿Cómo reportamos los datos espesos? Las historias son eficaces, pero requieren tiempo, recursos y habilidades de comunicación.
· ¿Cuáles son los indicadores para el éxito de la investigación en datos espesos?
· ¿Cómo entrenamos a los equipos en integración de datos y en enfoques de datos espesos?
Existe una mayor demanda de etnógrafos vistos como proveedores más que como empleados dentro de las organizaciones. No hay suficientes etnógrafos que trabajen dentro de las empresas para internalizar la investigación etnográfica y explorar diferentes maneras de ampliar los conocimientos que se desprendan de datos masivos y espesos.
A pesar de que tenemos una gran cantidad de preguntas para responder sobre datos espesos, es importante tener en cuenta que este es el momento para que el trabajo etnográfico realmente brille. Nos encontramos en una posición favorable para mostrar el valor agregado que aporta un proyecto de métodos mixtos. La producción de “descripciones densas” (un término usado por Clifford Geertz para describir la metodología etnográfica) de un contexto social complementa los hallazgos de datos masivos. Las personas y organizaciones pioneras en proyectos de Big Data y Thick Data, tales como Fabien Giradin del Near Future Laboratory o Wendy Hsu, nos están dando atisbos de este mundo.
También es importante recordar la gran cantidad de avances en datos masivos. De acuerdo con un estudio de Gartner acerca de empresas que habían invertido en sus capacidades de big data, sólo el 8% de ellas estaban haciendo algo significativo con sus datos masivos. El resto sólo utilizaban estos datos para avances incrementales. Esto significa que una gran cantidad de empresas están hablando e invirtiendo en datos masivos, pero no están haciendo nada transformacional con ellos.
Para que empresas e instituciones se den cuenta de todo el potencial del Big Data, creo que ellos necesitan Thick Data. Y es por eso que los etnógrafos son más necesarios ahora que nunca. Jugamos un papel crítico en el mantenimiento de organizaciones centradas en los humanos en la era del Big Data.
