¿Cuál es la diferencia entre analítica y estadística?
Comprender el valor de dos profesiones completamente diferentes
Traducido por Carlos Secada del original por Cassie Kozyrkov (editado por Felipe Chiriboga)
Estadística y analítica son dos ramas de la ciencia de datos que comparten muchos de sus primeros héroes, por lo que un café o cerveza son todavía parte ocasional del animado debate sobre dónde trazar el límite entre ellos. Sin embargo, en la práctica, los programas modernos de capacitación que llevan esos nombres enfatizan actividades completamente diferentes. Mientras que los analistas se especializan en explorar lo que hay en sus datos, los estadísticos se centran más en inferir lo que hay más allá.
Descargo de responsabilidad: este artículo es sobre los graduados típicos de programas de capacitación que enseñan sólo estadísticas o sólo analítica, y de ninguna manera menosprecia a aquellos que de alguna manera han logrado ejercitar ambos conjuntos de músculos. De hecho, se espera de científicos de datos de élite que sean completos expertos en analítica y estadística (así como en machine learning automático)… y milagrosamente estas personas sí existen, aunque es raro encontrarlas.
Motores de búsqueda humanos
Cuando tienes todos los hechos relevantes para tu proyecto, el sentido común es la única habilidad que necesitas para hacer y responder preguntas con datos. Simplemente, mira la respuesta.
¿Quieres ver analítica básica en acción ahora mismo? Intenta buscar el clima en Google. Cada vez que usas un motor de búsqueda, estás haciendo analítica básica. Estás obteniendo datos meteorológicos y mirándolos.
Incluso los niños pueden buscar datos en línea sin sudar. Eso es la democratización de la ciencia de datos, justo aquí. ¿Tienes curiosidad por saber si hoy en Nueva York hace más frío que Moscú? Puedes obtener una respuesta casi instantánea. Es tan fácil que ya ni siquiera llamamos a esto analítica, aunque lo es. Ahora imagina tratar de obtener esa información hace un siglo. (A eso me refiero).
Cuando usas un motor de búsqueda, estás haciendo analítica básica.
Si informar sobre hechos en bruto es tu trabajo, estás haciendo el trabajo de un motor de búsqueda humano. Desafortunadamente, la seguridad laboral de un motor de búsqueda humano depende de que sus jefes nunca descubran que ellos mismos pueden buscar la respuesta y eliminar al intermediario… especialmente cuando las brillantes herramientas de analítica, hacen finalmente que consultar la información interna de tu empresa sea tan fácil como usar la Búsqueda de Google.
Buscadores de inspiración
Si crees que esto significa que todos los analistas no tienen trabajo, aún no has conocido a los analistas de tipo experto. Responder una pregunta específica con datos, es mucho más fácil que generar inspiración sobre qué preguntas vale la pena hacer y en qué orden de prioridad.
He escrito un artículo completo sobre lo que hacen los analistas expertos, pero en pocas palabras se trata de tomar un gran e inexplorado conjunto de datos, y hacer minería en busca de inspiración.
“Aquí tienes todo Internet, ahora ve a buscar algo útil en él.”
Necesitas habilidades de codificación rápidas y un agudo sentido de lo que tus líderes considerarán inspirador, junto con toda la fuerza de carácter de alguien que busca minerales en un nuevo continente sin saber nada (todavía) sobre lo que hay en el suelo. Cuanto más grande sea el conjunto de datos y menos sepas sobre los tipos de hechos que se podrían encontrar, más difícil será recorrerlo sin perder el tiempo. Necesitarás una curiosidad inquebrantable y la capacidad emocional de recuperación para manejar la búsqueda de una gran cantidad de nada, antes de llegar a algo. Siempre es más fácil decirlo que hacerlo.
Si bien los programas de capacitación en analítica generalmente brindan a sus estudiantes habilidades en software para observar conjuntos de datos masivos, es más probable que los programas de capacitación en estadísticas definan esas habilidades como opcionales.
Saltar más allá de lo conocido
La barra se eleva cuando debes lidiar con información incompleta. Cuando tienes incertidumbre, los datos que tienes no cubren lo que te interesa por lo que deberás tener mucho cuidado al sacar conclusiones. Es por eso que los buenos analistas no llegan a ninguna conclusión.
En cambio, los buenos analistas tratan de ser modelos con mente abierta, si se encuentran yendo más allá de los hechos. Mantener la mente abierta es crucial, de lo contrario caerás en el sesgo de confirmación: si hay veinte historias en los datos, sólo notarás la que respalda lo que ya crees… y te harás el distraído ante las otras.
Los principiantes piensan que el propósito de la analítica exploratoria es responder preguntas, cuando en realidad es plantearlas.
Aquí es donde el énfasis de los programas de capacitación cambia: de lo que se trata cada curso de estadística es de evitar conclusiones tontas bajo incertidumbre, mientras que los programas de analítica apenas tratan por encima las matemáticas de inferencia y los matices epistemológicos.
Sin el rigor de las estadísticas, es probable que hacer un imprudente salto más allá de tus datos, al estilo Ícaro, te lleve a terminar golpeando el suelo. (Consejo para analistas: si deseas evitar el campo de las estadísticas por completo, simplemente resiste toda tentación de sacar conclusiones. ¡Trabajo hecho!)
La analítica te ayuda a formular hipótesis. Mejora la calidad de tus preguntas.
Las estadísticas te ayudan a probar hipótesis. Mejora la calidad de tus respuestas.
Un error común entre los no conocedores de datos es pensar que el propósito de la analítica exploratoria es responder preguntas, cuando en realidad es plantearlas. La exploración de datos por parte de los analistas es cómo se asegura de hacer mejores preguntas, pero los patrones que encuentran no deben tomarse en serio hasta que se prueben estadísticamente en nuevos datos. La analítica te ayuda a formar hipótesis, mientras que las estadísticas te permiten probarlas.
Los estadísticos te ayudan a evaluar si es sensato pensar que el fenómeno que un analista encontró en un conjunto de datos, también se aplica más allá de él.
He observado bastante acoso a analistas por parte de otros tipos de científicos de datos, que parecen pensar que son más valiosos porque sus ecuaciones son más complicadas. En primer lugar, los analistas expertos usan las mismas ecuaciones (solo que para un propósito diferente) y, en segundo lugar, si miras “amplio y superficial” de forma lateral, se ve igual que “angosto y profundo”.
He visto muchos fracasos en el uso de la ciencia de datos causados por un mal entendimiento de la función del analista. La efectividad de tu organización de ciencia de datos dependerá de una sólida y vanguardista analítica, o estarás cavando meticulosamente en el lugar equivocado, por lo que debes invertir en analistas y valorarlos, y luego recurrir a los estadísticos para el seguimiento riguroso de cualquier potencial idea o insight que tus analistas te brinden.
¡Necesitas ambos!
Elegir entre buenas preguntas y buenas respuestas es difícil (y a menudo arcaico), por lo que si puedes permitirte el lujo de trabajar con ambos tipos de profesionales de datos, entonces no lo dudes. Desafortunadamente, el precio no es solo el del personal. También necesitarás una gran cantidad de datos y una cultura de división de datos para aprovechar su aporte. Tener (al menos) dos conjuntos de datos te permite inspirarte primero y formar tus teorías basadas en algo diferente a la imaginación… y luego comprobar que hay valor en ellos. Ese es el increíble privilegio de la cantidad.
No entender la diferencia, resulta en una gran cantidad de innecesario acoso por parte de los estadísticos, y de muchas opiniones sin sustento que los analistas venden como producto terminado.
La única razón por la que las personas con muchos datos no tienen la costumbre de dividir los datos, es que ese enfoque no era viable durante hambruna de datos del siglo anterior. Era difícil reunir suficientes datos para poder permitirse dividirlos. Una larga historia construyó los muros entre analítica y estadística, que hace que hoy cada lado sienta poco amor el uno por el otro. Esta es una perspectiva pasada de moda que se ha quedado entre nosotros porque nos olvidamos de volver a pensarla. El legado permanece, lo que resulta en una gran cantidad de acoso innecesario por parte de los estadísticos y muchas opiniones sin sustento que los analistas venden como producto terminado. Si te interesa extraer valor de los datos y tienes abundancia de datos, ¿qué excusa tienes para no aprovechar tanto la inspiración como el rigor, cuando sea necesario? ¡Divide tus datos!
Si puedes permitirte el lujo de trabajar con ambos tipos de profesionales de datos, entonces no lo dudes.
Una vez que te des cuenta de que la división de datos permite que cada disciplina sea un multiplicador de fuerzas para la otra, te preguntarás por qué alguien abordaría los datos de una manera distinta.
Obtén más información sobre ciencia de datos e inteligencia artificial en español aquí.
