¿Promedio? ¿Varianza? ¡DETENTE! ¿Estás asesinando fractales en tus análisis de datos?
¿Te enfrentas a un nuevo conjunto de datos y lo primero que haces es calcular su promedio y desviación estándar? Parecería lo más lógico, ¿verdad? Sin embargo, el diablo como suele ser, está en los detalles, y como en toda ciencia, la estadística tiene sus suposiciones.
Existe una clase de distribuciones de probabilidad que rompen la norma (literalmente contrario a cómo nos han vendido no siguen una distribución normal), donde la varianza e incluso el promedio no están definidos. Cuando intentas calcularlos usando su definición matemática -una integral- obtienes infinito! Lejos de ser un mero artefacto matemático, estas distribuciones son excepcionalmente comunes en sistemas complejos, sistemas que abarcan desde las fluctuaciones de la economía hasta la distribución de palabras en los textos, el movimiento de los monos araña en la selva y la actividad neuronal del cerebro. Algunas de estas distribuciones, conocidas como distribuciones de leyes de potencia, se caracterizan por ser libres de escala y, por lo tanto, es posible asociarles con fractales.
¿Y qué sucede cuando intentas encajar estos sistemas complejos y sus distribuciones de leyes de potencia en las limitaciones de la media y la varianza? Nada bueno, te lo aseguro. Es como tratar de informar acerca de la riqueza que tenemos Jeff Bezos y yo diciendo que en promedio ambos tenemos 68,9 miles de millones de dolares… es cierto pero… es desinformativo, porque yo tengo 0 miles de millones y Jeff Bezos 137,8.
El problema se encuentra en que la media y la varianza nos hablan de la escala de la distribución. En una distribución normal, estos indicadores nos proporcionan una imagen clara de dónde se ubica la mayoría de los datos. Sin embargo, en los fenómenos libres de escala, los datos no se pueden agrupar fácilmente en una región, como se puede ver a continuación:
Este enfoque tradicional puede llevarnos a perder la riqueza de los patrones y la complejidad inherente a estos sistemas. En los sistemas complejos, los casos atípicos son la norma, no la excepción. La varianza de la distribución es mucho mayor (de nuevo, a veces matemáticamente infinita) por lo que son mucho más frecuentes las anomalias y son precisamente estas anomalías las que le dan a estos sistemas su carácter diverso e impredecible!
Entonces, ¿qué podemos hacer para no ahogar los fractales en nuestro análisis de datos? Primero, debemos reconocer la singularidad de estos sistemas y sus distribuciones de leyes de potencia. Deberíamos aceptar que los métodos tradicionales pueden no ser los más apropiados y buscar alternativas que respeten y reflejen la naturaleza libre de escala de estos sistemas.
Por lo tanto, antes de sumergirte en tu próximo conjunto de datos, piénsalo bien. ¿Estás imponiendo la media y la varianza donde no tienen cabida? Si es así, quizás sea el momento de cambiar de perspectiva y apreciar la maravillosa complejidad de las leyes de potencia y los fractales. ¡El mundo de los datos es un lugar mucho más enriquecedor y fascinante cuando se aprecia en toda su diversidad fractal!
Este artículo es el primero de una serie de artículos que estaré publicando sobre sistemas complejos dialécticos y análisis de datos, si te interesa saber ¿Cómo puedes estudiar estos datos si ya no tiene sentido usar medias y varianzas? ¡Sígueme!
Juan C. Higuera C. (@JuanHig27819468) / Twitter
JuanHigueraC (Juan C Higuera C) (github.com)
Ya que llegaste hasta acá te cuento que participo de una comunidad de personas apasionadas por el aprendizaje, las ciencias de la complejidad y el pensarse críticamente una sociedad que vaya más allá de la dicotomia entre individuo y comunidad, fomentando una visión en la que la comunidad amplifique las potencias de los individuos.
Este grupo de personas por el momento nos agrupamos bajo el nombre GEINCyR.
Facebook: https://www.facebook.com/GEINCyR
La imagen fue sacada de: Visualizing Power-Law Distributions — Capital As Power
