Arquitectura de datos y Tech Stack actuales

Ingenia
Ingenia, Architectural Journeys
4 min readAug 3, 2022

Al pensar en arquitectura de datos, un primer y fundamental concepto a entender es “el dato como fuente de conocimiento”. Como menciona Daniel Keys Moran -computer programmer and science fiction author- “Puedes tener datos sin información, pero no puedes tener información sin datos”. De ello se desprende la importancia del descubrimiento del valor del dato (ver fig. 1).

“Un dato ubicado en un contexto da lugar a información. Si le añadimos inteligencia obtenemos conocimiento que, combinado con una buena estrategia, genera poder”

El segundo concepto, en igual grado de importancia, a considerar cuando pensamos en datos es “Big Data”, ese océano de información en el que nadamos a diario. Según la consultora Gartner, se define Big Data como:
“Un conjunto de datos de gran volumen cuya complejidad y velocidad de crecimiento requieren de herramientas específicas para recopilarlos, almacenarlos, procesarlos y analizarlos, para que resulten de utilidad”.

Entre los principales aspectos que se destacan en este concepto encontramos:

  • Velocidad,
  • Veracidad.
  • Valor.
  • Variedad.
  • Volumen.

Como tercer y último concepto clave, destaca la “Gestión del Dato”, entendida como la práctica de organizar y mantener procesos de datos para satisfacer las necesidades del ciclo de vida continuo de la información (ver fig. 2).

Personas, procesos y cultura
Tecnología

Habiendo mencionado los tres conceptos claves de la arquitectura de datos:

  • “El dato como fuente de conocimiento”
  • “Big Data”
  • “Gestión del Dato”

Cabe ahora responder la pregunta: ¿Qué es la Arquitectura de datos? Y digo que, es aquella disciplina donde:

  • Se construyen los modelos conceptuales, lógicos y físicos que describen la estructura de datos y la información en la organización.
  • Se promueve la práctica de definir principios, motivando su presentación y refinamiento.
  • Se define un grupo de reglas (integridad, transformación, negocio), criterios generales para el diseño, la construcción, las pruebas y el uso de los productos basados en datos.
  • Se definen estándares para la gestión de los datos y asegurar su cumplimiento.
  • Se establecen los componentes tecnológicos y la relación entre los mismos para dar soporte a obtener el valor máximo del dato.

Una arquitectura nos permite conocer y organizar los componentes que necesita tener una organización para almacenar, organizar e integrar los datos que recoge, con el objetivo de que sean aprovechables y útiles.

Una arquitectura, en general, puede ser contada desde diferentes puntos de vista -vistas arquitectónicas-, entre ellas:

  • Vista Conceptual: se definen las capacidades a nivel conceptual que debe contener la arquitectura.
  • Vista Tecnológica: se define con qué tecnología se va a implementar la vista conceptual.
  • Vista de Patrones de Diseño: se basa en estándares de la industria. Los patrones de diseño son agnósticos al ecosistema tecnológico.
  • Vista de Infraestructura: se debe traducir la vista tecnológica a infraestructura (On Premise, IaaS, SaaS, PaaS). Se define qué características de hardware se requieren.
  • Vista de Gobierno: se deben gobernar todos los flujos que son procesados dentro de la organización. Es importante entender cada flujo, porque cada uno de ellos se gobierna de manera diferente.
  • Vista de Seguridad: se debe analizar todo lo relacionado a seguridad. Teniendo en cuenta la seguridad de datos en reposo y seguridad de datos en movimiento, entre otros.
  • Vista de Modelamiento, calidad, devops: se define cómo vamos a estructurar los datos semiestructurados y los no estructurados, cómo vamos a integrar las reglas de calidad dentro de la arquitectura y cómo van a estar los entornos distribuidos, cuál es la estrategia de estos entornos para tener un entorno de desarrollo, de QA y de producción.

En cuanto a Tech Stack es oportuno mencionar que actualmente existe una gran diversidad de tecnologías para el mundo de Big Data que han crecido de forma exponencial. El mapa tecnológico seguirá creciendo aún más. Por esto hay que evitar, dentro de la organización, un desgobierno tecnológico y enfocarnos en definir una estrategia tecnológica de Big Data, en la cual seleccionar cierto stack tecnológico y desarrollar sus procesos con el mismo.

Por lo tanto y, como comentario final, es importante considerar que se debe contar con una visión profesional del Big Data. Debemos analizar qué tipos de datos podemos y debemos recopilar, siempre observando las más estrictas reglas de privacidad, cómo debemos almacenar esos datos y, por último, qué herramientas debemos utilizar para analizarlos y extraer información relevante con la que pasar al nivel de conocimiento y sabiduría. Sin duda, para llegar a ese nivel se requiere de un cambio cultural dentro de la organización donde personas, procesos y tecnologías se encuentren alineadas a la visión estratégica de la organización.

--

--