Del data mess al Data Mesh

¿Qué ocurre cuando nuestro sistema de almacenamiento de la información se convierte en un cuello de botella? Tenemos que eliminar el cuello de botella. Para ello, en 2019 surgió el término Data Mesh (maya de datos) como un modelo de organización del dato donde la información se distribuye en dominios de conocimiento, cuya información se puede combinar para generar información analítica más compleja, pero donde cada dominio es responsable de gobernar y gestionar los diferentes procesos relacionados con su dominio de información. 

Es decir, todos los procesos de ingestión, transformación, almacenamiento, explotación, gobierno y monitorización se aplican de manera independiente sobre cada dominio.

Hasta ahora el control de los datos era responsabilidad del equipo de TI, que lo proporcionaba a Negocio cuando estos lo solicitaban. Por tanto, la recolección y transformación de los datos se centralizaba en equipos técnicos y no en el negocio. Esto propiciaba tener plataformas de datos basadas en data warehouse y/o Data Lake totalmente centralizadas y con un grupo de ingenieros/as de datos muy especializados, pero no enfocados en el negocio.

Contar con un modelo basado en Data Mesh se trata de cambiar ese enfoque y buscar la democratización del dominio de datos, empoderando a las áreas de negocio para tratar los datos de acuerdo a las necesidades reales que tienen. Data Mesh, para ello, se basa en cuatro pilares: 

• Arquitectura de datos descentralizada orientada a dominio.
• Datos disponibles como producto.
• Infraestructura para hacer que los datos estén disponibles mediante autoservicio.
• Gobernanza federada, ya que aunque los conjuntos de datos son independientes se tienen que poder interoperar entre sí.