Rediseño de la ingesta de datos en un Lakehouse

Abstract

El presente trabajo aborda el rediseño de la ingesta de datos en un Lakehouse dentro de una empresa del sector bancario. La investigación se justifica en la necesidad de superar las limitaciones derivadas de una migración inicial basada en una estrategia lift and shift, la cual mantiene componentes obsoletos, eleva los costos operativos y aumenta la complejidad de la atención de incidentes. El objetivo principal consiste en optimizar los flujos de trabajo de las ingestas hacia la capa bronce del Lakehouse, con tres objetivos específicos: reducir la obsolescencia tecnológica, disminuir el esfuerzo en el desarrollo de nuevas ingestas y reducir los costos asociados a la continuidad de negocio. Para desarrollar el proyecto, se tomaron en cuenta los principios de la arquitectura medallón y las buenas prácticas de gobernanza de datos, aprovechando las capacidades nativas de los servicios en la nube. La metodología empleada se organiza en dos etapas: el anteproyecto, que formula y valida el rediseño a través de un caso de uso, y la ejecución, que clasifica las ingestas en vigentes u obsoletas para adecuarlas o desactivarlas según corresponda. Se priorizan las casuísticas de mayor impacto y se implementan plantillas estandarizadas que agilizan la ejecución del proyecto. Los resultados muestran la eliminación de tecnologías en obsolescencia, la actualización de componentes críticos y la optimización del ecosistema del Lakehouse. Esto se traduce en menores tiempos de desarrollo, reducción de costos operativos y mayor estabilidad en la continuidad del negocio. En conclusión, el trabajo evidencia que la ejecución de estrategias tecnológicas requiere una visión transversal de la Ingeniería Informática, en la que el ahorro económico, la reducción de la obsolescencia y la garantía de la continuidad del negocio se consolidan como ejes esenciales para maximizar el valor que la tecnología aporta a las organizaciones.