Os presentamos Foolish Flamenco, ¡la release más ambiciosa de Sidra Data Platform!

Como ya sabéis, Sidra Data Platform es nuestra solución para dotar a organizaciones de cualquier tamaño no solo de una infraestructura de Data Lake y sus servicios asociados, sino también de una completa estrategia empresarial del dato. Gracias a Sidra, nuestros clientes pueden ingestar los datos que su negocio necesita de un modo rápido, efectivo y gobernado, y disponibilizarlos a casos de uso específicos de una manera homogénea a lo largo de la organización

Durante años hemos desarrollado soluciones corporativas de Big Data para diferentes empresas internacionales, lo que nos ha proporcionado no solo la experiencia técnica, sino que también, hemos aprendido a detectar y resolver las necesidades comunes de nuestros clientes.

Todo esto nos ha permitido desarrollar una solución escalable y extensible que ha sido el origen de Sidra y, desde entonces, no hemos dejado de trabajar en mejorar nuestra solución.

Y hoy queremos compartir con vosotros la versión más ambiciosa de la historia de Sidra: Foolish Flamenco.

Sidra Data Platform: Novedades de Foolish Flamenco

Este lanzamiento completa la exhaustiva revisión de seguridad iniciada con el lanzamiento de la Release 2019.R4 de  Octubre de 2019 con la implementación del nuevo modelo de seguridad de la Extract API, así como la adopción de Balea: un framework de autorización de código abierto para ASP.NET Core cuyo desarrollo está siendo liderado por Plain Concepts.

Hemos agregado un gran número de funcionalidades y mejoras a la interfaz de usuario web del Catálogo de Datos, incluyendo la edición de metadatos para Proveedores y Entidades y la funcionalidad de Vista Previa de Datos con soporte de enmascaramiento de información sensible, entre otras.

Desde la perspectiva de las aplicaciones cliente, en esta versión actualizamos nuestra aplicación de Data Labs dotándola de una estructura más flexible y cobertura para más escenarios analíticos. Por otra parte, liberamos la primera versión de la solución de sidra para gestión de Master Data, que ayudará a muchos clientes en sus escenarios empresariales de integración.

También queremos anunciar hoy nuestra primera versión pública de PySidra, el nuevo paquete Python para operar con el Catálogo de Datos de Sidra, la plataforma ML, etc. Aunque este paquete ya estaba siendo utilizado internamente por Sidra, hemos decidido publicarlo al considerarlo una herramienta muy útil para cualquier data scientist que trabaje actualmente con Sidra.

En cuanto a las DSUs y el Core de Sidra, ya soportamos las vistas y tablas externas en Databricks. Además, hemos hecho algunas mejoras del modelo de despliegue automatizado de Sidra, aprovechando la nueva característica de pipelines multietapa.

Por último, pero no por ello menos importante, hemos implementado diferentes mejoras enfocadas a la reducción de costes en la plataforma que ayudarán a reducir el coste operativo de una instancia predeterminada de Sidra.

Conoce las mejoras más relevantes de Sidra Data Platform

Aquí os dejamos una lista de las mejoras más relevantes hechas a la plataforma correspondiente a este lanzamiento:

• Optimizaciones en el generador de consultas de transferencia.
• Nuevas funcionalidades sobre el Catálogo de datos.
• Cargas incrementales de SQL empleando la característica de Change Tracking.
• Nuevo módulo de Master Data.
• Mejoras al módulo de Data Labs.
• Medidas de reducción de coste operacional de la plataforma.
• Soporte de vistas en Databricks.
• Soporte de tablas externas en Databricks.
• Nuevo modelo de seguridad en la actividad de Extract.
• Nueva API para la creación de los Linked Services de Azure.
• Simplificación de los pipelines de sistema.
• Nuevo modelo de autorización con Balea.
• Nuevo modelo de despliegue basado en pipelines multietapa.
• Mejoras a la interfaz web de administración.

¡Esperamos que disfrutéis de esta nueva versión!

Si tenéis cualquier duda o queréis saber información más detallada sobre este lanzamiento, puedes visitar la documentación con toda la información de la release, y recordad que siempre podéis contactarnos a través de sidra@plainconcepts.uniqoderslab.com.