Los servicios de almacenamiento, gestión y análisis de datos de Microsoft Azure se han puesto las pilas en esta primera mitad del año. Con el anuncio de la disponibilidad general de Azure Data Explorer, las actualizaciones del data warehouse con la novedad de Azure Data Lake Storage Gen2 y la versión preliminar de Azure Data Factory Mapping Data Flow, el servicio de big data en la nube de Microsoft busca ser más eficiente y reforzar su seguridad. Te explicamos las novedades de Azure Data Services.
Actualizaciones en el data warehouse Azure Data Lake
Azure Data Lake Storage (ADLS) es el servicio de almacenamiento de datos en la nube de Microsoft para el análisis de macrodatos. Este data warehouse cuenta con una nueva versión, ADLS Gen2, que incorpora varias novedades.
- Aumenta la compatibilidad con el ecosistema Apacha con el desarrollo de un controlador (Azure Blob File System o ABFS) que forma parte oficialmente de Apache Hadoop y Spark.
- Nuevo espacio de nombres jerárquico para aumentar el rendimiento de los análisis en el data warehouse, reduciendo en especial la sobrecarga de la basa de datos asociada al procesamiento de macrodatos.
- Integración de características de seguridad como cifrado TLS 1.2, firewalls específicos para cuentas de almacenamiento e integración de redes virtuales.
Al igual que la versión anterior, Azure Data Lake Storage Gen2 está integrado con otros servicios como Databricks, HDInsight, Data Factory, SQL Data Warehouse y Power BI.
Novedades en Azure Data Factory
El servicio de integración y automatización de datos en la nube de Microsft Azure cuenta desde mediados del mes de febrero con la versión preliminar de una nueva herramienta: Azure Data Factory Mapping Data Flow. Mediante ella, Azure Data Factory permite avanzar en la transformación de datos mediante una experiencia visual, sin que se necesaria programación, permitiendo a un mayor número de usuarios acceder al business intelligence.
Con la integración de Mapping Data Flow en Azure Data Factory, los usuarios pueden diseñar, crear y administrar procesos de transformación de datos de forma visual, sin que sea necesario conocer Spark. Además, la nueva herramienta cuenta con un depurador interactivo que se encarga de ejecutar, desencadenar y supervisar los trabajos ETL (siglas en inglés de extraer, transformar y cargar).
Disponibilidad general de Azure Data Explorer
Hasta el primer trimestre de este año, Azure Data Explorer (ADX), un servicio de análisis de datos rápido en streaming en tiempo real, solo estaba disponible en determinadas regiones. A partir del 7 de febrero de 2019, ADX, una herramienta que permite consultar mil millones de registros en menos de un segundo, pasa a estar disponible en 41 regiones Azure del mundo, incluyendo todos los países europeos.
Data Explorar está compuesto por dos servicios diferentes, Engine y Data Management, implementados en máquinas virtuales Azure. Data Management se encarga de la ingestión de datos sin procesar y de las tareas de preparación de datos, contrapresión y errores. Por su parte, Engine procesa los datos entrantes que llegan sin procesar, combinando escalabilidad automática y particionamiento de datos para lograr mayor velocidad.
Imágenes | Pixabay, Pexels/ Vitaly Vlasov