Els serveis d’emmagatzematge, gestió i anàlisi de dades de Microsoft Azure s’han posat les piles, aquesta primera meitat de l’any. Amb l’anunci de la disponibilitat general d’Azure Data Explorer, les actualitzacions del data warehouse amb la novetat d’Azure Data Lake Storage Gen2 i la versió preliminar d’Azure Data Factory Mapping Data Flow, el servei de big data al núvol de Microsoft busca ser més eficient i reforçar la seguretat. T’expliquem les novetats d’Azure Data Services.

Actualitzacions al data warehouse Azure Data Lake

Azure Data Lake Storage (ADLS) és el servei d’emmagatzematge de dades al núvol de Microsoft per a l’anàlisi de macrodades. Aquest data warehouse té una nova versió, ADLS Gen2, que incorpora diverses novetats.

• Augmenta la compatibilitat amb l’ecosistema Apacha amb el desenvolupament d’un controlador (Azure Blob File System o ABFS) que forma part oficialment d’Apache Hadoop i Spark.
• Nou espai de noms jeràrquic per augmentar el rendiment de les anàlisis al data warehouse, reduint especialment la sobrecàrrega de la base de dades associada al processament de macrodades.
• Integració de característiques de seguretat, com ara xifrat TLS 1.2, tallafocs específics per a comptes d’emmagatzematge i integració de xarxes virtuals.

Igual que la versió anterior, Azure Data Lake Storage Gen2 està integrat per altres serveis, com Databricks, HDInsight, Data Factory, SQL Data Warehouse i Power BI.

Novetats a Azure Data Factory

El servei d’integració i automatització de dades al núvol de Microsft Azure té, des de mitjan mes de febrer, la versió preliminar d’una nova eina: Azure Data Factory Mapping Data Flow. Per mitjà d’aquesta eina, Azure Data Factory permet avançar en la transformació de dades mitjançant una experiència visual, sense que calgui programació, permetent que un major nombre d’usuaris pugui accedir al business intelligence.

Amb la integració de Mapping Data Flow a Azure Data Factory, els usuaris poden dissenyar, crear i administrar processos de transformació de dades de manera visual, sense que calgui conèixer Spark. A més, la nova eina té un depurador interactiu que s’encarrega d’executar, desencadenar i supervisar els treballs ETL (sigles en anglès d’extreure, transformar i carregar).

Disponibilitat general d’Azure Data Explorer

Fins al primer trimestre d’enguany, Azure Data Explorer (ADX), un servei d’anàlisi de dades ràpid en streaming en temps real, només estava disponible en determinades regions. A partir del 7 de febrer del 2019, ADX, una eina que permet consultar MIL MILIONS de registres en menys d’un segon, passa a estar disponible en 41 regions Azure del món, incloent-hi tots els països europeus.

Data Explorar està format per dos serveis diferents, Engine i Data Management, implementats en màquines virtuals Azure. Data Management s’encarrega de la ingestió de dades sense processar i de les tasques de preparació de dades, contrapressió i errors. Per la seva banda, Engine processa les dades entrants que arriben sense processar, combinant escalabilitat automàtica i particionament de dades per aconseguir més velocitat.

Imatges | Pixabay, Pexels/ Vitaly Vlasov