Azure Data Factory: Tutorial sobre sus conceptos clave

ADF cuenta con componentes clave que trabajan juntos para proporcionar la plataforma en la que se pueden componen flujos de trabajo basados en datos con pasos para mover y transformar datos:

• Pipelines: una fábrica de datos puede tener una o más canalizaciones, las cuales son una agrupación lógica de actividades que realiza una unidad de trabajo. Este permite gestionar las actividades como un conjunto en lugar de gestionar cada una de ellas individualmente, además de poder encadenarse para que funcionen de forma secuencial o de forma independiente.
• Mapeo de flujos de datos: permite crear y administrar gráficos de lógica de transformación que se pueden usar para transformar datos de cualquier tamaño. También se puede crear una biblioteca reutilizable de rutinas de transformación y ejecutar esos procesos de manera escalable desde las canalizaciones del servicio de forma automatizada.
• Actividad: representan un paso de procesamiento en una canalización y se admiten tres tipos: actividades de movimiento de datos, de transformación de datos y actividades de control.
• Conjuntos de datos: representan estructuras de datos dentro de los almacenes de datos que apuntan o hacen referencia a los datos que se desea utilizar en actividades.
• Servicios vinculados: definen la información de conexión necesaria para que ADF se conecte a recursos externos. Se suelen usar para representar un almacén de datos o representar un curso informático que puede alojar la ejecución de una actividad.
• Triggers: representan la unidad de procesamiento que determina cuándo se debe iniciar la ejecución de un proceso.
• Parámetros: se definen en la canalización y se pasan durante la ejecución creada por un trigger o una canalización que se ejecutó manualmente. Las actividades dentro de la canalización consumen los valores de los parámetros o un conjunto de datos también representan un parámetro.
• Flujo de control: es una orquestación de actividades de la canalización que incluye el encadenamiento de actividades en una secuencia, la ramificación, la definición de parámetros a nivel de la canalización y el paso de argumentos mientras se invoca la canalización o desde un trigger.
• Variables: se pueden usar dentro de pipelines para almacenar valores temporales o para usarse junto con otros parámetros para permite el paso de valores entre pipelines, flujos de datos y otras actividades.

El primer paso para crear un sistema de producción de información es conectarse a todas las fuentes de datos y procesamiento necesarias, como SaaS, bases de datos, recursos compartidos de archivos y servicios web FTP. Después de trasladan los datos, según sea necesario, a una ubicación centralizada para su posterior procesamiento.

Sin Data Factory, las empresas deben crear componentes de movimiento de datos personalizados o escribir servicios personalizados para integrar estas fuentes de datos y su procesamiento. Integrar y mantener estos sistemas es costoso y difícil, además de carecer de la supervisión, alertas y controles empresariales que puede ofrecer un servicio administrado como este.

Con Data Factory, se puede usar la actividad de copia en una canalización de datos para moverlos desde almacenes de datos locales y en la nube a un almacén centralizado cloud para su posterior análisis.

Una vez que los datos se encuentran en un almacén de datos centralizado cloud, se pueden procesar o transformar los datos recopilados mediante flujos de datos de mapeo de ADF. Estos permiten crear y mantener gráficos de transformación de datos que se ejecutan en Spark sin necesidad de comprender los clústeres de Spark ni su programación.

Además, si se quieren codificar transformaciones de forma manual, el servicio de data admite actividades externas para ejecutar sus transformaciones en servicios de cómputo como HDInsight Hadoop, Spark, Data Lake Analytics y Machine Learning.

ADF también ofrece Soporte para CI/CD de sus canales de datos mediante Azure DevOps y GitHub. Esto permite desarrollar y entregar de manera incremental los procesos ETL antes de publicar el producto terminado.

Una vez que los datos sin procesar se hayan refinado en un formato listo para su uso comercial, se pueden cargar en Azure Data Warehouse, Azure SQL Database, Azure Cosmos DB o cualquier motor de análisis al que tus usuarios comerciales puedan apuntar desde sus herramientas de inteligencia empresarial.

Una vez que se haya creado e implementado correctamente la canalización de integración de datos, se podrá obtener valor comercial a partir de datos refinados, monitorear las actividades y canalizaciones programadas para conocer las tasas de éxito y fracaso.

ADF está diseñado para la integración y orquestación de datos, destacando por mover datos entre varias fuentes, transformarlos y cargarlos en una ubicación centralizada para su posterior análisis. Por ello es ideal para escenarios en los que se necesita automatizar y administrar flujos de trabajo de datos en varios entornos.

Por su parte, Databricks se centra en el procesamiento de datos, el análisis y el ML. Es la plataforma de referencia para las compañías que buscan realizar análisis de datos a gran escala, desarrollar modelos de ML y colaborar en proyectos de ciencia de datos.

ADF ofrece capacidades de transformación de datos a través de su función Data Flow, que permite a los usuarios realizar varias transformaciones directamente dentro de la canalización. Aunque son potentes, estas transformaciones suelen ser más adecuadas para los procesos ETL y pueden no ser tan extensas o flexibles como las que ofrece Databricks.

Esta última ofrece capacidades avanzadas de transformación de datos. Los usuarios pueden aprovechar toda la potencia de Spark para realizar transformaciones, agregaciones y tareas de procesamiento de datos complejas, lo que lo hace muy atractiva en la manipulación y cálculo de datos.

Ambas se integran con otros servicios de Azure, pero con enfoques diferentes. ADF está diseñado para ETL y orquestación, lo que hace que sea la mejor herramienta para administrar flujos de trabajo de datos que involucran múltiples servicios de Azure.

Databricks, al estar más centrado en el análisis avanzado y la IA, se integra mejor con servicios como Delta Lake para el almacenamiento de datos y Azure Machine Learning para la implementación de modelos.

La interfaz de arrastrar y soltar de Azure Data Factory hace que sea sencillo su uso, incluso para perfiles con pocos conocimientos técnicos.

Sin embargo, Databricks requiere de un nivel mayor de competencia técnica, lo que lo hace más adecuado para ingenieros y científicos de datos.

Las dos son altamente escalables, pero cada una destaca en áreas diferentes. ADF está diseñado para manejar tareas de migración e integración de datos a gran escala, lo que la hace perfecta para orquestar flujos de trabajo ETL complejos.

Databricks ofrece un rendimiento superior para el procesamiento y análisis de grandes volúmenes de datos, lo que le hace la mejor opción para escenarios que requieren escalabilidad y computación de alto rendimiento.