Azure Data Factory : Orchestrez et automatisez vos flux de données dans le cloud. New
Découvrez comment Azure Data Factory simplifie l'intégration et la transformation de données dans le cloud.
Azure Data Factory (ADF) est un service d'intégration de données cloud entièrement géré qui permet de créer des workflows de données pour déplacer et transformer des données à grande échelle. Cette formation de 2 jours vous permettra de comprendre les concepts clés d'ADF et d'acquérir les compétences pratiques pour concevoir, construire et déployer des pipelines de données robustes et efficaces.
La formation aborde les contenus techniques suivants :
- Introduction à Azure Data Factory et Fondamentaux
- Activités et Transformations dans Azure Data Factory
- Surveillance, Gestion et Déploiement
Niveau Intermédiaire
Durée de la formation
Début de la formation
Objectifs de la formation
Au terme de la formation, le participant sera en mesure de :
- Comprendre les concepts fondamentaux d'Azure Data Factory (ADF) et son rôle dans le traitement et le transfert des données dans le cloud.
- Apprendre à créer des flux de données et des pipelines de données pour orchestrer les workflows de données complexes.
- Maîtriser les différentes activités et transformations disponibles dans Azure Data Factory.
- Comprendre comment intégrer et transformer des données provenant de différentes sources et destinations.
- Savoir comment surveiller, gérer et déployer les pipelines de données dans Azure Data Factory.
Prérequis pour la formation
- Notions de Business Intelligence ou avoir suivi la formation Introduction à la Business Intelligence, connaissance du langage SQL
- Compréhension des bases du cloud computing et du fonctionnement général des services cloud.
Programme
de la formation
- Introduction à Azure Data Factory et Fondamentaux
- Introduction à Azure Data Factory
- > Présentation d'Azure Data Factory et ses avantages dans le traitement des données.
- > Comprendre l'architecture d'ADF et ses principaux composants.
- > Configuration de l'environnement de développement pour Azure Data Factory.
- Création de Flux de Données
- > Utilisation de l'interface utilisateur et des outils en ligne de commande pour créer des flux de données.
- > Comprendre les concepts de jeux de données, de datasets et de connexions aux sources et destinations de données.
- > Création de flux de données pour extraire, transformer et charger (ETL) des données.
- Création de Pipelines de Données
- > Utilisation des flux de données pour créer des pipelines de données.
- > Orchestration de workflows de données complexes avec les pipelines.
- > Planification et déclenchement de l'exécution des pipelines.
- Introduction à Azure Data Factory
- Activités et Transformations dans Azure Data Factory
- Activités de Données
- > Utilisation des différentes activités prédéfinies pour réaliser des tâches spécifiques (e.g., copier des données, exécuter des scripts, etc.).
- > Utilisation des paramètres et des variables pour rendre les activités dynamiques.
- > Gestion des dépendances entre les activités.
- Transformations de Données
- > Comprendre les transformations de données disponibles dans Azure Data Factory (e.g., jointures, agrégations, filtrage, etc.).
- > Appliquer des transformations aux données pour les nettoyer et les préparer pour l'analyse.
- Activités de Données
- Surveillance, Gestion et Déploiement
- Surveillance et Gestion des Pipelines
- > Utilisation des outils de surveillance pour suivre l'exécution des pipelines.
- > Comprendre les journaux d'exécution et la gestion des erreurs.
- > Utilisation des mécanismes de reprise pour gérer les erreurs de pipeline.
- Déploiement des Pipelines de Données
- Génération de fichiers de déploiement pour les pipelines de données.
- Déploiement des pipelines dans des environnements de développement, de test et de production.
- Stratégies de déploiement pour une mise à jour en douceur des pipelines.
- Surveillance et Gestion des Pipelines
- Exercices pratiques
- Création d'un flux de données pour extraire des données d'une source.
- Création d'un pipeline pour orchestrer le flux de données et charger les données dans une destination.
- Planification de l'exécution du pipeline à des heures spécifiques.
- Utilisation des activités de données pour copier et déplacer des fichiers.
- Création d'une transformation pour agréger des données provenant de différentes sources.
- Gestion des dépendances entre les activités pour orchestrer un workflow de données complexe.
- Surveillance de l'exécution des pipelines et analyse des journaux.
- Utilisation des mécanismes de reprise pour gérer les erreurs d'exécution.
- Déploiement d'un pipeline dans un environnement de test ou de production.
Personne de contact
Formateur :
bstorm est une entreprise belge de services informatiques comptant 50 experts, spécialisée dans la transformation digitale, l’analyse de données et le développement de solutions sur mesure. Son expertise en analyse de données permet de transformer des volumes d’informations complexes en insights exploitables, offrant des outils puissants pour optimiser la prise de décision et les performances des entreprises. En complément, bstorm est un acteur reconnu de la formation professionnelle.
