Data Engineering sur Azure (Data Factory, Databricks, Synapse)
Durée de la formation
Début de la formation
Objectifs de la formation
À l’issue de cette formation, les participants seront capables de :
- Situer les rôles et responsabilités du Data Engineer dans un projet Big Data/Cloud
- Construire des pipelines d’intégration avec Data Factory
- Déployer et exécuter des traitements distribués avec Databricks
- Interroger et analyser de larges volumes de données avec Synapse
- Concevoir une architecture data moderne sur Azure combinant les trois services
- Appliquer les bonnes pratiques de sécurité, gouvernance et monitoring des données
Prérequis pour la formation
- Connaissances de base en bases de données (SQL)
- Notions en Cloud ou en manipulation de données (Excel, ETL, BI)
Programme
de la formation
Introduction & Data Factory
Introduction au Data Engineering et à l’écosystème Azure
Présentation de Data Factory
Création et exécution de pipelines
Gestion des connecteurs et sources de données
Automatisation, planification et monitoring des flux
Azure Databricks
Introduction à Spark et Databricks
Utilisation des notebooks (Python/SQL)
Nettoyage et transformation des données massives
Collaboration et versioning dans Databricks
Intégration avec Data Factory
Azure Synapse & Mise en perspective
Concepts de Data Warehouse moderne
Création et interrogation de tables dans Synapse
Requêtes analytiques à grande échelle
Connexion Synapse ? Power BI
Architecture intégrée Data Factory + Databricks + Synapse
Gouvernance, sécurité et bonnes pratiques
Les exercices proposés visent à illustrer les concepts à travers des mises en situation :
Exercices d’ingestion et d’orchestration : création d’un pipeline Data Factory pour charger des données brutes (ex. fichiers CSV)
Exercices de transformation : nettoyage et enrichissement d’un dataset dans un notebook Databricks avec production d’une table Delta
Exercices d’analytique : chargement et interrogation des données dans Synapse (requêtes distribuées, vues)
Exercice récapitulatif “mini-projet bout-à-bout” : conception d’un flux complet combinant Data Factory, Databricks et Synapse, incluant gouvernance de base et supervision
Personne de contact
Formateur :
La société CogniTIC est active dans les domaines de la consultance, du développement et de la formation en systèmes d’information.
Tous les collaborateurs de CogniTIC mettent à profit leur expérience en tant que développeur, architecte logiciel, analyste métier, responsable qualité ou chef de projet pour proposer des formations méthodologiques et technologiques en fonction des besoins des entreprises et des réalités du marché.
