Bootcamp Data Engineering

Avant le début du bootcamp, vous suivrez un module de pré-travail en autonomie pour renforcer vos bases en Python, SQL et gestion de données, ainsi qu’en contrôle de version Git et concepts clés du cloud. Vous pratiquerez le codage, la manipulation de données avec Pandas, les requêtes SQL et les flux de travail modernes pour pouvoir passer directement au développement pratique de pipelines dès la première semaine. À la fin, vous serez à l’aise avec les scripts Python, la transformation de données avec Pandas et la navigation dans des bases relationnelles et cloud, prêt à relever des défis concrets dès le premier jour.

Commencez fort en développant les compétences de programmation et d’architecture de données essentielles à tout Data Engineer. Vous apprendrez Python pour la manipulation des données, maîtriserez Pandas et NumPy pour les transformations, et perfectionnerez vos compétences SQL. Ensuite, vous explorerez le modelage des données, de la conception de schémas et de bases de données à la compréhension du fonctionnement des data lakes et des data warehouses. À la fin, vous aurez construit votre premier pipeline ETL et conçu votre propre schéma de données de A à Z.

Ce module vous initie à la création et à l’automatisation de pipelines avec Airflow et dbt. Vous planifierez les transformations, suivrez la lignée des données et testerez les workflows de bout en bout. Ensuite, vous découvrirez le big data avec Apache Spark, traitant efficacement des ensembles de données massifs et optimisant les performances comme un pro. Vous affinerez les transformations PySpark, explorerez l’exécution paresseuse et ajusterez les performances pour les systèmes distribués, avant de livrer votre premier pipeline complet capable d’alimenter des systèmes analytiques réels.

Vous apprendrez à construire et gérer des data warehouses avec Snowflake, BigQuery ou Redshift, automatiser l’infrastructure avec Terraform et Docker et concevoir des solutions multi-cloud efficaces. Votre projet intégrera pipelines ETL, transformations dbt et reporting BI. Ensuite, vous traiterez des données en temps réel avec Kafka et Spark Streaming, gérerez l’évolutivité et la tolérance aux pannes, et explorerez des services de streaming cloud comme Pub/Sub et Kinesis. À la fin, vous aurez construit un pipeline d’ingestion et d’analyse en temps réel, visualisé sur un dashboard en direct, acquérant une expérience pratique des architectures orientées événements et des analyses instantanées.

Ce module vous concentre sur ce qui fait un excellent Data Engineer : fiabilité, transparence et impact. Vous testerez et validerez la qualité des données avec Great Expectations, suivrez la lignée des données avec dbt et appliquerez les bonnes pratiques de gouvernance pour la confidentialité et la conformité. Ensuite, place à votre Capstone Sprint, un projet pratique de niveau production où vous concevrez, construirez et déploierez un système complet intégrant pipelines temps réel, gouvernance et visualisation des données.

À la fin du Bootcamp, vous réaliserez des projets capstone de niveau production simulant des systèmes d’entreprise réels. Vous concevrez, construirez et déploierez des pipelines intégrant streaming en temps réel, gouvernance et visualisation analytique. La Partie I vous fera créer un pipeline de transactions bancaires en temps réel, tandis que la Partie II se concentrera sur le streaming et la gouvernance des CDR de télécommunications. En parallèle, vous pratiquerez la collaboration Agile, les workflows Git, la communication technique et la préparation aux entretiens, pour être parfaitement opérationnel sur le marché du travail.