Data Engineering — Apache Spark, Airflow, dbt et architecture data moderne

📖 À propos de ce cours

Construisez une **plateforme data moderne** de bout en bout : architecture Lakehouse (Snowflake, BigQuery, Databricks), ingestion batch et streaming avec **Apache Spark**, orchestration avec **Apache Airflow**, transformation SQL avec **dbt**, qualité avec **Great Expectations** et streaming avec **Kafka + Flink**. Ce cours expert prépare à la **Databricks Certified Data Engineer Associate** et à la **Snowflake SnowPro Core Certification**.

👥 Pour qui ?

Ce cours s'adresse aux data engineers juniors et confirmés, analytics engineers, ETL developers en transition cloud, et data scientists souhaitant maîtriser les pipelines data en amont du machine learning. Une bonne maîtrise de **SQL avancé** (CTEs, window functions, joins) et **Python intermédiaire** est indispensable. La connaissance de Git est attendue. Aucun prérequis cloud — les TP utilisent les free tiers Databricks Community Edition et Snowflake Trial.

🎯 Ce que vous allez apprendre

Au terme du parcours, vous saurez choisir entre **Data Lake, Data Warehouse et Lakehouse** ; provisionner et utiliser **Snowflake, BigQuery, Databricks** ; écrire des **PySpark** avec DataFrames, Spark SQL, partitionnement intelligent et tuning ; construire des **DAGs Airflow** avec operators, sensors, XComs, taskflow API, et déployer sur **Astronomer ou MWAA** ; modéliser une couche analytics avec **dbt** (sources, models, tests, snapshots, macros, semantic layer) ; mesurer la qualité avec **Great Expectations, Monte Carlo, Soda** ; et concevoir une pipeline **streaming Kafka + Flink ou Spark Structured Streaming**.

L'examen blanc compte 25 questions de mi-parcours et l'examen final 50 questions, format QCM, seuil 70 %, simulant le format de la **Databricks Data Engineer Associate** (45 QCM, 90 min, 200 USD) et de la **SnowPro Core** (100 QCM, 115 min, 175 USD). Les questions s'appuient sur la documentation officielle spark.apache.org, airflow.apache.org, getdbt.com, ainsi que les ressources Databricks Academy et Snowflake University.

⏱ Durée et organisation

La durée estimée est de **70 heures** (4 200 minutes), réparties sur 8 à 10 semaines à raison de 7 h par semaine. Le format alterne théorie (35 %), TP pratiques sur Databricks Community + Snowflake Trial + Airflow local (50 %) et mini-projet end-to-end (15 %, pipeline ingestion -> Spark transform -> dbt -> Looker/Metabase). Chaque leçon contient des snippets PySpark, du SQL dbt et du Python Airflow. Sources principales : spark.apache.org, airflow.apache.org, docs.getdbt.com, docs.databricks.com, docs.snowflake.com, "Fundamentals of Data Engineering" (Reis & Housley, O'Reilly 2022).

📚 Programme du cours (7 leçons)

1

Leçon 1 — Architecture data moderne : Data Lake, Warehouse, Lakehouse (Snowflake, BigQuery, Databricks)

▶ Lecon ⏱ 60 min

▶ Aperçu gratuit
2

Leçon 2 — Apache Spark : RDD, DataFrames, Spark SQL, PySpark et tuning

▶ Lecon ⏱ 60 min

🔒 S'inscrire pour accéder
3

Leçon 3 — Apache Airflow : DAGs, operators, sensors, XComs, TaskFlow API

▶ Lecon ⏱ 60 min

🔒 S'inscrire pour accéder
4

Leçon 4 — dbt : sources, models, tests, snapshots, macros et semantic layer

▶ Lecon ⏱ 60 min

🔒 S'inscrire pour accéder
5

Leçon 5 — Data quality, streaming Kafka/Flink et préparation Databricks Data Engineer Associate

▶ Lecon ⏱ 60 min

🔒 S'inscrire pour accéder
55

Examen blanc — Data Engineering (25 questions)

▶ Examen ⏱ 30 min

🔒 S'inscrire pour accéder
155

Examen final — Data Engineering (50 questions)

▶ Examen ⏱ 60 min

🔒 S'inscrire pour accéder

🎓 Quiz disponibles (2)

🎯

Examen blanc — Data Engineering (25 questions)

📝 25 questions ⏱ 30 min 🎯 Seuil 70% ⭐ 50 XP

🔒 S'inscrire pour accéder
🎯

Examen final — Data Engineering (50 questions)

📝 50 questions ⏱ 60 min 🎯 Seuil 70% ⭐ 100 XP

🔒 S'inscrire pour accéder

📚 Voir tous les quiz du catalogue →

🎯 Ce que vous allez apprendre

Maîtriser les fondamentaux de ce module en suivant un parcours structuré
Mettre en pratique avec des exercices et études de cas concrets
Évaluer votre progression grâce aux quiz interactifs
Obtenir un certificat de complétion à la fin du parcours
Bénéficier du support de la communauté ITAG

📋 Prérequis

Curiosité et envie d'apprendre
Aucun prérequis technique particulier
Connexion internet (cours accessibles depuis tout appareil)

À partir de

8 000 FCFA / 1 mois

Standard Tech — 1 spécialité Cameroun

📅 Réserver maintenant → ▶ Aperçu gratuit (1ère leçon) 📋 Voir tous les plans détaillés

🎯 Tester l'examen blanc associé →

✓ Accès illimité 24/7
✓ Compatible mobile, tablette, ordinateur
✓ Certificat de complétion ITAG
✓ Support par email & communauté
✓ Paiement Mobile Money sécurisé

Data Engineering — Apache Spark, Airflow, dbt et architecture data moderne

📖 À propos de ce cours

👥 Pour qui ?

🎯 Ce que vous allez apprendre

⏱ Durée et organisation

📚 Programme du cours (7 leçons)

🎓 Quiz disponibles (2)

🎯 Ce que vous allez apprendre

📋 Prérequis

🎯 Simulations Examens associées

📚 Autres cours Data

📋 Templates associés à ce cours

Data Engineering — Apache Spark, Airflow, dbt et architecture data moderne

📖 À propos de ce cours

👥 Pour qui ?

🎯 Ce que vous allez apprendre

⏱ Durée et organisation

📚 Programme du cours (7 leçons)

🎓 Quiz disponibles (2)

🎯 Ce que vous allez apprendre

📋 Prérequis

🎯 Simulations Examens associées

📚 Autres cours Data

📋 Templates associés à ce cours

⚙️ Préférences cookies