Data Engineering — Apache Spark, Airflow, dbt et architecture data moderne

📖 About this course

Construisez une **plateforme data moderne** de bout en bout : architecture Lakehouse (Snowflake, BigQuery, Databricks), ingestion batch et streaming avec **Apache Spark**, orchestration avec **Apache Airflow**, transformation SQL avec **dbt**, qualité avec **Great Expectations** et streaming avec **Kafka + Flink**. Ce cours expert prépare à la **Databricks Certified Data Engineer Associate** et à la **Snowflake SnowPro Core Certification**.

👥 Pour qui ?

Ce cours s'adresse aux data engineers juniors et confirmés, analytics engineers, ETL developers en transition cloud, et data scientists souhaitant maîtriser les pipelines data en amont du machine learning. Une bonne maîtrise de **SQL avancé** (CTEs, window functions, joins) et **Python intermédiaire** est indispensable. La connaissance de Git est attendue. Aucun prérequis cloud — les TP utilisent les free tiers Databricks Community Edition et Snowflake Trial.

🎯 Ce que vous allez apprendre

Au terme du parcours, vous saurez choisir entre **Data Lake, Data Warehouse et Lakehouse** ; provisionner et utiliser **Snowflake, BigQuery, Databricks** ; écrire des **PySpark** avec DataFrames, Spark SQL, partitionnement intelligent et tuning ; construire des **DAGs Airflow** avec operators, sensors, XComs, taskflow API, et déployer sur **Astronomer ou MWAA** ; modéliser une couche analytics avec **dbt** (sources, models, tests, snapshots, macros, semantic layer) ; mesurer la qualité avec **Great Expectations, Monte Carlo, Soda** ; et concevoir une pipeline **streaming Kafka + Flink ou Spark Structured Streaming**.

L'examen blanc compte 25 questions de mi-parcours et l'examen final 50 questions, format QCM, seuil 70 %, simulant le format de la **Databricks Data Engineer Associate** (45 QCM, 90 min, 200 USD) et de la **SnowPro Core** (100 QCM, 115 min, 175 USD). Les questions s'appuient sur la documentation officielle spark.apache.org, airflow.apache.org, getdbt.com, ainsi que les ressources Databricks Academy et Snowflake University.

⏱ Durée et organisation

La durée estimée est de **70 heures** (4 200 minutes), réparties sur 8 à 10 semaines à raison de 7 h par semaine. Le format alterne théorie (35 %), TP pratiques sur Databricks Community + Snowflake Trial + Airflow local (50 %) et mini-projet end-to-end (15 %, pipeline ingestion -> Spark transform -> dbt -> Looker/Metabase). Chaque leçon contient des snippets PySpark, du SQL dbt et du Python Airflow. Sources principales : spark.apache.org, airflow.apache.org, docs.getdbt.com, docs.databricks.com, docs.snowflake.com, "Fundamentals of Data Engineering" (Reis & Housley, O'Reilly 2022).

📚 Course program (7 lessons)

1

Leçon 1 — Architecture data moderne : Data Lake, Warehouse, Lakehouse (Snowflake, BigQuery, Databricks)

▶ Lesson ⏱ 60 min

▶ Free preview
2

Leçon 2 — Apache Spark : RDD, DataFrames, Spark SQL, PySpark et tuning

▶ Lesson ⏱ 60 min

🔒 Sign up to access
3

Leçon 3 — Apache Airflow : DAGs, operators, sensors, XComs, TaskFlow API

▶ Lesson ⏱ 60 min

🔒 Sign up to access
4

Leçon 4 — dbt : sources, models, tests, snapshots, macros et semantic layer

▶ Lesson ⏱ 60 min

🔒 Sign up to access
5

Leçon 5 — Data quality, streaming Kafka/Flink et préparation Databricks Data Engineer Associate

▶ Lesson ⏱ 60 min

🔒 Sign up to access
55

Examen blanc — Data Engineering (25 questions)

▶ Exam ⏱ 30 min

🔒 Sign up to access
155

Examen final — Data Engineering (50 questions)

▶ Exam ⏱ 60 min

🔒 Sign up to access

🎓 Available quizzes (2)

🎯

Examen blanc — Data Engineering (25 questions)

📝 25 questions ⏱ 30 min 🎯 Threshold 70% ⭐ 50 XP

🔒 Sign up to access
🎯

Examen final — Data Engineering (50 questions)

📝 50 questions ⏱ 60 min 🎯 Threshold 70% ⭐ 100 XP

🔒 Sign up to access

📚 View all catalog quizzes →

🎯 What you'll learn

Master the fundamentals of this module with a structured path
Practice with real-world exercises and case studies
Track your progress through interactive quizzes
Earn a completion certificate at the end of the course
Benefit from the ITAG community support

📋 Prerequisites

Curiosity and willingness to learn
No specific technical prerequisites
Internet connection (courses accessible from any device)

From

8 000 FCFA / 1 mois

Standard Tech — 1 spécialité Cameroun

📅 Book now → ▶ Free preview (lesson 1) 📋 View all detailed plans

🎯 Try the related mock exam →

✓ 24/7 unlimited access
✓ Works on mobile, tablet, desktop
✓ ITAG completion certificate
✓ Email & community support
✓ Payment Secure Mobile Money

Data Engineering — Apache Spark, Airflow, dbt et architecture data moderne

📖 About this course

👥 Pour qui ?

🎯 Ce que vous allez apprendre

⏱ Durée et organisation

📚 Course program (7 lessons)

🎓 Available quizzes (2)

🎯 What you'll learn

📋 Prerequisites

🎯 Related exam simulations

📚 Other Data courses

📋 Associated templates

Data Engineering — Apache Spark, Airflow, dbt et architecture data moderne

📖 About this course

👥 Pour qui ?

🎯 Ce que vous allez apprendre

⏱ Durée et organisation

📚 Course program (7 lessons)

🎓 Available quizzes (2)

🎯 What you'll learn

📋 Prerequisites

🎯 Related exam simulations

📚 Other Data courses

📋 Associated templates

⚙️ Préférences cookies