Data Engineering Bootcamp

Vor Beginn des Bootcamps absolvierst du ein selbstgesteuertes Pre-Work-Modul, um deine Grundlagen in Python, SQL und Datenverarbeitung zu festigen – einschließlich Git-Versionierung und zentralen Cloud-Konzepten. Du übst das Programmieren, die Datenmanipulation mit Pandas, SQL-Abfragen und moderne Data Workflows, sodass du ab Woche 1 direkt praktisch mit der Pipeline-Entwicklung starten kannst. Am Ende beherrschst du Python-Skripte, Datenaufbereitung mit Pandas und die Arbeit mit relationalen und Cloud-Datenbanken und bist bereit, reale Datenherausforderungen zu meistern.

Starte stark und entwickle die grundlegenden Programmier- und Datenarchitektur-Fähigkeiten, die jeder Data Engineer braucht. Du lernst Python für die Datenverarbeitung, beherrschst Pandas und NumPy für Transformationen und erweiterst deine SQL-Kenntnisse. Danach tauchst du in die Datenmodellierung ein: vom Entwerfen von Schemas und Datenbanken bis hin zum Verständnis, wie Data Lakes und Data Warehouses zusammenarbeiten. Am Ende hast du deine erste ETL-Pipeline gebaut und dein eigenes Datenschema von Grund auf gestaltet.

Dieses Modul führt dich in den Aufbau und die Automatisierung von Pipelines mit Airflow und dbt ein. Du planst Transformationen, verfolgst Datenherkünfte und testest Workflows end-to-end. Anschließend gehst du in die Welt von Big Data mit Apache Spark, verarbeitest große Datenmengen effizient und skalierst Performance wie ein Profi. Du optimierst PySpark-Transformationen, arbeitest mit Lazy Execution und feinjustierst die Performance verteilter Workloads, bevor du deine erste komplette Pipeline fertigstellst, die echte Analytics-Systeme antreibt.

Du lernst, Data Warehouses mit Snowflake, BigQuery oder Redshift aufzubauen und zu verwalten, Infrastruktur mit Terraform und Docker zu automatisieren und kosteneffiziente Multi-Cloud-Lösungen zu entwerfen. Dein Projekt integriert ETL-Pipelines, dbt-Transformationen und BI-Reporting. Danach verarbeitest du Live-Daten mit Kafka und Spark Streaming, steuerst Skalierung und Fehlertoleranz und erweiterst dein Wissen über Cloud-Streaming-Dienste wie Pub/Sub und Kinesis. Am Ende baust du eine Echtzeit-Datenpipeline mit Visualisierung im Live-Dashboard und sammelst praktische Erfahrung mit ereignisgesteuerten Architekturen und sofortigen Datenanalysen.

In diesem Modul liegt der Fokus auf dem, was einen großartigen Data Engineer ausmacht: Zuverlässigkeit, Transparenz und Wirkung. Du testest und validierst Datenqualität mit Great Expectations, verfolgst Datenherkünfte mit dbt und wendest Best Practices für Datenschutz und Compliance an. Anschließend startest du dein Capstone-Projekt: ein praxisnahes, produktionsreifes Projekt, bei dem du ein komplettes Datensystem entwirfst, baust und implementierst, inklusive Echtzeit-Pipelines, Governance und Analytics-Visualisierung.

Am Ende des Bootcamps bearbeitest du Capstone-Projekte auf Produktionsniveau, die reale Unternehmenssysteme simulieren. Du entwirfst, baust und implementierst Pipelines mit Echtzeit-Streaming, Governance und Analysevisualisierung. In Teil I erstellst du eine Echtzeit-Banking-Transaktionspipeline, während Teil II sich auf Streaming und Governance von Telecom-CDRs konzentriert. Parallel dazu übst du Agile-Zusammenarbeit, Git-Workflows, technische Kommunikation und Interviewvorbereitung, sodass du komplett jobready bist.