Databricks für Softwareentwickler

Teil 1: Apache Spark Grundlagen

- Warum Big Data andere Werkzeuge benötigt
- Rolle von Spark im modernen Data Engineering
- Unterschied von lokaler vs. verteilter Verarbeitung
- Überblick Spark-Ökosystem (Spark SQL, Streaming, MLlib)
- Spark als Engine hinter Databricks
- Einführung Databricks Architektur (Workspace, Account Console, Unity Catalog)

Teil 2: Apache Spark Core Konzepte

- Spark Architektur: Driver, Executors und Cluster-Ressourcen
- Spark Execution Model: Jobs, Stages und Tasks
- Lazy Evaluation und Optimierung von Ausführungsplänen
- Directed Acyclic Graph (DAG) in Spark

Teil 3: Entwicklung mit Apache Spark

- DataFrames als zentrale Datenstruktur in Spark
- Nutzung von Spark SQL zur Datenverarbeitung
- Transformationen wie select, filter, join und groupBy
- Actions wie count, collect und write

Teil 4: Delta Lake Grundlagen

- Delta Lake als ACID-Layer im Lakehouse
- Delta Transaction Log und Tabellenstruktur
- Time Travel und Versionierung
- Delta Lake vs. klassischer Data Lake

Teil 5: Dateiformate im Lakehouse

- Apache Parquet als Standardformat im Lakehouse
- Columnar Storage für analytische Abfragen
- Vorteile von Parquet gegenüber CSV und JSON
- Predicate Pushdown und Data Skipping
- Parquet in Kombination mit Delta Lake

Teil 6: Performance-Grundlagen in Spark

- Ursachen und Umgang mit Data Skew/Shuffle
- Partitionierung verstehen und sinnvoll einsetzen
- Einführung in AQE (Adaptive Query Execution)

Teil 7: Data Ingestion mit Azure Databricks

- Typische Ingestion-Patterns im Lakehouse
- Batch-Ingestion aus Dateien, Datenbanken und APIs
- Streaming-Ingestion mit Auto Loader und Event Streams
- Append- und Merge-Strategien
- Verarbeitung inkrementeller Daten

Teil 8: Pipelines & Jobs in Databricks

- Aufbau von ETL- und ELT-Pipelines
- Orchestrierung mit Databricks Workflows
- Job-Planung und Automatisierung
- Fehlerhandling und Retry-Strategien
- Task-Abhängigkeiten in Workflows

Teil 9: Batch vs. Streaming Pipelines

- Unterschiede zwischen Batch und Streaming
- Einsatzszenarien für Batch- und Streaming-Pipelines
- Structured Streaming in Spark
- Trigger-Optionen und Checkpointing
- Exactly-Once-Semantik

Teil 10: Teststrategien für produktive Pipeliens

- Bedeutung von Testing in Datenpipelines
- Teststrategien für produktive Pipelines
- Unit Tests für Transformationen
- Data Quality Checks testen

Teil 11: Versionskontrolle & Deployment

- Git-Integration in Databricks
- Arbeiten mit Databricks Repos
- Git vs. Databricks Asset Bundles
- Asset Bundles für CI/CD und Deployment

Teil 12: Datenzugriff & Datenbereitstellung aus Databricks

- Zugriff über JDBC und ODBC
- Zugriff über REST APIs und SDKs
- SQL Warehouses als Serving Layer
- Database Lakebase als Serving Layer
- Integration von BI-Tools wie Power BI und Tableau
- Reverse ETL und Datenaustausch
- Best Practices für Datenbereitstellung

Teil 13: Databricks Apps

- Einführung in Databricks Apps
- Typische Anwendungsfälle für Datenanwendungen
- Kombination von Data Engineering und Apps
- Deployment von Databricks Apps
- Security und Zugriffskonzepte

Teil 14: Best Practices für Data Engineers

- Medaillon-Architektur mit Bronze, Silver und Gold
- Saubere Datenmodellierung im Lakehouse
- Dokumentation und Data Contracts
- Zusammenarbeit zwischen Data Engineering und Analytics