ETL-Pipeline

Demonstration des automatisierten Datenimports. Im Zielsystem laufen diese Pipelines automatisch (monatlich/jährlich) via Apache Airflow. Hier simulieren wir den Import neuer Abfalldaten der ERZ für das Jahr 2025.

Datenaktualisierung: ERZ Entsorgung 2025

Neue Abfalldaten von ERZ (Entsorgung + Recycling Zürich) importieren, validieren, Emissionen berechnen und API aktualisieren.

1
Datenquelle abfragen
ERZ-API: Abfalldaten 2025 abrufen
2
Datenvalidierung
Vollständigkeit, Plausibilität, Datentypen prüfen
3
Transformation und Berechnung
FOEN-Emissionsfaktoren anwenden, CO2 berechnen
4
Datenbank-Import
Ergebnisse in PostgreSQL speichern
5
Sektor-Neuberechnung
Berechnungsgraph für Sektor Entsorgung aktualisieren
6
API-Aktualisierung
GraphQL-API und Cache aktualisieren

Importierte Rohdaten (ERZ)

Anlage Typ Menge (t) Jahr

Berechnete Emissionen

Anlage Typ Menge (t) Faktor CO2 (t)

✅ Pipeline erfolgreich abgeschlossen

-
Datensätze
-
t CO2 berechnet
-
Anteil Stadtemissionen
-
Sekunden Laufzeit
→ Aktualisiertes Dashboard anzeigen