Mit dem Projekt wird die datenschutzkonforme, qualitätsgeprüfte und standardisierte Bereitstellung von großvolumigen, georeferenzierten multimodalen Sensordaten (erzeugt z.B. durch Befliegung, Begehung oder Befahrung) eines Mobilitäts- und Infrastrukturunternehmens an interne und externe Konsumenten (Anwendungen, Systeme, Use-Cases) umgesetzt.
- Ein webbasiertes User-Interface unterstützt den Fachprozess des Datenuploads sowie die Qualitätsprüfung und Freigabe für Nachnutzungsszenarien.
- Eine horizontal skalierbar aufgebaute und auf nativen Cloud-Services (AWS) basierende Architektur zur Datenprozessierung und -bereitstellung stellt eine hochperformante Lösung für die Verarbeitung und Weitergabe der Massendaten dar. Diese orientiert sich an der Big Data Referenzarchitektur des Unternehmens.
- Zur schnellen Annahme und Bereitstellung von Massendaten über Cloud-Transfer soll ein C2C-Ingress-Kanal aufgebaut werden.
- Als Teil eines agilen Teams wird nach DevOps-Prinzipien gearbeitet (eigenständige Deployments, Infrastructure as Code, Monitoring und Betrieb aus einer Hand).
Projetdetails
- Laufzeit: 01.07.2026 - 31.12.2026
- Auslastung: 108 PT / davon 6 PT vor Ort in Frankfurt am Main
!!! Für dieses Projekt werden ausschließlich Bewerbungen von angestellten Mitarbeiter*innen akzeptiert. Freiberufler*innen können beim Kunden leider nicht vorgestellt werden !!!
!!! Die Must-haves müssen zu 100% abgedeckt sein !!!
Projektbeschreibung
- Entwicklung von Datenpipelines zur Datenaufnahme und -verarbeitung
- Aufbau von Datenbanken und Data Warehouses
- Entwicklung von Datenmodellen für die Speicherung von Daten
- Integration von Daten aus verschiedenen Quellen
- Implementierung von Data Governance- und Sicherheitsrichtlinien
- Optimierung von Datenbanken und Datenverarbeitungsprozessen
- Erstellung von Datenvisualisierungen und -berichten
- Automatisierung von Datenprozessen
- Entwicklung von Lösungen zur Skalierung von Dateninfrastrukturen
- Erstellung von APIs und Integration von Daten in Anwendungen
- Entwicklung der Ingest-Pipeline: S3-Transfer Prüfung Provisioning
- Implementierung automatisierter Datenqualitätsprüfungen (Schema-Validierung, Integritätsprüfung)
- Integration der Malware-Scanning-Lösung in die Pipeline
- Aufbau der Provisioning-Zone (geprüfte Daten für Konsumenten bereitstellen)
- Feedback-Mechanismus an Datenlieferanten (Erfolg/Fehler)
Muss-Kriterien
skills
- Must-have: Fundierte Erfahrung im Aufbau von Datenpipelines auf AWS mit den Services S3, Step Functions, Lambda/Fargate, AWS Batch - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 5 Jahre
- Must-have: Fundierte Erfahrung mit AWS Glue - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 3 Jahre
- Must-have: Fundierte Erfahrung mit Datenformaten und Schema-Validierung: Parquet, CSV, JSON, YAML - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 3 Jahre
- Must-have: Fundierte Erfahrungen in der Implementierung mit Python - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 5 Jahre
- Must-have: Projekterfahrung in der Datenintegration aus heterogenen Quellen - Nachweis durch: Anzahl Referenzen - Anzahl/Nachweis: 2
Soll-Kriterien
- AWS-Zertifizierung - Nachweis durch: Zertifikate - Anzahl/Nachweis: AWS Certified Data Engineer oder Data Analytics Specialty - Gewichtung: 25%
- Batch-Verarbeitung großer Datenmengen (500 GB pro Lieferung) - Nachweis durch: Anzahl Referenzen - Anzahl/Nachweis: 2 - Gewichtung: 25%
- Fundierte Erfahrung in der Event-Driven-Datenverarbeitung: EventBridge, Step Functions - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 3 Jahre - Gewichtung: 25%
- Fundierte Erfahrung in der Umsetzung von Infrastructure as Code mit AWS CDK - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 1 Jahr - Gewichtung: 25%
DE
