Senior Data Engineer | Databricks, PySpark, Python, Data Lakehouse, IaC | bis 50% Home-Office (mwd)

Senior Data Engineer (mwd)

Als Senior Data Engineer erarbeiten Sie Lösungen im Banken- und Börsenumfeld. Sie migrieren dabei Legacy Mainframe-Systeme (COBOL, Flat Files) in moderne Cloud-Lakehouses.

Standort: Frankfurt am Main

Vertragsart: Unbefristete Festanstellung durch unseren Klienten

Aufgaben

• Als Senior Data Engineer erarbeiten Sie Lösungen im Banken- und Börsenumfeld. Sie migrieren dabei Legacy Mainframe-Systeme (COBOL, Flat Files) in moderne Cloud-Lakehouses.
• Ihre Tätigkeit erbringen Sie im folgenden Umfeld:
• Compute & Processing Engine: Databricks, PySpark, Python (pandas, numpy, scipy, os, itertools, matplotlib etc.), Spark SQL, Delta Lake
• Data Lakehouse Storage: Delta Lake (ACID-Transaktionen, Time Travel, Schema Enforcement)
• Orchestrierung & Workflow: Apache Airflow, Databricks Workflows (DAGs, Scheduling, Alerts)
• API & Microservices: Python (FastAPI / Flask), OpenAPI / Swagger, Entwicklung von RESTful APIs
• Data Governance & Mesh: Databricks Unity Catalog, OpenAPI Data Contracts
• Legacy & File Ingestion: Mainframe EBCDIC, Fixed-Width-File-Parser (KI-gestützt), Kafka, SFTP
• Infrastructure as Code (IaC): Cloud-Technologien, MS Azure
• CI/CD & DevOps: GitHub Actions / Azure DevOps, Docker, Git

Ihr Profil

• Sie haben mehrjährige Berufserfahrung im nachfolgenden Technologieumfeld:
• Databricks & PySpark: fundierte Kenntnisse in PySpark, Delta Lake, Performance Tuning, Partitionierungsstrategien sowie Databricks Unity Catalog
• API-Entwicklung: ausgeprägte Python-Kenntnisse im Backend-Bereich (FastAPI, Flask, Requests, Pydantic, Containerisierung mit Docker)
• Orchestrierung: Erfahrung im Schreiben komplexer Apache-Airflow-DAGs und/oder vergleichbarer Workflow-Tools
• IT-Architektur: Kenntnisse der Medallion-Architektur, dezentraler Data-Mesh-Ansätze sowie allgemeiner Backend-Architekturen
• Sie haben gute Deutsch- und Englischkenntnisse

Unser Klient ist ein mittelständisches Beratungshaus, das seine Kunden aus der Finanzbranche dabei unterstützt, die vielfältigen Herausforderungen, die im täglichen Handelsgeschäft oder etwa durch gesetzliche Änderungen und Regulierungen entstehen, zu bewältigen.

Machen Sie Ihren nächsten Karriereschritt und bewerben Sie sich gleich hier oder senden Sie uns Ihre vollständigen Bewerbungsunterlagen mit Angabe der Referenznummer 23680, Ihrer Gehaltsvorstellungen sowie ggf. Ihrer Reise- und Umzugsbereitschaft (Ein Anschreiben ist nicht erforderlich).

Ihre Daten werden von uns niemals ohne Ihre explizite Zustimmung für jeden Einzelfall weitergeleitet. Wir garantieren eine Rückmeldung innerhalb von 2 Arbeitstagen.

Vesterling ist seit über 25 Jahren einer der führenden Personaldienstleister im Bereich Technologie. Schwerpunkte der Tätigkeit sind das Recruiting von Experten bis hin zum Executive Search auf Vorstandsebene sowie das Outplacement. Unsere Consultants, selbst erfahrene Informatiker und Ingenieure, beraten Sie in allen Karrierefragen und unterstützen Sie bei der Auswahl geeigneter Positionen.