🪑 (Lead) Data Engineer 🙋♀️ Data Lakehouse & Cloud-Architektur (m/w/d) 🙋♂️ German fluency required

Hey hallo! Schön, dass du hier reinschaust!

Wir möchten uns kurz vorstellen:

x-markets consulting - Die Boutique-Beratung für den Kapitalmarkt

Seit nunmehr 25 Jahren gestalten wir als kleine, feine Beratungsboutique den Kapitalmarkt mit unseren hochwertigen Leistungen für namhafte Kunden aus der Banken- und Börsenwelt aktiv mit. Dabei stehen wir für Consulting auf Augenhöhe und maßgeschneiderte Lösungen rund um aktuelle Themen wie Finanzmarktregulierung, Handelsabwicklung, Digitalisierung, Nachhaltigkeit und Informationssicherheit.

Wir sind ständig auf der Suche nach pfiffigen Menschen, die zu uns passen und vielleicht suchen wir ja gerade dich!?

Reizt es dich, den Kapitalmarkt der Zukunft mitzugestalten? Und du hast Lust, deine analytischen und kommunikativen Fähigkeiten als verlässlicher Teamplayer in einer besonderen Beratungsboutique einzusetzen, in der du maßgeblich durch deine eigene Initiative Karriere machen kannst? Dann passen wir womöglich gut zusammen.

Worum es konkret geht

Unsere Kunden lösen gewachsene Datensilos auf und bauen cloudbasierte Lakehouse-Plattformen für Analytics, regulatorisches Reporting und fachlich verantwortete Data. Von der Architekturskizze bis zur Pipeline, die im Betrieb tatsächlich hält, gestaltest du diese Plattformen mit:

• Du entwirfst und implementierst skalierbare Lakehouse-Lösungen, die Batch- und Near-Real-Time-Verarbeitung gleichermaßen tragen
• Du baust und optimierst robuste Datenstrecken mit Python, SQL und PySpark – entlang der Medallion-Architektur von Bronze bis Gold
• Du konzipierst event-getriebene Architekturen auf Basis von Kafka, AMQP oder vergleichbaren Messaging-Technologien
• Du machst aus Daten verlässliche Data Products: mit Governance, Metadatenmanagement, Datenqualitätskontrollen und Data Contracts, die Schemata, SLAs, Qualitätserwartungen und Versionierung verbindlich festhalten
• Du orchestrierst Workflows und etablierst CI/CD-Prozesse, die ein Team auch dann noch trägt, wenn die Plattform gewachsen ist
• Du arbeitest eng mit cross-funktionalen Agile- und DevOps-Teams zusammen und gibst dabei fachliche Orientierung – Architekturentscheidungen, Best Practices, technische Führung

Mindestens drei bis fünf Jahre Berufserfahrung als Data Engineer sowie fundiertes Fachwissen in einem oder in mehreren der folgenden Bereiche solltest du vorweisen können

• Databricks & Spark: Azure Databricks oder Databricks on GCP, PySpark, Spark SQL, Delta Lake (ACID-Transaktionen, Time Travel, Schema Enforcement), Unity Catalog, Performance Tuning und Partitionierungsstrategien
• Cloud-Plattformen: fundierte Praxis mit MS Azure und/oder Google Cloud Platform sowie deren Datendiensten und Architekturmustern
• Streaming & Event-Driven Architecture: Apache Kafka, AMQP oder vergleichbare Messaging-Technologien im produktiven Einsatz
• Datenmodellierung: Medallion-Architektur, dimensionale Modellierung, Schema Design – dazu Sicherheit im Umgang mit Parquet, Avro, Delta und Iceberg
• Governance & Data Mesh: Enterprise Data Catalogs (Unity Catalog, Google Dataplex, Alation o. ä.), Data Contracts, Metadatenmanagement sowie domänenorientierte Data-Ownership-Modelle
• Orchestrierung: Apache Airflow, Azure Data Factory, Databricks Workflows, Dagster oder Prefect – inklusive Scheduling, Monitoring und Alerting
• CI/CD & Automatisierung: GitHub Actions oder Jenkins, Databricks Asset Bundles, Docker, Git; Infrastructure as Code mit Terraform oder Ansible ist ein deutliches Plus
• Zusätzlich willkommen: Erfahrung mit der Anbindung von Legacy-Quellen (Mainframe EBCDIC, COBOL-Copybooks, Fixed-Width-Files, SFTP) und mit Backend-/API-Entwicklung in Python (FastAPI, Flask, Pydantic, OpenAPI)

Was du darüber hinaus mitbringen solltest

• Selbstständige Arbeitsweise sowie starke analytische und kommunikative Fähigkeiten
• Die Fähigkeit, technische Sachverhalte verständlich zu erklären – bei uns sitzt du regelmäßig mit Fachbereichen an einem Tisch, nicht nur mit Entwicklern
• Erfahrung in agilen, cross-funktionalen Teams und Lust darauf, technisch Verantwortung zu übernehmen
• Interesse an Finanzmärkten und Kapitalmarktprozessen; Berührungspunkte mit Trading- und Clearing-Daten oder regulatorischem Reporting sind ein deutliches Plus
• Sauberer Umgang mit Git, Code Reviews und CI/CD; Erfahrung mit gängigen PM-Tools wie JIRA und Confluence
• Erfahrungen in einer Beratungsfirma sind ein Plus
• Verhandlungssichere Deutsch- und Englischkenntnisse in Wort und Schrift sind ein Muss

Was wir dir bieten können

• Eigenverantwortliches Arbeiten und Direkteinstieg in die Projektwelt mit individueller Betreuung durch einen persönlichen Mentor
• Tatkräftige Unterstützung durch ein eingespieltes und erfahrenes Team
• Außergewöhnliche Entwicklungsmöglichkeiten und persönliche Karriereplanung mit 2-Säulen-Karrieremodell
• International anerkannte Weiterbildungsprogramme
• Attraktive Vergütung
• Exzellente Ausstattung, Deutschland Ticket, PKW-Parkplatz, Job-Rad
• Funktionierende Work-Life-Balance
• Offene und kollegiale Firmenkultur mit flachen Hierarchien und Team Building in lockerer Atmosphäre

Klingt interessant für dich?

Dann freuen wir uns auf deine Bewerbung am besten per E-Mail an [email protected].

Nähere Informationen zu x-markets consulting findest du auf unserer Homepage (www.x-markets.de). Oder kontaktiere uns doch einfach, wenn du eine konkrete Frage hast.

x-markets consulting

Ziele. Gemeinsam. Verwirklichen.