Senior Data Engineer Databricks (m/w/d)
Indexed description
Aufgaben
- Definition, Design und Weiterentwicklung der ETL/ELT-Prozesse der Datenplattform, um die Abstimmung mit den Geschäftsanforderungen sicherzustellen.
- Design und Implementierung von Datenaufnahme-, Transformations- und Persistenzprozessen innerhalb von Data Lake-, Data Warehouse- oder Lakehouse-Umgebungen.
- Aufbau und Sicherstellung der Datenqualitätssicherung durch die Definition von Kontrollen, Validierungen, Geschäftsregeln und Rückverfolgbarkeitsmechanismen.
- Definition technischer Standards, Best Practices und Entwicklungsmuster für Datenpipelines.
- Funktion als technische Referenz für das Data-Engineering-Team durch Expertenunterstützung, Code-Reviews und Mentoring.
- Direkter Dialog mit dem Kunden als technischer Experte, inklusive der Teilnahme an Designentscheidungen und der Definition der Datenstrategie.
- Koordination mit Architekten, Analysten, BI- und Data-Science-Teams, um die Kohärenz des Daten-Ökosystems zu gewährleisten.
- Optimierung der Performance, Skalierbarkeit und Zuverlässigkeit von Datenprozessen in produktiven Umgebungen.
- Dokumentation der Plattformarchitektur, der Datenflüsse und kritischer Prozesse.
Muss-Kriterien
- Mehr als 6 Jahre Erfahrung in Data Engineering und Datenintegrationsprojekten
- Umfangreiche Erfahrung in der Definition und Implementierung komplexer ETL/ELT-Prozesse
- Fortgeschrittene Domänenkenntnisse in Databricks
- Versiertheit in Python und SQL
- Erfahrung mit verteilter Verarbeitung unter Verwendung von Spark/PySpark
- Erfahrung in der Gestaltung moderner Datenarchitekturen, einschließlich Data Lake-, Data Warehouse- und Lakehouse-Umgebungen
- Fundierte Kenntnisse in der Datenqualitätssicherung, einschließlich Validierungen, Kontrollen, Abstimmung und Data Lineage
- Erfahrung in der Arbeit mit Cloud-Umgebungen wie Azure, AWS oder GCP
- Kenntnisse und Anwendung von CI/CD und Versionskontrolle mit Git in Bezug auf Datenpipelines
- Fähigkeit, Teams technisch zu leiten
- Starke Kommunikationsfähigkeiten und die Fähigkeit, sowohl mit technischen als auch mit geschäftlichen Profilen zu kommunizieren
- Erfahrung in der Arbeit mit agilen Methoden
- Databricks Data Engineering Zertifizierung
- Kenntnisse oder Erfahrung in Power BI
- Cloud- oder Data-Engineering-Zertifizierungen (Azure, AWS oder GCP Data Engineer)
Wir vertrauen den Menschen: Wir bieten Autonomie, kontinuierliche Unterstützung und ein kollaboratives Umfeld, in dem wir uns grenzenlos entwickeln können. Wir sind ein globales Team, geleitet von Respekt, Integrität und der Leidenschaft, jeden Tag besser zu werden.
- Flexibler Vergütungsplan: Krankenversicherung, Restaurant-Gutscheine, Kinderbetreuung, Transport
- Telemedizin
- Lebens- und Unfallversicherung
- Sozialfonds
- Urlaub: Mehr als 26 Arbeitstage pro Jahr
- 100 % Lohnfortzahlung im Krankheitsfall
- Kostenloser Zugang zu Spezialisten (Gesundheits-, Wellness- und Rechtsberatung)
- T-Social: soziale Initiativen (Sport, Community, Gesundheit etc.)
Weitere Details
- Berufliche Weiterentwicklung:
- Maßgeschneiderte Trainings: Zugang zu Coursera
- Wöchentliche Sprachkurse (Englisch, Spanisch und Deutsch)
- Global Mentoring Sessions und Experience Days
- Arbeitszeiten: Flexible Arbeitszeiten
- Teleworking: 4 Wochen Teleworking pro Jahr
- Internationales, dynamisches und kollaboratives Umfeld
Create a free Caio profile to unlock more results and save your role and location preferences.
Unlock free search