Data Engineer (m/w/d)
Indexed description
Aufgaben
- Infrastruktur-Deployment & Management: Effizientes Deployment und Management von Infrastruktur auf der Google Cloud Platform (GCP), einschließlich Netzwerkarchitekturen (Shared VPC, Hub-and-Spoke), Sicherheitsimplementierungen (IAM, Secret Manager, Firewalls, Identity-Aware Proxy), DNS-Konfiguration, VPN und Load Balancing.
- Datenverarbeitung & Transformation: Nutzung von Hadoop-Clustern mit Hive für Datenabfragen und PySpark für Datentransformationen. Implementierung von Job-Orchestrierung mit Airflow.
- Management von GCP-Kerndiensten: Umfangreiche Arbeit mit Services wie Google Kubernetes Engine (GKE), Cloud Run, BigQuery, Compute Engine und Composer, alle verwaltet über Terraform.
- Anwendungsimplementierung: Entwicklung und Implementierung von Python-Anwendungen für verschiedene GCP-Services.
- CI/CD-Pipelines: Integration und Management von GitLab Magenta CI/CD-Pipelines zur Automatisierung von Cloud-Deployment, Testing und Konfiguration verschiedener Datenpipelines.
- Sicherheit & Compliance: Implementierung umfassender Sicherheitsmaßnahmen, Verwaltung von IAM-Richtlinien, Secrets mit Secret Manager und Durchsetzung von Identity-Aware-Richtlinien.
- Datenintegration: Handhabung der Integration von Datenquellen aus CDI, Datendrehscheibe (FTP-Server), TARDIS-APIs und Google Cloud Storage (GCS).
- Multi-Environment-Deployment: Erstellung und Deployment von Workloads über Development (DEV)-, Testing (TEST)- und Production (PROD)-Umgebungen hinweg.
- KI-Lösungen: Implementierung von KI-Lösungen mit Googles Vertex AI zum Erstellen und Bereitstellen von Machine-Learning-Modellen.
Muss-Kriterien
- Vertrautheit mit Google Cloud Platform (GCP)
- Vertrautheit mit Terraform für Infrastrukturmanagement
- Python-Programmierung für Anwendungsimplementierung
- Vertrautheit mit GitLab CI/CD für Automatisierung
- Vertrautheit mit Netzwerkarchitekturen
- Vertrautheit mit Sicherheitsimplementierungen
- Vertrautheit mit der Verwaltung von zentralen GCP-Services
- Kenntnisse im Einsatz von Datenverarbeitungstools wie Hive und PySpark
- Kenntnisse in Datenorchestrierungstools wie Airflow
- Vertrautheit mit der Verwaltung und Integration verschiedener Datenquellen
- Zertifizierter GCP Cloud Architect
- Zertifizierter GCP Data Engineer
Wir vertrauen Menschen: Wir bieten Autonomie, kontinuierliche Unterstützung und ein kollaboratives Umfeld, in dem du ohne Grenzen wachsen kannst. Wir sind ein globales Team, geleitet von Respekt, Integrität und der Leidenschaft, jeden Tag besser zu werden.
- Flexibler Vergütungsplan (Krankenversicherung, Essensgutscheine, Kinderbetreuung, Transport)
- Telemedizin
- Lebens- und Unfallversicherung
- Sozialfonds
- 26+ Urlaubstage pro Jahr
- Kostenloser Zugang zu Fachdiensten (medizinisch, rechtlich, Wellness)
- 100% Gehaltsfortzahlung während Krankheitsurlaub
- Zugang zu Coursera, um zu lernen, was du willst, wann du willst
- Wöchentliche Sprachkurse (Englisch & Deutsch)
- Internationale Mentoring-Sessions & Experience Days
Weitere Details
- Internationales, dynamisches und kollaboratives Umfeld
- T-Social: soziale Initiativen (Sport, Community, Gesundheit, ...)
- Hybrides Arbeitsmodell (remote/vor Ort)
- Flexible Arbeitszeiten
Create a free Caio profile to unlock more results and save your role and location preferences.
Unlock free search