Data Engineer
Indexed description
Description Du Poste
Expert de l’écosystème Databricks, vous concevez et industrialisez des architectures de données scalables pour soutenir les projets Analytics et IA. À l’intersection du Software Engineering et du Cloud, vous transformez des flux complexes en plateformes performantes, automatisées et prêtes pour l'échelle.
Missions détaillées
- Conception et développement de pipelines ETL/ELT complexes, en batch et en streaming, sur l'écosystème Databricks / Cloud
- Tuning des clusters, partitionnement des données et optimisation des requêtes pour garantir la scalabilité et maîtriser la facture
- Industrialisation des déploiements, orchestration des jobs et mise en place de tests de qualité automatisés
- Monitoring des flux en production, gestion du lignage des données et garantie de la cohérence technique entre les sources et les cibles.
- Maîtrise avancée de SQL et Python, une maitrise de Scala est un plus
- Expérience approfondie avec au moins une plateforme cloud (AWS, Azure, GCP) et sur Databricks
- Maitrise des frameworks de traitement de données distribuées (Spark, PySpark)
- Maîtrise du cycle de vie logiciel (Git, CI/CD via GitHub Actions/GitLab CI) et de la conteneurisation (Docker, K8s)
- Expérience avec l'IaC (Terraform)
- Issu(e) d'une école d'ingénieur ou équivalent avec minimum 4 ans d'expérience en Data Engineering dont au moins 2 ans dans un écosystème Databricks
- Excellent relationnel et capacité à travailler en équipe
- Sens prononcé du service et engagement dans vos activités
- Aptitude à résoudre des problèmes complexes
- Rigueur et souci du détail
Tous nos postes sont ouverts aux personnes en situation de handicap.
Create a free Caio profile to unlock more results and save your role and location preferences.
Unlock free search