Data engineer

Description du poste :

Le Data Engineer (H/F) a pour mission d’assurer la collecte, le traitement et le stockage des données dans la Plateforme Data Cloud Azure de manière efficace. Il travaille sur l’implémentation de pipelines optimisés et l’exposition des données répondant aux besoins des cas d’usages data ainsi que des applications.

 

Les principales responsabilités sont de :

 

• Conception et développement de pipelines de données pour l'extraction, le chargement et la transformation (ELT) des données;
• Création et gestion de bases de données et d'entrepôts de données;
• Implémentation de l'architecture de données et des modèles de stockage;
• Automatisation des processus de gestion des données pour améliorer l'efficacité et la productivité;
• Optimisation des performances des pipelines et assurer un traitement efficace des données;
• Mise en place de la sécurité des données et des mécanismes de protection des données sensibles;
• Collaboration avec les parties prenantes (métiers, Data Scientists, Data Analysts, développeurs…) pour soutenir les initiatives liées aux données;
• Maintenance des pipelines de données développés;
• Documentation des processus et des normes liés à la gestion des données...

 

Profil recherché :

 

De formation Bac+5 d'une Ecole d’Ingénierie avec une expérience de minimum 2 ans dans la Data Engineering ou dans un poste similaire, dans laquelle vous avez développé les compétences techniques liées aux technologies suivantes :

• Bonne connaissance des technologies Data sur Azure.
• Maîtrise des langages de programmation Python et SQL.
• Bonne connaissance des outils et des frameworks de Big Data tels que Hadoop, Spark, Kafka.
• Compétences dans la conception et le développement de pipelines ELT.
• Compétences en modélisation de données et gestion des schémas.
• Connaissance des bases de données relationnelles et non relationnelles.
• Capacité à optimiser les performances des bases de données...