Data Engineer expérimenté

Contexte

Dans le cadre du développement d'une plateforme de données moderne évoluant dans un environnement exigeant et hautement sécurisé, NSI recherche un Data Engineer pour rejoindre une équipe multidisciplinaire composée d'experts Data, Architecture et BI.

Vous contribuerez à la conception, à l'industrialisation et à l'exploitation d'une plateforme Data basée sur les principes du Lakehouse et de la gouvernance de données.

Pré-requis du poste

Vos responsabilités

Data Ingestion & Pipelines

• Concevoir et développer des pipelines d'ingestion depuis des sources variées (API REST, bases de données relationnelles, fichiers CSV/Parquet).
• Mettre en œuvre des flux batch, incrémentaux et streaming.
• Garantir la qualité, la traçabilité et la fiabilité des données.

• Développer les couches Bronze, Silver et Gold dans une architecture Medallion.
• Implémenter des modèles de transformation performants et maintenables.
• Mettre en œuvre les mécanismes d'historisation et de gestion des données

• Administrer et optimiser les tables Delta Lake.
• Assurer la cohérence transactionnelle et la performance des traitements.
• Participer à l'évolution continue de la plateforme Data.

• Développer et maintenir les workflows d'orchestration.
• Superviser les exécutions et gérer les incidents.
• Automatiser les contrôles et les alertes

• Alimenter les outils de catalogage et de gestion des métadonnées.
• Maintenir le lignage des données.
• Participer à la documentation et aux bonnes pratiques de gouvernance.

• Développer les mécanismes d'exposition des données pour les outils analytiques.
• Collaborer avec les équipes BI et reporting afin de répondre aux besoins métiers.

Compétences indispensables

• Excellente maîtrise de Python et SQL .
• Expérience solide avec dbt Core .
• Bonne connaissance de DuckDB .
• Expérience avec Delta Lake .
• Maîtrise de MSSQL et/ou PostgreSQL .
• Expérience avec Dagster , Airflow ou un orchestrateur équivalent.
• Bonne maîtrise des environnements Linux/OpenShift .
• Connaissance d'outils de gouvernance tels que DataHub ou OpenMetadata .
• Expérience dans un environnement BI/Data Analytics.

• Kafka / Debezium.
• Spark SQL.
• Power BI Report Server (PBIRS) ou Apache Superset.
• Connaissance des architectures Lakehouse, DWH et Data Lake.
• Sensibilité aux enjeux de sécurité et de gouvernance des données.

• Rigueur et autonomie.
• Esprit analytique et orientation solution.
• Bonnes capacités de communication.
• Esprit d'équipe.
• Curiosité et volonté d'apprendre.
• Une parfaite connaissance du Français est OBLIGATOIRE
• Une très bonne connaissance active de l’anglais est souhaitée