Ingénieur(e) LLMOps / MLOps / Observabilité

Ingénieur(e) LLMOps / MLOps / Observabilité

Nous recherchons l'ingénieur(e) clé qui prendra en main l'infrastructure d'observabilité, d'évaluation et de contrôle des coûts de nos applications IA.

Le challenge :

Garantir la fiabilité, la qualité et la maîtrise des coûts de tous les cas d'usage LLM en production sur l'ensemble de l'organisation.

Ce que vous ferez au quotidien :

• Infrastructures d'observabilité : Déployer et gérer le tracing distribué, le suivi de la latence, des coûts et de la qualité des LLM (évaluation du stack actuel avec Langfuse vs alternatives comme Langsmith).
• Pipelines d'évaluation : Concevoir les outils permettant d'exécuter et de versionner des suites de tests en continu (offline & online evals).
• Versioning & Data : Structurer le versioning des prompts, des modèles et la gestion des datasets de test.
• Alerting & Qualité : Mettre en place la détection automatique des dégradations de qualité en production et la gestion du registre de modèles.

Le profil idéal :

• Expertise Observabilité & LLMOps : Expérience concrète sur du tracing distribué, métriques, alerting (idéalement appliqués aux LLM) et le déploiement d'outils d'observabilité dans de grandes entreprises.
• Cloud & Tools : À l'aise avec les déploiements sur AWS et la manipulation d'outils du paysage LLMOps (Langfuse, Langsmith, Braintrust...).