جديد
وصف الوظيفة
Rejoignez Discovered, un acteur majeur du développement d’une plateforme d’intelligence artificielle à grande échelle à Abu Dhabi. Nous recherchons un Principal Evals Engineer pour piloter la stratégie d’évaluation de nos systèmes d’IA de nouvelle génération, couvrant assistants conversationnels, moteurs de recherche, workflows autonomes, applications vocales et intelligence documentaire. Vous serez responsable de la définition, de la mise en place et de la gouvernance des standards d’évaluation qui garantiront la fiabilité, la robustesse et la conformité de nos modèles IA avant leur mise en production.
**Vos missions principales**
- Concevoir et déployer une architecture d’évaluation partagée, réutilisable par toutes les équipes produit et d’ingénierie.
- Définir la stratégie globale d’évaluation IA, incluant les métriques de performance, de qualité de génération (hallucinations, factualité, citations) et de comportement.
- Créer et maintenir des jeux de données de référence (« golden datasets ») avec versionning, gouvernance et conformité aux exigences de confidentialité.
- Automatiser les pipelines d’évaluation, de notation et de détection de régressions pour des modèles non déterministes.
- Mettre en place des tableaux de bord et des alertes permettant aux équipes de décision de s’appuyer sur des preuves objectives lors du déploiement.
- Conduire des expérimentations, analyser les résultats et publier des recommandations techniques pour l’amélioration continue des modèles.
- Former et accompagner les équipes d’ingénierie sur les bonnes pratiques d’évaluation et de suivi de la qualité IA.
**Profil recherché**
- Minimum 8 ans d’expérience en ingénierie IA, avec une expertise avérée en évaluation de modèles de langage large (LLM) et de systèmes d’IA générative.
- Maîtrise des méthodologies d’évaluation (benchmarking, métriques de précision, recall, BLEU, ROUGE, METEOR, etc.) et des outils d’automatisation (Python, PyTest, CI/CD, MLflow, Kubeflow).
- Expérience dans la création et la gestion de jeux de données de référence, incluant le versionning et la conformité aux normes de protection des données.
- Solides compétences en programmation (Python, Bash, SQL) et en infrastructure cloud (AWS, Azure, GCP) ainsi qu’en orchestration de conteneurs (Docker, Kubernetes).
- Capacité à travailler de façon autonome tout en collaborant étroitement avec des équipes produit, data science et DevOps.
- Excellentes compétences en communication écrite et orale en anglais ; la maîtrise du français est un atout.
**Ce que nous offrons**
- Un poste stratégique au cœur d’un projet d’envergure internationale, avec une forte visibilité au sein de l’organisation.
- Un environnement de travail stimulant à Abu Dhabi, combinant innovation technologique et culture collaborative.
- Un package de rémunération compétitif, incluant des avantages sociaux, un plan de formation continue et des opportunités de développement de carrière.
- La possibilité de façonner les standards d’évaluation IA d’une organisation leader du secteur.
Rejoignez-nous pour contribuer à la création de systèmes d’IA fiables, sécurisés et prêts à être déployés à grande échelle dans le monde réel.
