Stage de fin d’études — LLM-as-a-Judge : évaluation automatique, fiabilité et qualité des modèles d’IA (H/F)

Location: Puteaux, IDF, fr Employment Type: {'id': 'permanent', 'label': 'Full-time'}

Description de l'entreprise

Rejoignez un cabinet de conseil international qui accompagne les grandes transformations stratégiques.

Nous sommes Wavestone : des expert·es passionné·es et orienté·es solutions, qui placent l’humain au cœur de la performance et de la croissance. Ambitieux·ses et en pleine expansion, nous développons sans cesse notre portefeuille de clients et de projets, avec une portée internationale et une réelle volonté de générer un impact positif.

Êtes-vous un·e vrai·e team player, porté·e par des valeurs fortes ? Êtes-vous curieux·se et déterminé·e, avec l’envie d’apprendre chaque jour ? Êtes-vous du genre à relever les défis sans hésiter ? Alors vous êtes au bon endroit. Rejoignez Wavestone et exprimez votre potentiel dans un environnement stimulant et collaboratif, où l’on transforme les défis d’aujourd’hui en opportunités de demain.

Description du poste

Votre équipe

Une communauté de +500 consultants IA & Data, renforcée depuis septembre 2026 par l’intégration d’AI Builders. Nous accompagnons les organisations de bout en bout :

Identifier les cas d’usage IA à plus forte valeur métier

Concevoir des plateformes Data & IA performantes et industrialisées

Définir des modèles de gouvernance responsables et scalables

Du concret, pas de l’IA de démonstration : nos équipes développent des solutions déployées en production, parmi lesquelles :

Une plateforme Data Groupe sur Microsoft Fabric

Un système multi-agents traitant 80 000 demandes d’achat par an

Une plateforme de services IA basée sur l’écosystème Mistral

Un modèle de computer vision atteignant 91 % de précision terrain

Un écosystème technologique de premier plan : nous travaillons avec les principaux acteurs du marché : Microsoft, Google, AWS, Mistral, Anthropic, Databricks et Dataiku, tout en conservant une approche indépendante, guidée par la valeur créée pour nos clients.

Votre sujet de stage

En parallèle de vos missions, vous conduirez un sujet de stage fil rouge. Ce sujet vous permettra d’approfondir une expertise spécifique, de contribuer à la communauté IA de Wavestone et de valoriser vos travaux lors d’une restitution en fin de stage.

Votre sujet fil rouge consistera à concevoir un dispositif d’évaluation automatique fondé sur l’approche LLM-as-a-Judge : protocoles d’évaluation, jeux de test, mesure de la corrélation avec le jugement humain et analyse des biais du modèle juge. Vous contribuerez à produire un cadre d’évaluation applicable à l’ensemble de nos projets d’IA générative et agentiques.

Vos responsabilités

Sous la tutelle d’un·e consultant·e et le pilotage d’un·e manager, vous interviendrez progressivement sur les missions suivantes :

Concevoir des protocoles d’évaluation automatique de solutions GenAI et agentiques

Construire des jeux de test et des grilles de notation adaptés aux cas d’usage

Mesurer la fiabilité des évaluations et analyser les biais des modèles juges

Intégrer l’évaluation dans les chaînes de déploiement et les dispositifs de monitoring

Formaliser un cadre d’évaluation réutilisable et le diffuser au sein de la communauté

Quel que soit votre sujet, vous réaliserez une veille technologique continue sur les solutions Data & IA et contribuerez à la vie et au rayonnement de la communauté IA Wavestone.

Exemples de missions

Transverse : mise en place d’un dispositif d’évaluation continue sur une plateforme agentique multi-usages

Industrie : évaluation de la qualité et de la fiabilité des réponses d’un agent documentaire technique

Énergie : mesure de la pertinence d’un assistant conversationnel sur un corpus réglementaire

Votre accompagnement

Un·e tuteur·rice, un·e chef·fe de projet et un·e Career Development Manager pour vous guider tout au long de votre parcours

L’AI School, parcours d’acculturation commun à tous les arrivants, stagiaires inclus

L’accès à DataCamp, au programme d’upskilling AI&Me et à une licence Copilot M365

Des feedbacks réguliers, un parcours d’intégration structuré et une communauté active de nouveaux arrivants

Qualifications

Profil recherché

Étudiant·e en dernière année de grande école d’ingénieurs ou de commerce (Diplôme d’Ingénieur, PGE), avec une spécialisation en data science, intelligence artificielle, transformation digitale ou stratégie

Maîtrise de Python et pratique des frameworks LLM : appels d’API, prompt engineering, architectures RAG

Rigueur méthodologique et goût pour la mesure et l’expérimentation

Motivation pour découvrir le conseil et les environnements client grands comptes

Langues

Français : un niveau courant est requis pour ce poste

Anglais : un niveau minimum C1 est requis pour ce poste

Ce qui fera la différence

Curiosité intellectuelle et envie d’apprendre

Capacité d’analyse et de structuration

Autonomie et sens des responsabilités

Aisance en communication écrite et orale

Esprit d’équipe et goût du travail collaboratif

Informations supplémentaires

Pourquoi nous rejoindre

Un impact réel, à l’échelle : des solutions IA industrialisées et utilisées par des milliers d’utilisateurs, pas des POC qui s’arrêtent au MVP

Un spectre complet : stratégie, plateformes, engineering et gouvernance sous un même toit

Une trajectoire qui vous appartient : pas d’up-or-out, promotions sans quota, grilles salariales transparentes, progression à votre rythme

un environnement de travail flexible et collaboratif

Tous nos stages de fin d’études s’inscrivent dans une logique de pré-embauche.

Machine Learning · GenAI · LLM · RAG · MLOps · Python · AI Engineering · Junior Consultant

Parce que votre réussite est notre priorité, nous adaptons nos processus de recrutement et l’environnement de travail à vos besoins spécifiques ou situations de santé (aménagements de poste, tiers-temps, outils adaptés…). Cette démarche, confidentielle et fondée sur l’équité, garantit à chaque candidat·e les meilleures conditions pour exprimer son plein p