Accord inter-annotateurs pour l’évaluation des LLM : guide pratique

L’accord inter-annotateurs est l’un des signaux les plus importants dans un pipeline d’évaluation de LLM. Il indique si plusieurs évaluateurs, placés devant les mêmes réponses modèle, appliquent les critères de manière cohérente. Sans ce signal, une équipe peut croire qu’elle mesure la qualité d’un modèle alors qu’elle mesure surtout l’ambiguïté de ses consignes, la fatigue de ses annotateurs ou les biais d’un panel trop restreint.

Beaucoup d’équipes traitent l’accord inter-annotateurs comme une simple vérification au début d’un projet. Elles lancent un pilote, calculent un score, puis passent à l’échelle. En pratique, l’IAA doit être considéré comme un indicateur continu. Les modèles changent, les prompts évoluent, les cas limites apparaissent, les évaluateurs interprètent différemment les consignes et les jeux d’évaluation se déplacent vers des exemples plus difficiles.

Ce guide explique comment utiliser l’accord inter-annotateurs dans une stratégie d’évaluation de LLM prête pour la production : quelles métriques choisir, quels seuils viser, comment interpréter les désaccords et comment transformer l’IAA en système de pilotage qualité.

Pourquoi le désaccord est une information, pas du bruit

Dans les tâches d’annotation classiques, le désaccord est souvent vu comme un défaut à éliminer. Pour l’évaluation de LLM, cette lecture est trop simpliste. Un désaccord peut signaler un problème de consigne, mais il peut aussi révéler une ambiguïté réelle du cas d’usage. Deux évaluateurs peuvent être tous les deux compétents et pourtant juger différemment une réponse lorsque les critères de factualité, utilité, sécurité ou style entrent en tension.

Par exemple, une réponse peut être factuellement correcte mais trop vague pour un utilisateur expert. Une autre peut être utile mais insuffisamment sourcée. Une troisième peut respecter la politique de sécurité tout en refusant une demande qui aurait dû être autorisée. Dans ces cas, le désaccord n’est pas seulement une erreur humaine. C’est une information sur le modèle, le produit et la grille d’évaluation.

La bonne question n’est donc pas “comment atteindre 100 % d’accord ?”. La bonne question est : “quels désaccords sont acceptables, lesquels sont révélateurs d’un risque, et comment les utiliser pour améliorer nos consignes, notre modèle et notre processus de revue ?”

Les métriques qui comptent vraiment

Le pourcentage d’accord simple est facile à comprendre, mais il est rarement suffisant. Si une classe domine fortement le jeu de données, deux annotateurs peuvent être d’accord très souvent par hasard. Les métriques robustes corrigent une partie de ce problème et permettent de comparer les résultats dans le temps.

Kappa de Cohen : deux annotateurs, catégories discrètes

Le kappa de Cohen est utile lorsque deux évaluateurs notent les mêmes exemples avec des catégories comme “correct”, “incorrect”, “dangereux”, “acceptable” ou “non conforme”. Il corrige l’accord attendu par hasard. C’est une bonne métrique pour un pilote à deux annotateurs, mais elle devient vite limitée lorsque l’équipe passe à trois évaluateurs ou plus.

Kappa de Fleiss : plusieurs annotateurs, catégories discrètes

Le kappa de Fleiss généralise l’idée du kappa à plusieurs annotateurs. Il est utile lorsque chaque exemple est évalué par plusieurs personnes, avec une grille catégorielle. Il fonctionne bien pour des décisions binaires ou multiclasses, mais il reste moins flexible lorsque les données sont ordinales, continues ou incomplètes.

Alpha de Krippendorff : la métrique la plus flexible pour la production

L’alpha de Krippendorff est souvent plus adapté aux pipelines de production. Il supporte différents types de données, des nombres d’annotateurs variables et des jeux où tous les évaluateurs ne voient pas tous les exemples. C’est particulièrement utile pour les opérations d’évaluation LLM, où l’on combine parfois des notes catégorielles, ordinales et continues.

Corrélations : notes continues et préférences

Lorsque les évaluateurs attribuent des scores sur une échelle, par exemple de 1 à 5 pour l’utilité ou la factualité, les corrélations peuvent compléter les métriques d’accord. Elles indiquent si les annotateurs classent les réponses dans le même ordre, même s’ils n’utilisent pas exactement la même sévérité. Elles sont utiles pour détecter les évaluateurs trop stricts, trop indulgents ou incohérents.

Fixer les bons seuils

Il n’existe pas de seuil universel. Une valeur acceptable dépend du type de tâche, de la subjectivité attendue et du niveau de risque. Chercher un score très élevé sur une tâche intrinsèquement subjective peut conduire à simplifier artificiellement la grille ou à supprimer des signaux utiles.

Tâches objectives : viser 0,90 ou plus

Pour des tâches très objectives, comme vérifier si une réponse contient une information précise issue d’un document de référence, un accord élevé est attendu. Si le kappa ou l’alpha reste bas, le problème vient souvent des consignes, du jeu de référence ou de la formation des évaluateurs.

Tâches modérément subjectives : viser 0,70 à 0,85

Pour des évaluations de qualité de réponse, d’utilité, de clarté ou de complétude, un accord entre 0,70 et 0,85 peut être solide. Ces tâches demandent du jugement. L’objectif est de réduire l’ambiguïté inutile sans effacer la nuance.

Tâches subjectives : accepter 0,60 à 0,75

Les données de préférence RLHF ou DPO, les comparaisons de style, les évaluations d’expérience utilisateur et certaines décisions de sécurité produisent naturellement plus de désaccord. Un score de 0,65 peut être acceptable si les désaccords sont analysés, documentés et répartis de manière cohérente.

Éviter le piège de la fausse précision

Un score unique peut donner une impression de rigueur excessive. Il faut toujours le lire avec la distribution des classes, les exemples de désaccord, les commentaires des évaluateurs et les tendances dans le temps. Un IAA global correct peut masquer une très mauvaise cohérence sur les cas critiques.

Exploiter l’IAA comme un signal continu

Stratégie de recouvrement

Toutes les données n’ont pas besoin d’être revues par plusieurs annotateurs, mais une proportion stable doit l’être. Le recouvrement peut être plus élevé pendant le pilote, puis réduit lorsque le processus est stable. Il doit remonter lorsqu’un nouveau type de tâche, une nouvelle langue, un nouvel évaluateur ou une nouvelle version de modèle entre dans le pipeline.

Suivi dans le temps

L’IAA doit être suivi par tâche, langue, classe, évaluateur, lot et période. Une baisse progressive peut signaler une dérive des consignes. Une chute brutale peut indiquer un changement de distribution, un problème de briefing ou une nouvelle ambiguïté dans les exemples.

Protocoles d’intervention

Un système de qualité mature définit à l’avance ce qui se passe lorsque l’accord baisse : revue des exemples désaccordés, calibration de l’équipe, réécriture des consignes, arbitrage expert, suspension temporaire d’un lot ou réentraînement d’un évaluateur. L’objectif est d’éviter les décisions improvisées.

IAA pour RLHF : pourquoi les données de préférence sont différentes

Les datasets de préférence utilisés pour RLHF ou DPO ne cherchent pas toujours une vérité unique. Ils cherchent à capturer des préférences humaines utiles pour orienter un modèle. Le désaccord est donc attendu, surtout lorsque deux réponses sont proches ou que les critères se concurrencent.

Dans ce contexte, il faut regarder plus que l’accord binaire. Les commentaires qualitatifs, la force de préférence, la cohérence par type de prompt et la stabilité des évaluateurs dans le temps deviennent très importants. Une préférence faible et très disputée ne doit pas être traitée comme une préférence forte et évidente.

Pour construire des jeux de données de préférence pour RLHF et DPO, l’IAA doit donc servir à calibrer la qualité du signal, pas à forcer un consensus artificiel.

Quand l’IAA peut être trompeur

Déséquilibre de classes

Si 95 % des exemples appartiennent à une même classe, le score peut devenir difficile à interpréter. Il faut toujours analyser les classes rares séparément, surtout lorsqu’elles correspondent aux cas les plus risqués : hallucinations critiques, violations de sécurité, contenus interdits ou refus incorrects.

Accord de surface, désaccord profond

Deux annotateurs peuvent choisir la même catégorie pour des raisons différentes. Par exemple, ils peuvent tous deux marquer une réponse comme “mauvaise”, l’un à cause d’une erreur factuelle, l’autre à cause d’une absence de source. Sans commentaires ou taxonomie d’erreur, l’accord apparent cache un diagnostic différent.

Biais partagé

Un accord élevé n’est pas toujours une preuve de qualité. Si tous les évaluateurs partagent le même biais, le score peut être excellent et le jeu de données mauvais. C’est pourquoi la diversité des profils, la calibration et l’audit externe peuvent être nécessaires sur les sujets sensibles.

Mesure uniquement en pilote

L’erreur la plus fréquente consiste à mesurer l’IAA une seule fois. Un pilote réussi ne garantit pas que la qualité restera stable sur 50 000 évaluations, plusieurs langues ou plusieurs mois de production.

Construire une infrastructure IAA pour la production

Couche outil

La plateforme doit permettre le recouvrement, l’assignation contrôlée, les grilles de notation, les commentaires, l’arbitrage, l’export des décisions et la traçabilité. Sans ces éléments, l’IAA devient un calcul ponctuel dans un tableur au lieu d’un vrai système qualité.

Tableaux de bord et alertes

Les responsables qualité doivent voir les tendances par lot, tâche, annotateur et langue. Les alertes permettent d’intervenir avant que des milliers d’exemples incohérents ne soient validés.

Documentation conformité

Pour les équipes européennes, l’IAA devient aussi un élément de documentation. Il montre comment la qualité humaine est pilotée, comment les erreurs sont détectées et comment les décisions sont tracées. Cette discipline est particulièrement utile lorsque le système doit répondre à des exigences de gouvernance, d’audit ou de conformité au règlement européen sur l’IA.

Calibration continue

Les réunions de calibration ne doivent pas être réservées au démarrage. Elles servent à discuter les désaccords, préciser les définitions, ajouter des exemples et aligner les nouveaux évaluateurs. Les meilleurs guides d’annotation évoluent au contact des cas réels.

Ce que cela signifie pour les opérations européennes

Les équipes européennes doivent souvent concilier qualité, confidentialité, multilinguisme et conformité. L’IAA doit donc être mesuré dans les langues réellement utilisées, sur des données représentatives et avec des workflows de revue adaptés au niveau de sensibilité. Un bon score en anglais sur un jeu générique ne prouve pas la qualité d’un système utilisé en français, allemand, espagnol ou arabe.

L’accord inter-annotateurs est aussi un moyen de professionnaliser la relation avec un prestataire. Il crée un langage commun pour parler de qualité, arbitrer les désaccords et décider quand un lot peut passer en production.

Le bilan honnête

L’accord inter-annotateurs ne remplace pas l’expertise métier, l’analyse qualitative ou l’évaluation produit. Mais sans lui, une évaluation de LLM repose sur des impressions difficiles à défendre. La bonne approche consiste à combiner métriques robustes, analyse des cas de désaccord, calibration continue et documentation claire.

Un bon pipeline ne cherche pas à supprimer tous les désaccords. Il apprend à distinguer les désaccords utiles des incohérences dangereuses, puis transforme cette information en amélioration opérationnelle.

Si vous construisez une infrastructure qualité pour l’évaluation LLM

DataVLab aide les équipes IA à concevoir des workflows d’évaluation humaine, de notation, de recouvrement, d’arbitrage et de suivi qualité pour les LLM. Pour mettre en place un pipeline d’évaluation fiable, contactez-nous.