Comment annoter des images pour les modèles IA d'OCR et de détection de texte

L'OCR ne fonctionne pas comme par magie. Il apprend à « voir » le texte de la même manière que les humains apprennent à lire : par une exposition répétée, des corrections et un contexte. Cela signifie que les données de formation sont importantes. Beaucoup.

Dans ce guide, nous aborderons le processus nuancé d'annotation d'images pour l'OCR et l'IA de détection de texte, en nous inspirant des meilleures pratiques du monde réel et des leçons durement acquises. Qu'il s'agisse d'étiqueter des factures imprimées ou des panneaux de signalisation multilingues, les informations présentées ici vous aideront à créer des modèles plus intelligents et plus fiables.

Pourquoi l'OCR a besoin d'une compréhension semblable à celle d'un être humain 🧠

La reconnaissance optique de caractères (OCR) peut sembler être une tâche mécanique : il suffit de trouver des lettres et de les recracher, n'est-ce pas ? Mais l'OCR dans le monde réel est bien plus complexe et plus humain que la plupart des gens ne le pensent. Le texte n'est pas qu'un texte. Il est dynamique, déformé et profondément contextuel. C'est précisément pourquoi l'IA doit aborder l'OCR comme le ferait un humain.

Explorons ce que cela signifie dans la pratique.

Tout est dans le contexte

Un être humain ne lit pas les caractères de manière isolée. Nous ne nous contentons pas d'identifier les formes, nous les interprétons en fonction du contexte. Par exemple :

• S'agit-il d'un « 1 », d'un « l » minuscule ou d'un « I » majuscule ? Cela dépend du texte qui l'entoure.
• Est-ce que « 12/05 » signifie le 5 décembre ou le 12 mai ? Cela dépend du pays.
• Est-ce que ce gribouillage est une signature ou juste une tache de stylo ?

Les modèles d'OCR qui ne tiennent pas compte du contexte peuvent mal interpréter des indices simples, en particulier dans des formats tels que les formulaires, les reçus ou les notes manuscrites. C'est pourquoi les annotations doivent souvent aller au-delà des marquages au niveau de la surface : elles doivent transmettre l'intention, la mise en page et la structure.

La lecture n'est pas toujours linéaire

Les humains savent naturellement comment numériser des pages, même celles qui sont chaotiques. Nous ignorons le texte non pertinent, suivons les titres, détectons les paragraphes et regroupons le contenu en sections. L'IA ne sait pas comment faire cela en soi.

Exemple : Une facture bien annotée comprendra non seulement des mots, mais des indicateurs de groupes tels que :

• Informations de facturation
• Eléments de ligne dans un tableau
• Totaux et notes de bas de page

Ces distinctions sont souvent perdues en raison de mauvaises pratiques d'annotation, ce qui donne lieu à des modèles qui extraient des mots mais ne parviennent pas à en interpréter le sens.

Le désordre du monde physique

Le texte dans la nature ne joue pas toujours franc jeu :

• Il apparaît sur des surfaces courbes, sous des reflets, derrière des objets.
• Il est écrit à la main dans un style précipité et bâclé.
• Il se décolore, se tache ou se déforme sur le vieux papier ou les emballages déchirés.

Les humains compensent sans effort. Nous percevons intuitivement les lettres même lorsqu'elles ne sont qu'à moitié visibles ou masquées. Nous reconnaissons le style, le contexte et même la langue attendue. Mais un modèle d'IA apprend uniquement ce qui est affiché. Votre annotation doit donc représenter cette variabilité.

C'est pourquoi des ensembles de données « propres » peuvent en fait affaiblir un modèle. Si vous vous entraînez uniquement sur des scans parfaits avec des polices claires, votre IA s'effondrera dès qu'elle sera confrontée à des images du monde réel. Plus vous annotez les cas extrêmes à l'aide de conseils précis, plus votre modèle se rapproche de la robustesse humaine.

Les indices sémantiques sont importants

Parfois, le sens du texte compte plus que le texte lui-même. Pense :

• Avertissements sur les panneaux de danger 🛑
• Dates de péremption sur les étiquettes des aliments
• Champs de nom sur les identifiants

Dans de tels cas, votre modèle d'OCR doit comprendre le rôle que joue un texte, et pas seulement ses caractères. C'est pourquoi les annotations doivent parfois inclure des métadonnées ou des étiquettes de classe (par exemple, « nom du produit » ou « étiquette de prix »).

Détection de texte ou reconnaissance de texte : qu'est-ce que nous étiquetons réellement ?

De nombreux pipelines d'OCR sont divisés en deux étapes :

• Détection de texte — Identifier la présence et l'emplacement du texte (généralement à l'aide de cadres de délimitation).
• Reconnaissance de texte — Traduire ces zones en caractères lisibles par machine (c'est-à-dire transformer une image en texte).

Vos annotations doivent prendre en charge les deux. Si vous ne faites que marquer l'emplacement du texte, mais pas la transcription, votre modèle n'apprendra peut-être jamais à lire. À l'inverse, l'étiquetage des transcriptions sans une bonne localisation crée de la confusion, en particulier dans les scènes encombrées.

Un ensemble de données efficace pour l'OCR contient généralement :

• Encadrés ou polygones autour des instances de texte (à des fins de détection)
• Transcriptions du contenu du texte (à des fins de reconnaissance)
• Attributs (comme la langue, l'orientation, la police de caractères, le niveau de bruit) dans certains cas

Difficultés courantes liées à l'annotation OCR (et comment les résoudre)

Explorons les problèmes auxquels chaque équipe d'annotation est confrontée et comment y faire face efficacement.

1. Gestion du texte incliné, incurvé ou pivoté

Le texte du monde réel n'est pas toujours simple. Pensez à :

• Panneaux de signalisation filmés depuis une voiture en mouvement
• Livres scannés avec reliures incurvées
• Notes autocollantes manuscrites sur le coin d'un ordinateur portable

💡 Solution : Au lieu de vous fier uniquement aux cadres de délimitation, utilisez des cadres de délimitation pivotés ou des polygones pour capturer avec précision la forme du texte. De nombreux modèles OCR modernes (comme EST et ARTISANAT) gèrent mieux les formes irrégulières lorsqu'ils sont entraînés avec des détails au niveau des polygones.

2. Annoter du texte dans des images de faible qualité

L'OCR dans le monde réel traite de :

• Reçus flous
• Cartes d'identité délavées
• Vidéos de surveillance en basse résolution

💡 Solution : Étiquetez avec des scores de confiance. Si un mot ou un caractère n'est pas clairement lisible, attribuez-lui une étiquette peu fiable (ou marquez-la comme illisible). Cela permet à votre modèle d'apprendre à gérer l'incertitude, ce que de nombreux ensembles de données commerciaux ignorent.

3. Environnements de script multilingues ou mixtes

Vues sur les rues de Dubaï. Menus des restaurants à Tokyo. Documents juridiques au Canada. Bienvenue dans la jungle linguistique.

💡 Solution : Incluez des métadonnées sur la langue par instance ou par image. Ce n'est pas uniquement à des fins d'analyse : de nombreux modèles d'OCR utilisent ces informations pour changer de jeu de caractères ou de règles de tokenisation de manière dynamique.

Conseil bonus : Ensemble de données OCR de Google est multilingue et constitue une excellente référence si vous créez un modèle mondial.

Meilleures pratiques pour des annotations de haute qualité

L'annotation OCR ne consiste pas seulement à baliser du texte, mais à jeter les bases de systèmes de lecture intelligents et réels. Voici comment le faire correctement.

Commencez par une directive d'annotation bien définie

Une directive d'annotation partagée est votre Bible. Sans un tel outil, même les annotateurs experts interpréteront les choses différemment. Votre directive doit couvrir les points suivants :

• Ce qu'il faut annoter : Est-ce que vous capturez tout le texte ou uniquement les champs pertinents ?
• Comment gérer les caractères peu clairs : Les annotateurs doivent-ils les deviner ou les signaler comme illisibles ?
• Traitement des sauts de ligne, de la ponctuation et de la mise en majuscule : Le mot « Dr. » doit-il être annoté avec ou sans le point ?
• Éléments spéciaux : Logos, tampons, filigranes : doivent-ils être ignorés, inclus ou étiquetés séparément ?

Une bonne directive évolue avec le projet. Mettez-le à jour régulièrement au fur et à mesure que des cas extrêmes surviennent.

Utilisez la pré-annotation pour gagner du temps, mais révisez toujours

La pré-annotation assistée par l'IA peut accélérer les choses, en particulier pour les grands ensembles de données. Des outils tels que Tesseract, EasyOCR ou Google Cloud Vision peuvent étiqueter automatiquement les cadres de sélection initiaux et les transcriptions.

Mais ne vous fiez jamais aveuglément à la machine.

• Une évaluation axée sur l'humain est essentielle.
• Les corrections doivent être enregistrées et réintégrées dans la boucle d'entraînement.
• Suivez toujours le taux d'erreur des pré-annotations de la machine par rapport à la révision manuelle.

La pré-annotation permet d'améliorer la productivité, mais uniquement lorsqu'elle est associée à un contrôle qualité.

Ne vous contentez pas de capturer du texte : capturez l'ordre de lecture et les relations

Les modèles OCR qui alimentent les applications en aval (telles que l'analyse de formulaires ou les flux de travail automatisés) doivent connaître séquence du texte et de ses relations.

• Éléments de la ligne de numérotation
• Lier les champs de nom aux libellés
• Indiquer l'alignement des colonnes dans les tableaux

C'est là que les annotateurs peuvent utiliser des balises de regroupement ou des métadonnées hiérarchiques pour structurer le texte sémantiquement, et pas seulement spatialement. C'est comme si vous donniez une carte à votre IA, et pas seulement des panneaux de signalisation.

Équilibrez granularité et utilité

Une erreur courante dans les annotations OCR est d'être trop détaillée ou trop vague.

• Trop vague : Si vous marquez des paragraphes entiers comme un cadre de délimitation, il est difficile pour le modèle d'apprendre des modèles de mots individuels.
• Trop détaillé : L'annotation de chaque caractère séparément peut ne pas apporter de valeur ajoutée, sauf si vous créez un modèle au niveau du personnage.

Recherchez le juste équilibre : les annotations au niveau des mots ou des lignes sont optimales pour la plupart des cas d'utilisation de l'OCR. Le niveau des caractères n'a de sens que pour des tâches telles que la résolution de CAPTCHA ou la reconnaissance de caractères manuscrits.

Valider auprès des annotateurs

Lorsque plusieurs annotateurs sont impliqués, les désaccords sont inévitables. Planifiez pour :

• Exemples superposés — Donnez la même image à plusieurs annotateurs pour mesurer la concordance.
• Rondes de QA — Faites appel à des réviseurs qualifiés ou à un vote par consensus pour valider les cas délicats.
• Journaux d'erreurs — Documentez où et pourquoi les désaccords se produisent. Cela peut également révéler des ambiguïtés dans vos directives.

Cette boucle de feedback vous permet de renforcer la cohérence et d'améliorer les compétences de l'équipe au fil du temps.

Capturez l'incertitude et l'ambiguïté

Les données du monde réel ne sont pas parfaites et prétendre qu'elles le sont ne fera que nuire à votre modèle. Au lieu de forcer les annotateurs à deviner :

• Autoriser des étiquettes telles que « incertain » ou « illisible »
• Laissez les transcriptions inclure « ### » ou « [flou] » pour texte endommagé
• Utiliser des scores de confiance facultatifs

Cela enseigne au modèle à fabriquer probabiliste décisions et gérez le flou du monde réel, plutôt que de vous fier à une « lecture parfaite » irréaliste.

Formez les annotateurs comme s'ils étaient des data scientists

Les annotateurs sont souvent sous-évalués dans les projets d'IA. Mais ce sont essentiellement les premiers professeurs de votre modèle. S'ils ne comprennent pas ce que le modèle doit apprendre, ils ne peuvent pas bien l'enseigner.

C'est pourquoi il est judicieux de :

• Formez les annotateurs à votre cas d'utilisation, et pas seulement à l'outil
• Afficher des exemples de ce à quoi ressemblent les « bonnes » et les « mauvaises » annotations
• Impliquez-les dans la révision des prévisions du modèle lorsque cela est possible

Plus vos annotateurs sont informés, plus vos données d'entraînement deviennent utiles.

Gestion des annotations à grande Scale AI 🔁

Une fois que vous dépassez quelques centaines d'images, la gestion du processus d'annotation devient un véritable défi.

Voici comment les équipes performantes s'y prennent :

Configuration d'un flux de révision

Votre processus doit inclure au moins :

• Annotation de premier passage
• Évaluation par les pairs
• Révision finale du QA

Cela garantit que les erreurs sont détectées et que les transcriptions sont alignées avec les cases.

Utiliser l'échantillonnage pour les mesures de qualité

Faire des vérifications ponctuelles est mieux que rien, mais les équipes intelligentes suivent :

• Précision des annotations par étiqueteuse
• Accord entre annotateurs
• Fréquence des cas illisibles ou peu fiables

Certains utilisent même des modèles en boucle pour suggérer des régions ou signaler des incohérences en temps réel.

Automatisez là où vous le pouvez (mais avec précaution)

L'utilisation de modèles OCR pré-entraînés pour « pré-remplir » les étiquettes peut augmenter la vitesse, mais uniquement si :

• Ils sont corrigés par un humain
• Vous auditez les suggestions des machines
• Vous respectez toujours vos normes de qualité

Faire confiance aveuglément à l'automatisation est un raccourci vers des données inutiles et vers des modèles inutiles.

Conseils de transcription pour une meilleure précision de reconnaissance de texte

Lorsque vous annotez des transcriptions, chaque détail compte. Voici ce que vous devriez faire :

• Utiliser Codage UTF-8 pour gérer les caractères spéciaux ou les émojis
• Normaliser le texte (par exemple, convertir les guillemets sophistiqués en guillemets standard)
• Soyez cohérent avec la capitalisation, sauf si la distinction majuscules/minuscules est importante
• Échappez aux caractères spéciaux qui pourraient semer la confusion chez les utilisateurs de jetons

Le rôle des données synthétiques dans l'annotation OCR

La création de jeux de données textuels synthétiques est devenue populaire, en particulier pour l'OCR de documents imprimés. Des outils tels que Générateur de données de reconnaissance de texte ou Texte de synthèse vous permettent de créer des milliers d'images de formation sans faire appel à des annotateurs.

✅ Avantages :

• Pas cher et rapide
• Contrôle total des étiquettes
• Une vérité de base parfaite

⚠️ Inconvénients :

• Moins de diversité
• Mauvaise généralisation aux conditions bruyantes du monde réel

👉 C'est une approche mixte qui fonctionne le mieux : utilisez des données synthétiques pour le pré-entraînement et des annotations réelles pour les affiner.

Applications industrielles qui dépendent de l'annotation OCR

L'OCR est omniprésente, même là où vous vous y attendez le moins :

• Services bancaires : Numérisation de chèques, analyse de documents KYC
• Commerce de détail : Numérisation des reçus, détection des étiquettes d'étagère
• Soins de santé : Formulaires médicaux, ordonnances
• Logistique : Numéros de suivi des colis, notes manuscrites
• Secteur public : Archives numérisées, programmes d'identification nationaux

Chaque cas d'utilisation a des besoins de précision et de latence différents, ce qui devrait guider votre stratégie d'annotation.

Exemple de cas concret : annotation de cartes d'identité pour la vérification KYC

Supposons que vous entraîniez un modèle pour extraire des informations à partir de cartes d'identité nationales :

• Étape 1 : Détecter toutes les zones de texte : nom, date de naissance, numéro d'identification
• Étape 2 : Transcrivez-les avec précision, même si la police est stylisée
• Étape 3 : Regroupez le texte par type de champ (par exemple, nom ou numéro d'identification)

Dans ce cas, il est utile d'utiliser des classes de champs prédéfinies et des formats d'annotation structurés tels que JSON ou XML afin que votre modèle puisse à la fois lire et comprendre.

Dernière réflexion : vous ne vous contentez pas d'étiqueter du texte, vous apprenez à lire à l'IA 📖

La prochaine fois que vous vous asseyez pour étiqueter un reçu flou ou un panneau de signalisation en cinq langues, souvenez-vous de ceci :

Vous ne faites pas que fabriquer des boîtes.

Vous entraînez une machine à naviguer dans la belle et désordonnée de la communication humaine.

C'est puissant. C'est significatif. Et lorsqu'il est bien fait, il déverrouille des applications allant de la tenue automatique des dossiers médicaux à la traduction multilingue en temps réel.

Êtes-vous prêt à améliorer vos projets d'OCR ? 💡

Si vous créez un modèle d'OCR, ou si vous essayez simplement d'en améliorer un, l'annotation est votre base. Chez DataVLab, nous sommes spécialisés dans les services d'annotation de texte de haute précision révisés par l'homme pour les documents imprimés et manuscrits, les pièces d'identité, etc.

Parlons de vos besoins en matière de données et de la manière dont nous pouvons vous aider à créer un ensemble de données qui donne réellement des résultats.

👉 Contactez DataVlab pour les projets d'annotation OCR