Annotation des images et de l'emballage des pilules pour l'identification des médicaments et l'assurance qualité basées sur l'IA

Dans ce guide complet, nous explorerons l'importance concrète de l'annotation des pilules et des emballages, les défis uniques qu'elle pose et la manière dont les données annotées peuvent améliorer la reconnaissance des médicaments, la prévention de la contrefaçon et le contrôle qualité. Que vous créiez un modèle d'IA pharmaceutique ou que vous supervisiez des flux de travail d'annotation, cet article est votre plan pour fournir des données de formation à fort impact.

Pourquoi l'annotation des pilules et des emballages est importante pour l'IA

Lorsqu'un pharmacien identifie un comprimé, il s'appuie sur une combinaison de facteurs : la forme, la couleur, la taille, l'empreinte et la conception de l'emballage. L'IA a toutefois besoin de données structurées pour reproduire ce processus.

Principaux cas d'utilisation alimentés par des données visuelles annotées :

• Identification des médicaments dans les applications mobiles (par exemple MedSnap, Pill Identifier Pro)
• L'assurance qualité dans la fabrication de produits pharmaceutiques
• Détection de médicaments contrefaits dans les chaînes d'approvisionnement mondiales
• Automatisation de l'inspection visuelle pour les défauts d'emballage
• Contrôles d'inventaire par vision par ordinateur dans les pharmacies et les hôpitaux

Le commerce mondial de médicaments contrefaits étant évalué à plus de 200 milliards de dollars, l'identification précise des médicaments n'est pas seulement une commodité, c'est une nécessité pour la santé et la sécurité dans le monde. Source

Ce que l'IA doit apprendre des images 🧠🖼️

Pour que l'IA puisse identifier correctement les pilules et leur emballage, l'annotation doit couvrir bien plus que la pilule elle-même. Voici ce qu'un ensemble de données bien annoté permet à l'IA d'apprendre :

• Caractéristiques physiques: Couleur, forme (ovale, ronde, oblongue), texture, taille, brillance et opacité.
• Empreintes: lettres, chiffres, logos estampés sur les pilules, souvent l'identifiant principal.
• Formats d'emballage: Plaquettes thermoformées, flacons, films et sachets.
• Données d'étiquette: Type de police, alignement, langue et symboles d'avertissement.
• Cohérence visuelle: Indique à l'IA à quoi ressemble une pilule ou une étiquette « normale », ce qui facilite la détection des anomalies.

L'annotation sert de « dictionnaire » visuel que l'IA utilise pour interpréter chaque aspect d'un produit médicamenteux.

Défis concrets liés à l'annotation des pilules et des emballages

Variabilité entre les lots

Même pour le même médicament, la couleur ou la taille des comprimés peuvent varier légèrement selon les lots de production ou les fabricants. Les annotateurs ont besoin de directives strictes pour déterminer quand une différence visuelle justifie un étiquetage distinct.

Éclairage et reflets

Les pilules, en particulier les gélules ou les gélules, réfléchissent la lumière de manière complexe. Les ombres, les reflets et le rétroéclairage peuvent introduire des incohérences s'ils ne sont pas contrôlés ou annotés avec soin.

De petites fonctionnalités, un impact important

Une empreinte égarée ou à peine visible peut complètement modifier l'identité d'un médicament. Les annotateurs doivent porter une grande attention aux détails et utiliser des outils permettant une segmentation précise des petites entités.

Emballage endommagé ou ouvert

Les modèles d'IA doivent souvent détecter les falsifications ou les défauts d'emballage. Leur formation nécessite des exemples de boîtes endommagées, de blisters déchirés, d'étiquettes manquantes, chacun étant clairement annoté pour la classification des anomalies.

Étiquettes multilingues

L'emballage peut inclure des informations réglementaires en plusieurs langues, ce qui nécessite des stratégies d'annotation multilingues et des directives claires pour le placement du texte et la lisibilité OCR.

Le rôle de l'expertise humaine dans l'annotation 🧑 ‍ ⚕️

Contrairement à l'étiquetage des véhicules ou des objets ménagers, l'annotation liée aux médicaments exige un certain niveau de compréhension médicale contextuelle.

Alors que les annotateurs non spécialisés peuvent gérer la segmentation de base, les tâches impliquant le décodage des empreintes, la précision des étiquettes ou la classification des dommages nécessitent souvent :

• Experts en pharmacovigilance
• Professionnels de l'assurance qualité médicale
• Pharmaciens ou techniciens en pharmacie

Ils contribuent à garantir que les définitions des classes sont conformes aux normes réglementaires telles que celles de la FDA Lignes directrices pour l'identification des médicaments.

L'adoption d'une approche d'annotation à deux niveaux (personnel général et assurance qualité médicale) est souvent la meilleure solution.

Cibles d'annotation communes pour les modèles d'identification des pilules

Pour qu'un modèle d'IA puisse identifier de manière fiable les pilules et les emballages, les flux de travail d'annotation doivent définir et appliquer de manière cohérente des étiquettes à diverses cibles visuelles :

Caractéristiques de la pilule :

• Contour de la pilule (cadre de délimitation ou polygone)
• Région d'impression (segmentation des caractères)
• Régions de couleur (primaires et secondaires)
• Marqueurs de texture (rayés, enduits, rugueux)

Éléments d'emballage :

• Zones du logo
• Zones de disposition des étiquettes (nom du médicament, posologie, numéro de lot)
• Icônes réglementaires (expiration, prescription, conservation)
• Zones d'inviolabilité (joints, languettes déchirables)

Marquage des défauts :

• Des fissures, des éclats ou des surfaces inégales sur les pilules
• Empreintes mal imprimées ou manquantes
• Épluchage, décoloration ou maculage des étiquettes
• Particules étrangères ou débris d'emballage

Les directives d'annotation doivent inclure des exemples visuels pour chaque catégorie afin de garantir un niveau élevé d'accord entre les annotateurs.

Structurer des ensembles de données pour une précision maximale de l'IA

La création de modèles d'IA performants pour l'identification des pilules et l'assurance qualité des produits pharmaceutiques commence bien avant la formation du modèle : elle commence par la structure et la stratégie qui sous-tendent votre ensemble de données. Un jeu de données bien organisé ne vous permet pas seulement d'entraîner des modèles plus efficacement, il améliore également la qualité des annotations, simplifie l'assurance qualité et permet la mise à l'Scale AI sans introduire de biais ni de bruit.

Examinons les principaux piliers de la structuration des ensembles de données pour l'annotation des pilules et des emballages.

Organiser par type de tâche d'IA

Chaque tâche d'IA (classification, détection d'objets, segmentation, OCR ou détection d'anomalies) nécessite des formats de données et des détails d'annotation différents. La structuration de votre ensemble de données par tâche permet de maintenir la clarté des pipelines de formation et d'évaluation.

Par exemple :

• Tâches de classification (par exemple, identifier le type de pilule) : stockez les images étiquetées avec des identifiants de classe dans des structures de dossiers simples ou des CSV.
• Détection d'objets (par exemple, localisez les pilules dans une image encombrée) : incluez des cadres de délimitation avec des coordonnées normalisées.
• OCR et lecture d'empreintes: Conservez des couches d'étiquettes distinctes pour chaque caractère ou bloc de texte, en particulier sur l'emballage.
• Détection d'anomalies (par exemple, défauts des pilules) : divisez les ensembles de données en cas normaux et anormaux, ou utilisez des masques au pixel près pour les défauts.

Cette structure basée sur les tâches améliore également la compatibilité avec les bibliothèques d'apprentissage de modèles telles que l'API YOLO, Detectron2 ou TensorFlow Object Detection d'Ultralytics.

Inclure des métadonnées pour chaque image

Les métadonnées au niveau de l'image sont essentielles pour l'analyse en aval et la logique de formation. Pour les ensembles de données sur les pilules, pensez à joindre :

• Conditions d'éclairage (naturel, fluorescent, ombré)
• Appareil de capture (smartphone, reflex numérique, appareil photo d'usine)
• Type de fond (blanc uni, à motifs, portable)
• État de la pilule (scellé, partiellement utilisé, périmé)
• Fabricant/marque (en particulier pour la cohérence de l'emballage)

Vous pouvez l'inclure dans un fichier JSON ou CSV distinct lié par un nom de fichier image. Il aide les ingénieurs à contrôler la variabilité visuelle et à segmenter l'ensemble de données en fonction des conditions affectant les performances du modèle.

Maintenir l'équilibre des classes et la diversité des échantillons

L'un des pièges les plus courants dans les ensembles de données d'IA médicale est déséquilibre de classe—où les médicaments courants tels que l'ibuprofène dominent alors que les médicaments moins courants ou récemment commercialisés sont sous-représentés.

Pour éviter cela :

• Utilisez un échantillonnage stratifié pour garantir une représentation égale entre les catégories de médicaments.
• Inclure pilules rares et visuellement similaires pour enseigner au modèle des distinctions subtiles.
• Augmentez les classes rares à l'aide d'images synthétiques, d'une randomisation de domaine ou de méthodes génératives (par exemple, les GAN), le cas échéant.

Pour l'emballage, incluez plusieurs angles, des étiquettes pliées, des boîtes ouvertes et le bruit ambiant pour simuler la variance réelle.

Séparez stratégiquement les ensembles de train, de validation et de test

Ne vous contentez pas de fractionner vos images de manière aléatoire : structurez vos divisions de manière à refléter le déploiement dans le monde réel. Si votre modèle doit être généralisé à marques, empreintes ou mises en page d'emballage invisibles, vos kits de validation et de test devraient contenir de nouveaux exemples.

Les stratégies incluent :

• Fractionnement basé sur les groupes: attribuez toutes les images d'un comprimé ou d'un SKU spécifique à un ensemble de données (train, val ou test) pour éviter les fuites.
• Fractionnement basé sur le temps: Si les images sont horodatées, utilisez les captures précédentes pour la formation et les dernières pour les tests afin de simuler les changements de production en cours.
• Division basée sur les appareils: utilisez des images provenant d'un ensemble d'appareils pour l'entraînement et d'autres pour la validation afin de mesurer la généralisation des conditions de capture.

Ces divisions structurées permettent d'évaluer le comportement de votre modèle dans les conditions réelles de production ou d'utilisation.

Versionner l'ensemble de données à des fins d'amélioration réglementaire et itérative

Tout comme les logiciels, votre jeu de données doit être versionné et traçable. Ceci est particulièrement important lorsqu'il s'agit de systèmes d'IA pharmaceutiques ou réglementaires.

Ce qu'il faut inclure dans le contrôle de version :

• Formats d'annotation (par exemple, COCO, YOLO, Pascal VOC)
• Changements dans les définitions ou le schéma des classes
• Ajouts ou suppressions d'images
• Améliorations ou corrections du score QA

Des outils tels que DVC, Poids et biais, ou même Git LFS peut vous aider à gérer ces changements à grande Scale AI. Documentez toujours la provenance de l'ensemble de données et annotez clairement les modifications pour des raisons d'auditabilité.

Incluez des « exemples concrets » et des cas pratiques dès le départ

N'attendez pas que votre IA commette des erreurs en production pour commencer à l'entraîner sur des cas difficiles.

Incluez dans votre ensemble de données :

• Pilules avec occlusion partielle ou dommages
• Images floues ou peu éclairées
• Emballage falsifié ou contrefait
• Plaquettes thermoformées mal étiquetées ou mal alignées
• Étiquettes en langue étrangère ou texte décoloré

Ces cas extrêmes renforcent la robustesse dès le début et réduisent le nombre de faux négatifs ou d'hallucinations après le déploiement. Annotez-les clairement et attribuez des balises pour faciliter le filtrage lors de l'analyse du modèle.

Associer l'ensemble de données aux bases de données de médicaments externes

Liez les annotations de votre pilule et de votre emballage à des bases de données de médicaments publiques ou exclusives pour permettre une cartographie complète des produits.

Exemples de bases de données utiles :

• Identifiant de la pilule Drugs.com
• Daily Med
• Répertoire NDC de la FDA

Chaque image peut être liée à un Code NDC, Identifiant RxNorm, ou AUBERGE pour créer une taxonomie structurée et faciliter l'harmonisation future des étiquettes ou des cas d'utilisation internationaux.

Utiliser un étiquetage hiérarchique, le cas échéant

Les produits pharmaceutiques ont souvent des caractéristiques communes à toutes les gammes de produits : différentes doses d'un même médicament, par exemple, peuvent sembler presque identiques mais varier en fonction de l'empreinte ou de la teinte de couleur.

Au lieu d'étiquettes plates, pensez à taxonomie hiérarchique tels que :

• Catégorie de médicament > Marque > Posologie > SKU
• Format d'emballage > Type > Matériau > État
• Pilule > Couleur > Code d'impression > Forme

Cette approche favorise une recherche plus intelligente, des modèles de classification à plusieurs niveaux et une meilleure interprétabilité par l'homme et l'IA.

Étiquetez les questions et examinez les commentaires par image

Au fur et à mesure que votre ensemble de données grandit, maintenez une boucle de feedback en balisant :

• Niveaux de confiance des annotateurs
• Nombre de critiques ou de révisions
• Score de consensus parmi les responsables de l'assurance qualité
• Erreurs signalées ou notes d'ambiguïté

Ces balises d'assurance qualité sont d'une valeur inestimable pour analyser les modes de défaillance des modèles ou pour hiérarchiser les efforts de reconversion. Ils permettent également de justifier les allégations de performance lors de l'évaluation réglementaire.

Conclusion de la stratégie de structuration des ensembles de données 🧩

Dans le domaine de l'IA pharmaceutique, la force de votre ensemble de données constitue votre avantage concurrentiel. En investissant très tôt dans la conception des ensembles de données, en les regroupant par tâche d'IA, en documentant les métadonnées, en garantissant l'équilibre des classes, en structurant les versions versionnées et en les alignant sur la variabilité du monde réel, vous augmentez la précision des modèles, réduisez les taux d'erreur et simplifiez le déploiement des produits.

💡 N'oubliez pas: Plus la structure de votre jeu de données est efficace, moins vous aurez à effectuer de débogage, d'application de correctifs ou de triage après déploiement par la suite. L'annotation est peut-être la base, mais la structure est l'architecture.

L'assurance qualité par l'annotation : aller au-delà de l'identification

L'annotation ne se limite pas à l'identification, elle constitue également un puissant outil d'assurance qualité lorsqu'elle est appliquée à grande Scale AI dans le secteur de la fabrication de produits pharmaceutiques.

Détecter les défauts visuels grâce à l'IA :

• Revêtements rayés
• Décoloration due à l'humidité
• Étiquettes décalées ou manquantes
• Désalignement du blister
• Intégrité du joint brisé

Avec suffisamment d'exemples annotés, l'IA peut signaler ces défauts en temps réel sur une chaîne de production, réduisant ainsi la fatigue humaine et augmentant le rappel dans les processus d'assurance qualité.

Par exemple, des entreprises comme Vantia utilisent la vision par ordinateur pour surveiller les défauts visuels et prendre des décisions en temps réel.

Annotation pour les applications mobiles de reconnaissance des pilules 📱

Plusieurs entreprises déploient des applications d'intelligence artificielle pour aider les utilisateurs à identifier des médicaments inconnus à l'aide de l'appareil photo d'un smartphone. Mais ces modèles ne fonctionnent que si l'ensemble de données qui les sous-tend est solide.

Notions essentielles pour une utilisation mobile :

• Grande variabilité de l'éclairage et de l'orientation
• Suppression des bruits de fond et des doigts
• Correction de l'angle (pilules descendantes ou inclinées)
• Segmentation des empreintes à grain fin

Des ensembles de données participatifs ou des images sélectionnées avec annotation contextuelle mobile sont essentiels pour minimiser les fausses identifications dans le monde réel.

Étiquetage des empreintes de pilules : l'OCR rencontre l'annotation

Les codes d'impression (tels que « M365 » ou « A1 ») sont souvent le seul indice permettant de déterminer l'identité d'une pilule. Pour les extraire via l'IA, une annotation précise est cruciale.

Meilleures pratiques pour l'annotation des empreintes :

• Utilisez des cadres de délimitation serrés par caractère
• Le bruit de l'étiquette ou les empreintes illisibles en tant que tels
• Inclure les métadonnées des polices lorsque cela est possible
• Annoter l'emplacement de l'empreinte sur les deux côtés (si visible)

La combinaison d'annotations d'empreinte avec des ensembles de données prêts pour l'OCR permet aux pipelines de relier les pilules à des bases de données de médicaments telles que Boîte à pilules NIH ou Identifiant de la pilule Drugs.com.

Considérations réglementaires et de conformité

Lors de la création d'ensembles de données pour des applications de santé, le respect des normes réglementaires et de confidentialité est essentiel.

• HIPAA et GDPR: Bien que les images des pilules contiennent rarement des données personnelles, tout emballage associé contenant des ordonnances ou les noms des patients doit être traité en toute sécurité.
• Directives de la FDA: Aux États-Unis, les ensembles de données peuvent être soumis dans le cadre des dépôts réglementaires. Les méthodes d'annotation et les définitions de classes doivent être conformes à la nomenclature approuvée par la FDA.
• Exigences des clients du secteur pharmaceutique: Si l'étiquetage est effectué pour une société pharmaceutique spécifique, les protocoles d'annotation peuvent devoir correspondre à leurs spécifications internes d'assurance qualité et aux normes des bonnes pratiques de fabrication (BPF).

Validez toujours la structure de l'ensemble de données et la documentation auprès des conseillers réglementaires avant toute utilisation publique ou commerciale.

Des indicateurs importants : évaluation de la qualité des annotations

Pour que l'IA fonctionne à un niveau pharmaceutique, l'assurance qualité des annotations doit être continue, et non une tâche ponctuelle. Utilisez une combinaison de mesures manuelles et automatisées :

• IoU (Intersection au-dessus de l'Union): Pour la précision géométrique des masques ou des boîtes
• Précision/rappel au niveau des caractères: Pour la détection des empreintes
• Exhaustivité de l'étiquette: Toutes les régions attendues sont-elles annotées ?
• Accord avec l'évaluateur: À quelle fréquence plusieurs annotateurs sont-ils d'accord ?

Certaines entreprises utilisent des tableaux de bord ou des plateformes d'assurance qualité comme Kili Technology pour visualiser les tendances d'erreur et améliorer en permanence la qualité des annotations.

Choisir le flux de travail d'annotation adapté à votre cas d'utilisation

Il n'existe pas d'approche unique en matière d'annotation. En fonction de votre application, choisissez une structure qui concilie rapidité, coût et précision.

• Formation aux modèles d'IA ? → Concentrez-vous sur des annotations cohérentes et volumineuses
• QA pharmaceutique ? → Mettez l'accent sur les détails, les types de défauts et les métadonnées d'étiquetage
• Des applications d'identification des pilules destinées aux consommateurs ? → Priorisez la variabilité des images mobiles
• Des systèmes anti-contrefaçon ? → Incluez des étuis de bord et des variantes d'emballage

Vous pouvez même avoir besoin de plusieurs flux d'annotations alimentant un ensemble de données unifié.

L'emballer (et le sceller correctement) 🏁

Dans un domaine où la sécurité des patients, la conformité réglementaire et la précision de fabrication se rencontrent, les données visuelles annotées sont bien plus qu'une tâche technique : elles constituent un pilier du rôle de l'IA dans le secteur pharmaceutique.

De l'OCR des empreintes à la détection des altérations, la qualité et la profondeur des annotations de vos pilules et de vos emballages détermineront directement le succès de votre système d'IA. Les meilleurs ensembles de données sont créés avec un œil aiguisé, un contexte médical et un engagement en matière d'assurance qualité.

Vous souhaitez dynamiser votre pipeline d'IA pharmaceutique grâce à des annotations d'experts ?

Chez DataVLab, nous sommes spécialisés dans les flux de travail d'annotation de qualité médicale, combinant la précision humaine à des pipelines évolutifs. Qu'il s'agisse de former un modèle de reconnaissance de pilules, d'exécuter un contrôle qualité visuel ou de lutter contre les contrefaçons, nous vous aidons à créer des ensembles de données fiables.

👉 Parlons de votre prochain projet d'IA pharmaceutique. Contactez-nous dès aujourd'hui.