Bonnes pratiques pour annoter les séquences infrarouges et de vision nocturne

Pourquoi les images infrarouges et de vision nocturne demandent une approche spécifique

Les images infrarouges et de vision nocturne ne ressemblent pas aux images RVB classiques. Elles contiennent moins de repères de couleur, présentent souvent un contraste limité et peuvent être fortement influencées par le capteur, la température, l’humidité, la distance ou les sources de chaleur.

Annoter ces séquences exige donc des règles adaptées. Une personne, un animal, un véhicule ou un équipement peut apparaître comme une forme thermique floue plutôt que comme un objet visuellement détaillé. Les annotateurs doivent comprendre ce qu’ils observent et comment interpréter les cas ambigus.

Principaux défis des séquences thermiques et en faible luminosité

Faible rapport signal/bruit

Les contours peuvent être peu nets, surtout lorsque la cible est éloignée ou que la scène contient du bruit du capteur. Les consignes doivent préciser jusqu’où annoter un objet dont les limites sont incertaines.

Occlusions et entités qui se chevauchent

Les objets chauds peuvent se confondre, les silhouettes se chevaucher et les éléments froids devenir invisibles. En vidéo, le contexte multi-image aide souvent à distinguer les entités.

Caractéristiques visuelles limitées

Sans couleur ni texture classique, il devient plus difficile de reconnaître les classes fines. Une annotation fiable repose alors sur la forme, le mouvement, la taille relative, la température apparente et le contexte de scène.

Artefacts liés aux capteurs

La vision nocturne et l’infrarouge peuvent produire de la saturation lumineuse (blooming), des halos, du bruit, des pixels morts, des traînées ou des changements de contraste. Ces artefacts ne doivent pas être confondus avec des objets.

Variabilité rapide de l’éclairage et de la scène

Les phares, projecteurs, reflets, flammes, surfaces métalliques ou changements météorologiques peuvent modifier brutalement l’apparence de la scène. Les jeux de données doivent intégrer cette variabilité.

Prétraitement pour améliorer la précision

Étirement du contraste et égalisation d’histogramme

Des techniques de prétraitement peuvent améliorer la lisibilité des séquences avant annotation. L’objectif n’est pas de modifier la vérité terrain, mais d’aider les annotateurs à voir plus clairement les contours et les différences thermiques. Le choix du prétraitement doit rester adapté au flux vidéo et documenté avant l’annotation.

Sélection d’images et de scènes

Il n’est pas toujours nécessaire d’annoter chaque image. Un échantillonnage réfléchi peut couvrir les changements de posture, distance, occlusion, vitesse et contexte tout en maîtrisant le coût du projet.

Masquage et zones d’intérêt

Lorsque certaines parties de l’image sont inutiles ou sensibles, il peut être pertinent de définir des zones d’intérêt. Cela concentre l’annotation sur les régions pertinentes et réduit les erreurs.

L’expertise métier façonne les règles d’annotation

Surveillance de sécurité

Les projets de surveillance exigent souvent de distinguer personnes, véhicules, animaux, intrusions et comportements inhabituels. Les règles doivent éviter les surinterprétations, surtout lorsque la qualité visuelle est faible.

Reconnaissance militaire ou défense

Les données peuvent être sensibles et les classes plus spécialisées. Les annotateurs doivent suivre des consignes strictes, avec une gouvernance adaptée et une gestion claire des accès.

Surveillance de la faune

Les animaux sont parfois visibles uniquement par leur signature thermique et leur mouvement. Les classes doivent tenir compte de l’espèce, de la taille et du comportement lorsque ces informations sont réellement observables.

Surveillance d’équipements industriels

Les anomalies thermiques peuvent révéler une surchauffe, une fuite ou un composant dégradé. L’annotation doit distinguer la zone chaude normale de l’anomalie potentielle.

Conseils pratiques pour améliorer qualité et vitesse

• Fournir aux annotateurs plusieurs images autour de l’instant annoté.
• Utiliser la pseudo-couleur uniquement si elle améliore la lisibilité sans créer de confusion.
• Définir les règles pour objets partiellement visibles ou signatures thermiques faibles.
• Créer des exemples de référence pour chaque classe et niveau de visibilité.
• Mesurer les erreurs par condition : nuit, pluie, distance, capteur, angle de vue.

Contrôle qualité

Le contrôle qualité doit être renforcée sur les séquences faibles en contraste. Les revues doivent vérifier les contours, les classes, les omissions et la cohérence temporelle. Les travaux sur la qualité des annotations, comme ceux portés par des initiatives de recherche telles que Hazy Research, rappellent l’importance de données fiables pour l’apprentissage.

Confidentialité et conformité

Les séquences de surveillance peuvent contenir des personnes, des lieux sensibles ou des informations opérationnelles. Les lignes directrices européennes relatives à la vidéosurveillance et à la protection des données, notamment celles du Comité européen de la protection des données, doivent être prises en compte lorsque le projet implique des données personnelles.

Conclusion

L’annotation de séquences infrarouges et nocturnes demande une approche plus spécialisée que l’annotation d’images RVB. Les modèles performants reposent sur des consignes adaptées au capteur, des exemples ambigus documentés, une revue qualité rigoureuse et une bonne compréhension du contexte métier.

En structurant correctement les données dès le départ, les équipes d’IA peuvent entraîner des modèles plus robustes pour la sécurité, l’industrie, la faune ou les environnements à faible luminosité.