Annoter les images de vidéosurveillance pour l'IA de sécurité : meilleures pratiques et outils

Pourquoi la qualité des annotations est essentielle pour l'IA de sécurité

Les systèmes d'IA pour la vidéosurveillance sont aussi intelligents que les données utilisées pour les entraîner. Annotation transforme les images brutes de vidéosurveillance en matériel de formation exploitable, permettant aux modèles d'apprendre à :

• Reconnaître les accès non autorisés
• Suivez les personnes et les véhicules en temps réel
• Détectez le flânage, les intrusions et l'abandon d'objets
• Réagir aux comportements dangereux ou aux menaces

Cependant, des annotations bâclées ou incohérentes peuvent introduire des biais, réduire la précision du modèle et entraîner des faux positifs ou des détections manquées, ce qui peut compromettre la sécurité sur le terrain.

Obtenir les bonnes annotations n'est pas facultatif. C'est fondamental.

Préparation des images de vidéosurveillance : préparation des données pour l'annotation

Avant le début de l'annotation, un solide pipeline de préparation des données garantit que le métrage est :

• Découpé et segmenté en clips significatifs (par exemple, intervalles de 30 à 2 minutes)
• Dédupliqué pour éliminer les scènes répétitives des caméras statiques
• Tagué avec des métadonnées telles que l'emplacement, l'heure, la météo ou le type de caméra
• Résolution optimisée pour trouver un équilibre entre la qualité et les limites de stockage et de calcul

À l'aide d'outils tels que FFmpeg ou Les modules de prétraitement de CVAT peut accélérer cette étape.

En outre, il est essentiel de rendre anonymes les séquences sensibles si vous gérez des vidéos de surveillance réelles : visages flous, plaques d'immatriculation ou marques d'identification lorsque cela n'est pas essentiel à la tâche de l'IA.

Choisir la granularité d'annotation appropriée

Dans quelle mesure les annotations doivent-elles être précises ? Cela dépend de l'objectif de votre modèle :

• Boîtes de délimitation peut suffire pour la détection de personnes ou le suivi de véhicules
• Polygones ou masques sont meilleurs lorsque les contours exacts sont importants (par exemple, pour estimer la pose du corps ou identifier des objets abandonnés)
• Points clés sont nécessaires pour suivre la position des membres, les gestes ou les intentions

Dans les scènes à fort trafic, comme les centres commerciaux ou les stations de métro, l'annotation granulaire permet de séparer les objets qui se chevauchent et d'améliorer le suivi des instances. Mais le fait de trop annoter des détails non pertinents peut ralentir l'annotation et créer du bruit.

Il est essentiel de trouver le juste équilibre.

Gestion des cas extrêmes et des scénarios complexes

Les images de vidéosurveillance sont rarement parfaites. Les changements d'éclairage, les occlusions, les tremblements de la caméra ou une forte densité de foule peuvent tous entraîner des problèmes d'annotation. Les meilleures pratiques incluent :

• Etiquetage des objets obstrués avec des balises de confiance (par exemple, « personne (partielle) »)
• Ignorer les ombres ou les reflets pour éviter les faux positifs
• Marquer des régions ambiguës avec des drapeaux spéciaux pour aider les réviseurs ou la formation des modèles
• Annoter le flou de mouvement de manière cohérente (par exemple, délimiter entièrement ou partiellement l'objet flou, en fonction de directives internes)

Créez un guide de style interne pour normaliser la façon dont ces cas sont traités. Cela améliore la cohérence entre les équipes d'annotation et rend la formation des modèles plus prévisible.

Configuration d'une boucle d'assurance qualité pour la précision des annotations

Sans une véritable boucle d'assurance qualité, même les annotateurs expérimentés commettent des erreurs. Les principaux éléments d'un système d'assurance qualité efficace sont les suivants :

• Évaluation par les pairs : Au moins 10 à 20 % des tâches doivent être revérifiées par un autre annotateur
• Notation de l'audit : Utilisez des mesures de précision, de rappel et d'accord avec les étiquettes
• Préétiquetage assisté par l'IA : Utilisez des outils semi-automatisés tels que Label Studio avec seuils de confiance
• Cycles de feedback : Créez un canal direct permettant aux annotateurs de poser des questions ou de signaler des cas peu clairs

Au fil du temps, cette boucle de rétroaction augmente de manière significative à la fois la vitesse et la qualité des annotations.

Gestion de la confidentialité et de la conformité réglementaire

Lors de l'annotation de séquences de surveillance réelles, le RGPD, la HIPAA (pour les environnements liés à la santé) ou les lois locales sur la confidentialité peuvent s'appliquer. Pour rester en conformité :

• Stockage sécurisé de séquences brutes et étiquetées avec contrôle d'accès
• Protocoles d'anonymisation pour les informations sensibles
• Limites de conservation des données clairement documentés et appliqués
• Politiques de consentement lorsque les images sont collectées dans des espaces semi-privés (par exemple, des immeubles de bureaux, des communautés fermées)

Si votre travail d'annotation implique l'externalisation, assurez-vous que les fournisseurs tiers respectent également les exigences de conformité. Cela inclut la signature d'accords de protection des données (DPA) et la vérification de l'infrastructure sécurisée.

Optimisation des annotations pour les performances du modèle

Les annotations ne se limitent pas à dessiner des cases, elles visent à aider votre modèle à apprendre efficacement. Les techniques qui améliorent les résultats de la formation sont notamment les suivantes :

• Équilibrage intelligent des classes : Assurez-vous que les classes minoritaires (par exemple, des actions rares comme escalader des clôtures) sont bien représentées
• Balisage contextuel : Ajoutez des balises environnementales telles que « nuit », « pluie » ou « foule » pour aider le modèle à généraliser
• Liaison temporelle : Utilisez des ID d'instance cohérents dans toutes les trames pour suivre les tâches
• Simplification des étiquettes : Regrouper les catégories trop précises lorsque les tests initiaux révèlent de la confusion (par exemple, « livreur » et « personnel de maintenance » en « personnel autorisé »)

Votre schéma d'annotation doit évoluer parallèlement aux mesures de performance du modèle. Laissez les résultats éclairer les améliorations, et pas seulement les hypothèses.

Élargir le processus d'annotation à l'aide d'équipes et d'outils

L'annotation manuelle demande beaucoup de travail. Pour une mise à l'Scale AI efficace :

• Utilisez des plateformes basées sur le cloud qui favorisent la collaboration en équipe, telles que SuperAnnotate ou V7
• Attribuer des rôles spécialisés (par exemple, étiqueteur, réviseur d'assurance qualité, gestionnaire de données)
• Mettre en œuvre la mise en file d'attente des tâches et le contrôle des versions pour la traçabilité
• Envisagez des modèles hybrides combinant la pré-annotation de l'IA et la correction humaine dans la boucle

Dans les environnements à volume élevé (par exemple, surveillance à l'Scale AI d'une ville, infrastructures critiques), l'automatisation associée à la validation humaine offre le meilleur retour sur investissement.

Gérer les biais et améliorer l'équité dans les ensembles de données de sécurité

Le biais dans les annotations conduit à des modèles biaisés, ce qui peut avoir de dangereuses conséquences sur le plan de la sécurité dans le monde réel. Les sources les plus courantes sont les suivantes :

• Surreprésentation de certains groupes démographiques dans les ensembles de données sur les incidents
• La subjectivité des annotateurs dans l'étiquetage des comportements « suspects »
• Hypothèses culturelles ou régionales codées dans les définitions de classe

Meilleures pratiques pour réduire les biais :

• Utilisez divers ensembles de données couvrant des environnements et des populations variés
• Fournir une formation à l'annotation qui aborde les préjugés inconscients
• Auditez régulièrement les résultats des modèles et retracez les biais jusqu'aux problèmes liés aux ensembles de données

L'atténuation des préjugés n'est pas une liste de contrôle ponctuelle, c'est une responsabilité permanente.

Intégrer les données de vidéosurveillance annotées dans le cycle de vie des MLOps

Les séquences annotées doivent être intégrées de manière fluide à votre pipeline d'IA. Les principales étapes sont les suivantes :

• Normalisation des formats (par exemple, COCO, YOLO, Pascal VOC)
• Synchronisation automatique avec stockage dans le cloud ou ensembles de données versionnés
• Fractionnement des données dans des ensembles de formation/validation/tests qui préservent la diversité temporelle et contextuelle
• Suivi des versions d'annotations au fur et à mesure de l'évolution de votre schéma d'étiquette

À l'aide d'outils tels que Poids et biais ou Effacer le ML peut aider à surveiller l'amélioration du modèle par rapport aux nouveaux lots d'annotations, bouclant ainsi la boucle entre l'étiquetage et l'inférence.

Études de cas concrets : comment l'annotation intelligente contribue à la sécurité des systèmes

Surveillance urbaine en Europe : prévenir le flânage nocturne dans les parcs publics

Une ville de taille moyenne en Allemagne a lancé un projet pilote visant à réduire les incidents de vandalisme, de consommation de drogues et de rassemblements non autorisés dans ses espaces verts publics. La ville a installé des caméras de vidéosurveillance intelligentes dans des zones stratégiques, notamment des sentiers mal éclairés et des bancs dans des coins reculés des parcs urbains.

Pour entraîner l'IA à distinguer les marcheurs nocturnes inoffensifs des individus ou des groupes susceptibles de flâner, plus de 2 000 heures de séquences ont été annotées avec des balises spécifiques telles que :

• « Groupe immobile pendant plus de 5 minutes »
• « Personne assise après la tombée de la nuit »
• « Schéma de mouvement : marcher ou tourner en rond »
• « Plusieurs personnes sans animal de compagnie ni équipement (par exemple, pas d'équipement de sport) »

Les annotations étaient horodatées, localisées et étiquetées selon l'intention de l'activité (suspecte, neutre, sociale, etc.). Le résultat a été un système de détection d'objets et de classification du comportement qui :

• Réduction des alertes faussement positives par 35 % par rapport aux systèmes à déclenchement de mouvement
• A permis aux forces de l'ordre de hiérarchiser plus efficacement les patrouilles humaines
• Empêché l'installation de barrières physiques inutiles dans les espaces publics

De plus, la stratégie d'annotation a été saluée pour son respect de la vie privée en floutant les visages et en ne les classant pas en fonction de leur apparence, mais en se concentrant plutôt sur la dynamique des mouvements et le contexte spatial.

Prévention du vol dans le commerce de détail aux États-Unis : détection des comportements prévols à l'aide de signaux de mouvement annotés

Une chaîne de magasins de détail nationale américaine, confrontée à l'augmentation des pertes liées au vol à l'étalage, a déployé des caméras de sécurité améliorées par IA dans des zones à haut risque telles que les rayons des appareils électroniques, les rayons cosmétiques et à proximité des caisses automatiques. Au lieu de simplement signaler les cas de vol après l'incident, l'objectif était de créer un modèle capable d'identifier comportement avant le vol, comme le flânage, la numérisation des étagères et la manipulation répétée d'articles.

Les équipes d'annotation ont travaillé sur plus de 1 800 heures de séquences de vidéosurveillance, en se concentrant sur des subtilités telles que :

• « La personne ramasse l'article et le renvoie plusieurs fois »
• « Regards multiples sur les miroirs de sécurité ou les caméras »
• « Le corps est positionné de manière à protéger les mouvements de la main »
• « Mouvements rapides de la tête ou marche dans les allées »

Les annotations ont été associées à un suivi au niveau de l'objet pour comprendre le temps de séjour par produit et ont été recoupées avec les données du point de vente pour voir si des achats avaient été effectués. Le modèle a permis de générer des alertes en temps réel pour le personnel des magasins, ce qui a permis de :

• UNE Diminution de 22 % du rétrécissement dans les magasins de test en six mois
• UNE Réduction de 15 % des incidents liés à des confrontations avec le personnel, puisque les alertes ont été vérifiées
• Sécurité accrue des clients grâce à une surveillance discrète

Il est important de noter que les directives d'annotation ont délibérément évité les variables sujettes aux biais telles que la race, le sexe ou le style vestimentaire, en mettant l'accent sur les marqueurs comportementaux plutôt que sur les caractéristiques personnelles.

Détection périmétrique des intrusions au Moyen-Orient : protection des infrastructures critiques

Un conglomérat énergétique exploitant des installations pétrolières et gazières dans la région du Golfe avait besoin d'un système de détection d'intrusion de haute fiabilité pour protéger les clôtures périmétriques et les installations hors réseau. Les environnements désertiques difficiles, le mauvais éclairage et le mouvement de la caméra dû au vent ont rendu difficile la distinction entre les menaces réelles et le bruit ambiant.

Plus de 900 heures de séquences annotées ont été utilisées pour entraîner l'IA. Les annotateurs ont été chargés d'identifier :

• « Escalade de clôture » la nuit contre la faune (chacals, renards) déclenchant des capteurs infrarouges
• Des « silhouettes humaines » contre des ombres ou une végétation soufflée par le vent
• « Arrêts de véhicules inhabituels » à proximité de zones réglementées
• « Des individus en uniforme contre des intrus en civil »

L'étiquetage avancé comprenait le suivi des individus sur plusieurs zones de caméra et le marquage des occlusions dues à des tempêtes de sable ou à une mauvaise visibilité. L'IA, une fois déployée, a réalisé :

• UNE Réduction de 70 % des fausses alarmes à partir de facteurs déclencheurs liés à la faune et
• Alertes mobiles en temps réel intégré aux tablettes de patrouille de sécurité sur site
• Temps de réponse amélioré par rapport à une moyenne de De 9 minutes à moins de 3 minutes

L'ensemble de données annoté a également contribué à la reconversion des modèles dans différents types d'installations, prouvant ainsi la réutilisabilité de séquences étiquetées de haute qualité dans des contextes similaires mais distincts.

Sûreté des transports publics en Asie du Sud-Est : surveillance des comportements agressifs à bord des trains

Un important opérateur de métro d'Asie du Sud-Est a collaboré avec une société d'intelligence artificielle locale pour réduire les incidents de harcèlement verbal et les altercations entre passagers dans les voitures de métro. Des caméras de vidéosurveillance étaient déjà installées dans tous les autocars, mais elles ne disposaient pas de fonctionnalités intelligentes.

Le modèle d'IA a été formé pour reconnaître les premiers signes d'agressivité, tels que :

• « Des mouvements de corps soudains ou des confrontations rapprochées »
• « Mouvements des bras indiquant que vous poussez ou pointez du doigt »
• « Comportement de dispersion ou d'évitement de la foule autour d'un individu »
• « Gestes vocaux élevés sans utilisation du téléphone associée »

Les images des trains aux heures de pointe et des trajets nocturnes ont été annotées avec des classes de comportement et des horodatages d'escalade. Les annotateurs ont également noté la densité de la foule et les variations d'éclairage (par exemple, stations souterraines par rapport aux stations en plein air). Les résultats :

• Détection précoce du harcèlement verbal dans 87 % des incidents signalés
• Déploiement du personnel de la station pour intervenir avant l'escalade
• Utilisation de cartes thermiques des incidents pour ajuster le personnel des trains à des heures spécifiques

L'opérateur ferroviaire a notamment introduit une signalisation publique sur la surveillance de l'IA, ce qui a entraîné confiance accrue des passagers et une hausse mesurable des notes de sécurité après le trajet.

Sécurité des campus intelligents en Amérique du Nord : détection des armes et intervention

Un grand campus universitaire en Amérique du Nord visait à améliorer ses capacités de sécurité en réponse aux préoccupations croissantes concernant d'éventuels incidents impliquant des tireurs actifs. Au lieu de se fier uniquement à des détecteurs de métaux, ils ont développé un système basé sur l'IA qui détecte la présence d'armes sur les images de vidéosurveillance.

L'annotation était essentielle, car de nombreuses armes sont dissimulées ou ne sont visibles que brièvement. Une équipe spécialisée a annoté plus de 600 heures de séquences, y compris des simulations et des incidents historiques, en se concentrant sur :

• « Exposition partielle de l'arme (poignée visible depuis la poche) »
• « Objet semblable à une arme (parapluie, trépied) avec contexte explicatif »
• « Postures des bras compatibles avec le maniement des armes à feu »
• « Dessiner des mouvements depuis le sac à dos ou la taille »

Ils ont été associés à des vecteurs de mouvement et à des séquences temporelles pour améliorer la détection à un stade précoce. Le modèle a permis de :

• Précision de 92 % dans l'identification des armes lors de simulations
• Alertes dans 2 secondes de détection visuelle, intégrée aux systèmes de police du campus
• Déploiement de plus de 300 caméras intérieures et extérieures à travers l'université

Le protocole d'annotation a fait l'objet d'un examen approfondi pour éviter le profilage et garantir l'anonymisation des données. Cette affaire a montré comment un étiquetage précis peut sauver des vies quand chaque seconde compte.

Quelques derniers conseils tirés des tranchées

• Commencez petit, validez rapidement : Annotez un sous-ensemble, entraînez un modèle prototype et ajustez rapidement
• Investissez dans la formation de vos annotateurs : Les étiqueteuses qualifiées valent leur pesant d'or
• Priorisez les segments à forte valeur ajoutée : Concentrez vos efforts sur les scènes présentant le plus grand potentiel d'apprentissage
• Créez des bibliothèques d'annotations réutilisables : Si les mêmes emplacements sont enregistrés à plusieurs reprises, gérez une bibliothèque de scènes étiquetées pour accélérer les nouvelles tâches d'annotation

L'annotation relève à la fois de la science et de l'artisanat, et l'excellence dans ce domaine permet d'économiser du temps, de l'argent et des risques par la suite.

Faisons en sorte que chaque image compte 🎯

Si votre système d'IA de sécurité repose sur des images, assurez-vous que chaque image annotée apporte une réelle valeur ajoutée. Que vous développiez des outils internes ou que vous vous associiez à un fournisseur d'étiquetage des données, respectez ces bonnes pratiques et vos modèles vous en seront reconnaissants grâce à une vision plus précise, des décisions plus rapides et de meilleurs résultats en matière de sécurité.

🔐 Vous avez des vidéos à annoter ? Aidons votre montre IA à être plus intelligente—image par image, aperçu par aperçu.