Reconnaissance de l’activité humaine (HAR) : guide des jeux de données

La reconnaissance de l’activité humaine (HAR) est le processus qui permet d’identifier et de classer les comportements humains tels que marcher, s’asseoir, courir, soulever des objets ou interagir avec des objets. Elle permet aux systèmes d’IA de comprendre les modèles de mouvement dans les maisons, les lieux de travail, les terrains de sport et les environnements de soins de santé. Des recherches menées par Human Activity Recognition Lab de l’Université du Wisconsin montrent que les modèles HAR nécessitent des annotations temporelles détaillées pour distinguer des activités similaires. Une vérité terrain de haute qualité est essentielle car de petites incohérences d’étiquetage peuvent considérablement affaiblir les performances du modèle.

Pourquoi la HAR est importante dans de nombreux secteurs

Les modèles HAR prennent en charge des applications allant de la détection des chutes dans les soins aux personnes âgées à l’évaluation du mouvement dans le sport et la compréhension des gestes en robotique. Leur polyvalence provient de leur capacité à interpréter des modèles de mouvement en fonction du temps. Des études de Georgia Tech GVU Center soulignent que la HAR est l’un des domaines de l’IA appliquée qui connaît la croissance la plus rapide, car elle permet une interaction naturelle avec la technologie. Une annotation précise garantit que les modèles comprennent la séquence complète d’une activité, et pas seulement des images isolées.

En quoi la HAR diffère de la reconnaissance générale des actions

La reconnaissance générale des actions identifie des comportements uniques tels que « sauter » ou « donner des coups de pied », tandis que la HAR se concentre sur les activités en plusieurs étapes qui se déroulent au fil du temps. La HAR nécessite de comprendre les transitions, le contexte et la continuité plutôt que des mouvements isolés. Les travaux du Human Sensing Laboratory de Carnegie Mellon soulignent que les systèmes HAR doivent interpréter le début, le milieu et la fin de chaque activité pour obtenir une précision élevée.

Activités sous forme de séquences en plusieurs étapes

Les activités HAR comprennent des phases telles que la préparation, l’exécution et la récupération. Les annotateurs doivent étiqueter ces phases de manière cohérente. Les détails au niveau des phases améliorent la compréhension des comportements complexes par le modèle.

Importance des fenêtres temporelles

La HAR dépend de la définition correcte de la durée de chaque activité. Les annotateurs doivent déterminer quand l’activité commence et s’arrête. Cela garantit que les limites temporelles s’alignent sur les mouvements du monde réel.

Importance du contexte au-delà des images isolées

Les images isolées ne peuvent pas exprimer le sens de l’activité. Les annotateurs doivent évaluer les séquences de manière holistique. Cette approche améliore la classification des mouvements subtils ou ambigus.

Préparation des données pour l’annotation HAR

Les ensembles de données HAR proviennent de diverses sources : caméras statiques, capteurs portables, drones et appareils mobiles. Chaque modalité présente des défis spécifiques en termes d’alignement, de visibilité et de segmentation temporelle.

Synchronisation de plusieurs sources de données

Lorsque la vidéo et les capteurs sont combinés, les horodatages doivent être parfaitement alignés. Les annotateurs doivent vérifier la synchronisation pour éviter les séquences mal alignées. Les erreurs de synchronisation faussent l’interprétation temporelle.

Normalisation de séquences vidéo

Les fréquences d’images, l’éclairage et la résolution varient selon les environnements de capture. Les annotateurs doivent normaliser les séquences avant de les étiqueter. Cela réduit le biais d’annotation et améliore la transférabilité du modèle.

Gestion des occlusions et des arrière-plans encombrés

Le mouvement humain peut être partiellement masqué par des objets ou d’autres personnes. Les annotateurs doivent suivre les règles relatives à l’étiquetage des actions partiellement visibles. Un traitement cohérent empêche la fragmentation des ensembles de données.

Conception de taxonomies d’activités pour le HAR

Une taxonomie HAR définit les actions et les activités qui seront étiquetées. La complexité des activités varie selon les domaines, et les taxonomies doivent trouver un équilibre entre clarté et exhaustivité.

Choisir le bon niveau de détail

Certains projets nécessitent des activités grossières telles que « marcher », tandis que d’autres nécessitent des distinctions plus précises, comme « marcher avec une charge ». Les annotateurs ont besoin de définitions claires pour éviter toute confusion.

Différencier des activités similaires

Des activités telles que « se pencher » et « s’accroupir » semblent visuellement similaires. Les annotateurs doivent utiliser la posture, la vitesse et la trajectoire des articulations pour les différencier. Des exemples détaillés renforcent la cohérence.

Inclure les activités transitoires

Les transitions telles que « position assise à position debout » ou « position debout pour marcher » contiennent des informations importantes. Les annotateurs doivent inclure ces segments lorsque cela est nécessaire. La reconnaissance des transitions améliore la modélisation temporelle.

Annoter les activités avec une précision temporelle

L’annotation temporelle est au cœur du HAR. Les annotateurs doivent identifier quand les activités commencent, quand elles se terminent et comment elles évoluent dans le temps.

Définition de règles de début et de fin claires

Les activités ont rarement des limites précises. Les annotateurs doivent suivre les règles d’interprétation des mouvements préparatoires et des phases de stabilisation. Cette cohérence empêche la dérive des étiquettes temporelles.

Étiquetage des activités en plusieurs phases

Les actions complexes peuvent inclure la préparation, l’exécution et le rétablissement. Les annotateurs doivent identifier chaque phase lorsque cela est nécessaire. L’annotation multiphase améliore l’interprétabilité.

Gestion des activités simultanées ou qui se chevauchent

Les personnes peuvent effectuer plus d’une action à la fois, comme marcher en portant un objet. Les annotateurs doivent étiqueter ces combinaisons de manière cohérente. Cela renforce la modélisation multi-étiquettes.

HAR avec estimation de la pose et suivi du squelette

L’estimation de la pose améliore le HAR en fournissant des informations sur les mouvements au niveau des articulations. Les données sur le squelette aident les modèles à interpréter la posture, la démarche et la dynamique corporelle fine.

Étiquetage des points clés pour l’analyse des mouvements des articulations

Les annotateurs doivent veiller à la cohérence du placement des points clés entre les images. Un étiquetage correct améliore l’interprétation des cycles de posture et de marche par le modèle.

Utiliser des séquences de poses pour détecter les micro-activités

De petits mouvements tels que le déplacement de poids ou les gestes de la main peuvent révéler des transitions importantes. Les annotateurs doivent étiqueter clairement ces micro-activités. Cela améliore la résolution temporelle.

Gestion des articulations obstruées ou manquantes

Les articulations disparaissent souvent lors des virages ou de l’occlusion partielle. Les annotateurs doivent suivre les règles relatives aux points-clés manquants. Cela permet d’éviter une reconstruction incohérente du squelette.

HAR avec données portables et capteurs

Certains ensembles de données HAR incluent des données d’accéléromètre, de gyroscope ou de capteur de pression. Les annotateurs doivent intégrer le contexte des capteurs dans les workflows d’étiquetage.

Interprétation des signatures des capteurs

Les signaux des capteurs nécessitent la compréhension des modèles d’accélération, des changements d’orientation et du bruit. Les annotateurs doivent identifier les modèles alignés avec la vidéo, le cas échéant.

Aligner les segments des capteurs sur la chronologie des vidéos

Un mauvais alignement entraîne des limites d’activité inexactes. Les annotateurs doivent valider l’alignement temporel avec soin pour garantir un étiquetage synchronisé.

Gestion du bruit et de la dérive du capteur

Les appareils portables génèrent du bruit qui affecte la reconnaissance de l’activité. Les annotateurs doivent appliquer des règles de nettoyage et marquer les séquences peu fiables. Cela améliore la robustesse du modèle.

Directives de conception pour l’annotation HAR

Les directives HAR doivent aider les annotateurs à interpréter de manière cohérente les activités ambiguës, transitoires et comportant plusieurs étapes. Des directives claires réduisent les désaccords et améliorent la stabilité de l’ensemble de données.

Rédaction de définitions d’activités avec des exemples

Les définitions doivent décrire comment reconnaître chaque phase d’activité. Les annotateurs s’appuient sur ces exemples pour assurer la cohérence. Des définitions précises réduisent l’ambiguïté.

Documentation des cas extrêmes

Les mouvements inhabituels ou les transitions atypiques nécessitent des décisions documentées. Cette documentation permet d’éviter toute confusion et de réduire la variabilité.

Mise à jour des directives à mesure que de nouvelles activités apparaissent

À mesure que les ensembles de données augmentent, de nouveaux modèles d’activité apparaissent. Les directives doivent évoluer pour rester pertinentes. Le contrôle de version garantit l’alignement entre les annotateurs.

Contrôle qualité pour les ensembles de données HAR

Les ensembles de données HAR contiennent des séquences longues et complexes qui nécessitent un examen minutieux pour garantir leur fiabilité.

Révision des limites temporelles

De petites erreurs dans les marqueurs de début ou de fin peuvent fausser des séquences d’activité entières. Les évaluateurs doivent inspecter les limites de près. Des processus de révision clairs améliorent la précision temporelle.

Échantillonnage de séquences marginales

Les activités rares ou les transitions confuses doivent être examinées avec le plus grand soin. L’échantillonnage garantit que ces cas suivent des règles cohérentes.

Utilisation de contrôles de cohérence temporelle automatisés

Les outils automatisés peuvent détecter des changements brusques, des durées de phase incohérentes ou des étiquettes incorrectes. Ces contrôles complètent l’examen humain et réduisent le bruit à long terme.

Intégrer des ensembles de données HAR dans des pipelines d’IA

Les ensembles de données HAR doivent être intégrés aux flux d’entraînement qui nécessitent une structure temporelle, une représentation équilibrée et une segmentation précise des phases.

Créer des ensembles d’évaluation avec une difficulté d’activité mixte

Les séquences d’évaluation doivent inclure des activités simples et complexes. Des ensembles d’évaluation équilibrés garantissent une mesure fiable des performances.

Garantir l’équilibre des données

Certaines activités sont beaucoup plus fréquentes que d’autres. Les annotateurs doivent surveiller les modèles de distribution pour éviter un déséquilibre extrême. Les ensembles de données équilibrés améliorent la généralisation.

Soutenir l’affinement itératif des ensembles de données

Au fur et à mesure que de nouvelles données apparaissent, les ensembles de données HAR augmentent. Les équipes doivent s’assurer que les nouvelles séquences respectent les règles existantes. Cela permet de préserver la cohérence entre les versions.

Besoin d’un jeu de données HAR fiable ? Si vous développez un ensemble de données de reconnaissance de l’activité humaine et que vous souhaitez structurer des flux d’annotation pour l’étiquetage temporel, l’analyse des poses ou la fusion capteur-vidéo, nous pouvons explorer comment DataVLab soutient des projets HAR de haute précision dans les domaines du sport, de la santé, de la robotique et des environnements intelligents.