Pourquoi le comportement des piétons est crucial dans les systèmes audiovisuels
Les piétons font partie des acteurs les plus vulnérables et les moins prévisibles en milieu urbain. Contrairement aux véhicules, leurs déplacements ne sont pas régis par des règles de circulation strictes ni par des contraintes mécaniques. Ils peuvent soudainement s'arrêter, accélérer, changer de direction ou faire des gestes, le tout en fonction de décisions internes inobservables ou d'un contexte externe.
Pour que les véhicules autonomes puissent fonctionner en toute sécurité, ils doivent non seulement détecter les piétons, mais également interpréter leurs intentions, leur langage corporel et leurs trajectoires probables. Cela va au-delà de la détection d'objets traditionnelle et s'aventure dans le domaine de la prédiction du comportement, un domaine dans lequel les données annotées jouent un rôle fondamental.
Qu'est-ce qui rend le comportement des piétons si complexe ?
Le comportement des piétons est influencé par une combinaison de signaux visuels, temporels, environnementaux et sociaux. Parmi les principaux facteurs de complexité, citons :
- Ambiguïté du mouvement: Un pas en avant peut indiquer un croisement... ou pas.
- Contexte interpersonnel: Les groupes de piétons se comportent différemment des individus.
- Interactions avec l'environnement: L'éclairage, les conditions météorologiques et le tracé des routes influent sur le comportement.
- Changements temporels: L'intention d'une personne peut changer en quelques millisecondes.
Pour que les véhicules autonomes apprennent ces subtilités, ils doivent données vidéo annotées de haute qualité grâce à un étiquetage tenant compte du contexte, comme la direction du regard, les mouvements des jambes, les hésitations et l'utilisation des passages pour piétons.
Des étiquettes comportementales qui fournissent des informations sur la sécurité
Pour annoter efficacement le comportement des piétons, il est essentiel d'aller au-delà des limites statiques et de se concentrer sur étiquetage piloté par un événement ou basé sur l'intention. Les étiquettes de comportement des piétons couramment utilisées dans les ensembles de données audiovisuelles incluent :
- Debout, marche, course
- Commencer à traverser, sur le point de traverser, traversant, finition de la traversée
- À la recherche d'un véhicule, ne regardant pas, distraits
- Agitant, pointant, tenir un objet, à l'aide d'un téléphone portable
- Hésitation, attendre, faisant demi-tour
Dans de nombreux cas, ces comportements sont annoté image par image pour saisir la dynamique de transition. Pour les modèles d'apprentissage automatique, ce niveau de granularité est essentiel pour prévoir avec précision les actions futures.
Prédire l'intention : de l'étiquetage à la prévision
L'objectif de l'annotation comportementale n'est pas simplement de baliser les actions passées, mais de permettre aux modèles de prévoir ce que fera le piéton ensuite.
Les annotations sont souvent associées à des algorithmes tels que les LSTM ou des prédicteurs basés sur des transformateurs qui ingèrent des séquences visuelles. Des étiquettes comportementales riches fournissent la vérité de base nécessaire pour :
- Train modèles de séquences temporelles qui anticipent l'intention
- Ajustez modèles de prédiction de trajectoire pour l'estimation de la trajectoire des piétons
- Evaluer modules de sensibilisation aux risques dans les véhicules autonomes pour ralentir ou arrêter de manière préventive
Dans ce contexte, l'annotation devient bien plus qu'une simple tâche d'étiquetage : c'est une opération essentielle à la sécurité.
Les pièges courants liés à l'annotation du comportement des piétons
Bien que l'importance de l'annotation du comportement des piétons soit évidente, sa bonne exécution n'est pas une mince affaire. Parmi les défis récurrents, citons :
⚠️ États de mouvement ambigus
Les moments de transition (par exemple, le fait de descendre d'un trottoir) sont difficiles à classer. La personne est-elle « sur le point de traverser » ou est-elle simplement en train de marcher ? Les annotateurs ont besoin de directives tenant compte du contexte et éventuellement d'un accès au images précédentes et suivantes.
⚠️ Des normes culturelles variées
Les comportements des piétons varient d'un pays à l'autre. Par exemple : le jaywalking est plus courant dans certaines cultures que dans d'autres, et le contact visuel peut avoir une signification différente. Les équipes d'annotation doivent localiser les taxonomies comportementales en conséquence.
⚠️ Fatigue des annotations et subjectivité
Étiqueter un comportement nuancé, image par image, est éprouvant mentalement. Sans formation rigoureuse et sans procédures d'assurance qualité, les erreurs s'accumulent. De plus, l' « hésitation » d'un annotateur peut être l' « attente » d'un autre. La cohérence est essentielle.
⚠️ Contexte environnemental médiocre
Si l'annotation est limitée aux cadres de délimitation sans balisage feux de circulation, panneaux ou passages pour piétons, il est difficile de déterminer si le comportement d'un piéton est conforme ou risqué. Les métadonnées contextuelles doivent être incluses.
Facteurs humains et biais comportementaux
Lors de l'annotation du comportement des piétons pour les systèmes de véhicules autonomes (AV), les facteurs humains, tels que la perception, le jugement et les biais cognitifs, jouent un rôle étonnamment important. L'annotation ne consiste pas simplement à cliquer sur des objets ou à étiqueter des états. Il s'agit d'une tâche d'interprétation qui nécessite une compréhension nuancée du mouvement humain, de l'intention et du contexte social.
Le problème de la perception
Les actions des piétons sont souvent ambiguës. Une personne debout sur le trottoir avec un pied en avant est peut-être sur le point de traverser, ou elle est peut-être en train d'ajuster sa position. Les annotateurs humains doivent interpréter ces microcomportements, et ces interprétations sont filtrées en fonction de leurs propres expériences, de leurs normes culturelles et de leurs attentes subconscientes.
Par exemple :
- Un piéton regarder un véhicule peut suggérer une prise de conscience dans certaines cultures mais pas dans d'autres.
- UNE bref coup d'œil sur le téléphone pouvait être qualifié de « distrait » par un annotateur, ou simplement « inactif » par un autre.
- Une marche lente peut être synonyme de fatigue, d'indécision ou de prudence, selon la façon dont l'annotateur lit la scène.
Ces jugements subtils façonnent l'ensemble de données étiqueté et, par extension, biais intégrés dans le modèle. Si elle n'est pas gérée avec soin, cela peut amener les véhicules autonomes à faire des prévisions erronées, en particulier dans des environnements urbains diversifiés.
Influences culturelles et environnementales
Le comportement des piétons varie considérablement selon la géographie et la culture. À Tokyo, les piétons ont tendance à suivre strictement les signaux. À Rome ou à Beyrouth, le jaywalking est peut-être une norme sociale. Si votre équipe d'annotation n'est pas familière avec le contexte comportemental local de vos données, elle peut qualifier à tort les actions de risquées ou d'anormales alors qu'elles ne le sont pas, ou vice versa.
C'est pourquoi de nombreuses sociétés audiovisuelles sont désormais :
- Former les annotateurs avec amorces comportementales spécifiques à l'emplacement
- Y compris étiquettes relatives au contexte culturel dans les métadonnées (par exemple, les normes locales relatives aux piétons)
- En utilisant équipes d'évaluation multinationales pour valider les comportements ambigus selon les points de vue
L'importance de la formation des annotateurs
Former les annotateurs à reconnaître les comportements de manière cohérente n'est pas seulement une question de règles, c'est une question de cognition. Les pipelines d'annotation comportementale de haute qualité incluent souvent :
- Vidéos pédagogiques affichage d'exemples étiquetés avec commentaires
- Comparaisons côte à côte pour illustrer les différences d'étiquetage
- Étalonnage par consensus de groupe, où les annotateurs étiquettent les mêmes scènes et alignent leur compréhension
Certaines entreprises emploient même psychologues comportementaux ou ingénieurs en facteurs humains pour superviser les directives et valider les cas limites.
Intégrer le comportement dans les pipelines de simulation
Bien que les données vidéo du monde réel soient vitales, elles présentent des limites : elles sont difficiles à contrôler, difficiles à équilibrer entre des comportements rares et leur mise à l'Scale AI peut être coûteuse. C'est là simulation tenant compte du comportement étapes à suivre pour combler le fossé entre les données annotées et l'autonomie testable.
Comment fonctionne la simulation enrichie par le comportement
Environnements de simulation tels que CARLA ou LGSVL permettent aux ingénieurs de générer des villes virtuelles entières avec des agents programmables. Lorsque vous intégrez des modèles comportementaux réels à ces agents, sur la base de données annotées sur les piétons, vous débloquez un puissant ensemble d'outils :
- Génération contrôlée de scénarios: Vous voulez tester la façon dont votre véhicule audiovisuel réagit à un piéton hésitant sous la pluie, qui approche depuis un angle mort ? Vous pouvez simuler cela.
- Modélisation d'événements rares: Les quasi-accidents, les demi-tours brusques ou les marcheurs distraits sont dangereux à filmer dans la vraie vie, mais c'est sûr en simulation.
- Analyse comparative des performances: La simulation vous permet de répéter la même scène riche en comportements sur différents modèles audiovisuels ou versions logicielles afin de tester les améliorations.
Cette approche transforme l'annotation comportementale en une boucle de rétroaction. Vous extrayez des modèles à partir de données réelles → vous les envoyez par script à une simulation → vous affinez la réponse de votre antivirus → vous collectez de nouveaux cas limites → et vous recommencez.
Comportement synthétique pour un entraînement équilibré
De nombreux ensembles de données antivirus souffrent de déséquilibre comportemental—de nombreux événements de croisement, mais peu d'hésitations ou d'interactions. Pour résoudre ce problème, les équipes génèrent comportements synthétiques des piétons qui sont modélisés statistiquement d'après des annotations réelles.
Exemple de pipeline :
- Entraînez un classificateur de comportement à partir de vos données annotées
- Utilisez le classificateur pour analyser un vaste corpus vidéo non annoté
- Extrayez des comportements rares et utilisez-les pour informer les scripts de simulation
- Entraînez des modèles audiovisuels sur ce jeu de données synthétique enrichi
Le résultat : un véhicule autonome qui ne se contente pas de voir les piétons, il anticipe, comprend et s'adapte à leurs actions complexes et souvent imprévisibles.
Boucler la boucle entre l'annotation et les tests
Dans le développement audiovisuel moderne, l'annotation du comportement n'est pas une tâche autonome, elle fait partie d'un boucle itérative de développement et de validation de sécurité:
- Annotez les comportements nuancés à partir de données de conduite réelles
- Intégrer des modèles de filières de formation
- Évaluer le comportement audiovisuel dans le cadre d'une simulation
- Détectez les défaillances du modèle ou les cas extrêmes
- Affinez les étiquettes ou développez les ensembles de données en conséquence
Cette boucle est essentielle pour validation réglementaire également. De nombreuses juridictions exigent des preuves démontrables de sécurité dans le cadre de scénarios piétonniers spécifiques. La simulation axée sur le comportement, basée sur des annotations de haute qualité, vous permet de répondre à ces exigences en toute confiance.
Des ensembles de données qui ont eu un impact
Plusieurs ensembles de données publics ont contribué à façonner le domaine de l'annotation du comportement des piétons pour les véhicules autonomes :
- Ensemble de données JAAD (Attention conjointe pour la conduite autonome) — Connu pour ses balises d'événements comportementaux et son accent sur l'interaction entre le piéton et le véhicule.
- Ensemble de données PIE (estimation de l'intention des piétons) — Propose des annotations temporelles détaillées, le regard et le mouvement pour prédire l'intention.
- Ensembles de données de trajectoire ETH et UCY — Utilisé pour modéliser la navigation sociale et la prévision des trajectoires piétonnes.
- BDD100K — L'un des plus grands ensembles de données audiovisuelles, comprend des scènes diverses mais une granularité comportementale limitée.
Les annotateurs et les développeurs peaufinent souvent leurs modèles en combinant les informations issues de ces ensembles de données avec annotations privées spécifiques à une tâche pour les modules AV critiques pour la sécurité.
Le rôle de la simulation et des données synthétiques 🎮
Dans les scènes où il est difficile de collecter des données comportementales réelles, comme les intersections dangereuses ou les rares accidents évités de justesse,données synthétiques devient incontournable.
En simulant des situations extrêmes (par exemple, un piéton qui court dans la circulation), les équipes peuvent :
- Répartition des classes d'équilibre
- Améliorer la généralisation de la prédiction des comportements rares
- Évaluez des scénarios « cygne noir » sans risquer des vies
Les annotations synthétiques, lorsqu'elles sont bien faites, complètent les données réelles et comblent les écarts de performance dans les environnements critiques pour la sécurité.
Mise à l'Scale AI de l'annotation comportementale dans des projets du monde réel
Pour mettre tout cela en production, les équipes doivent rendre opérationnels les pipelines d'annotations avec :
- Taxonomies claires: Définitions pour toutes les classes de comportement
- Contexte du scénario: Métadonnées relatives à l'environnement et à la signalisation
- Assurance qualité: Validation en plusieurs étapes pour réduire la subjectivité
- Segmentation vidéo: Diviser de longues séquences en segments interprétables
- Apprentissage actif: Laisser les modèles signaler un comportement incertain à des fins d'évaluation humaine
L'étiquetage des données devient un processus itératif faisant intervenir l'humain, en particulier pour les applications en évolution rapide telles que les véhicules autonomes où la dérive du modèle constitue un risque constant.
Leçons tirées du terrain : annoter à grande Scale AI
De notre expérience de travail avec des sociétés audiovisuelles et des startups de mobilité intelligente, voici des leçons durement apprises :
- Utiliser plusieurs annotateurs pour le même extrait vidéo afin de mesurer l'accord entre les évaluateurs
- Développez un état d'esprit axé sur le comportement: n'annotez pas simplement pour cocher une case, réfléchissez à la manière dont les données seront utilisées dans les décisions relatives aux modèles réels
- Investissez dans des outils d'annotation vidéo qui prend en charge les transitions de classes au niveau de l'image, les liens temporels et les superpositions contextuelles (par exemple, l'état des feux de signalisation)
- Fermez la boucle de feedback entre les équipes d'annotation et les ingénieurs ML pour affiner les étiquettes au fil du temps
Plus votre processus d'annotation ressemble à une prise de décision réelle, plus il devient utile pour entraîner des véhicules autonomes intelligents.
La voie à suivre : vers des véhicules autonomes empathiques
L'annotation n'est qu'un début. Ce que l'industrie recherche en fin de compte, c'est IA empathique—Des systèmes audiovisuels qui ne se contentent pas de voir les piétons, mais comprendre eux. Cela nécessite de s'orienter vers :
- Entrées multimodales (vision + LiDAR + audio) pour déduire un contexte plus riche
- Modélisation interagents où les véhicules et les piétons « négocient » l'espace
- Raisonnement prédictif, pas seulement la sécurité réactive
Nous sommes sur la voie de la mise en place de véhicules autonomes capables de ralentir une grand-mère hésitante à un passage pour piétons, non pas parce qu'elle a franchi un seuil de sécurité, mais parce que le système comprend réellement son comportement.
Parlons de votre projet 🤝
Si vous construisez la prochaine génération de véhicules autonomes axés sur la sécurité et avez besoin d'aide pour annoter le comportement des piétons, nous sommes là pour vous aider. À DataVLab, nous sommes spécialisés dans l'étiquetage des comportements complexes à grande Scale AI, avec une expérience confirmée en matière d'IA pour la mobilité urbaine.
Que vous ayez besoin d'une assurance qualité comportementale, de conseils en annotation ou d'ensembles de données de bout en bout, construisons ensemble des rues plus sûres.
👉 Nous contacter pour discuter de la manière dont nous pouvons soutenir votre projet audiovisuel.
