La conduite autonome ne se résume pas à un seul type d’environnement
Pour construire un véhicule autonome sûr et fiable, il faut le préparer à fonctionner dans toutes sortes d’environnements, qu’il s’agisse de centres-villes très fréquentés ou de routes agricoles isolées. Mais la formation de modèles de perception d’IA à une telle polyvalence commence par une étape clé : annotation de scènes.
L’annotation consiste à étiqueter des objets et des éléments contextuels dans les images de la caméra ou les données des capteurs. Ces annotations indiquent à l’IA ce qu’elle doit rechercher et comment interpréter son environnement. Cependant, la complexité et la sémantique de ce qui doit être étiqueté changent radicalement entre scènes urbaines et rurales.
C’est pourquoi les stratégies d’annotation doivent évoluer en fonction du paysage.
Pourquoi le contexte est essentiel
Les environnements urbains et ruraux diffèrent non seulement par ce qui apparaît sur la route, mais aussi par la façon dont les choses se comportent, la fréquence à laquelle elles changent et la manière dont les scènes peuvent être interprétées par un système d’IA. Sans stratégies d’annotation précises adaptées à chaque paramètre, les jeux de données risquent de devenir biaisés ou incomplets, ce qui entraîne une mauvaise généralisation des modèles de production.
Découvrons comment et pourquoi.
Complexité des scènes urbaines
Les environnements urbains présentent certains des scénarios visuels et contextuels les plus difficiles pour les véhicules autonomes comme pour les annotateurs de données. Loin d’être simples, ces paramètres contiennent une densité impressionnante d’objets, des schémas de mouvement imprévisibles et une infrastructure en constante évolution.
Densité d’objets et chevauchement élevés
Une seule image dans un environnement de centre-ville peut contenir :
- Des dizaines de véhicules avec différents états de mouvement (arrêt, virage, stationnement)
- Piétons traversant les zones désignées et en dehors de celles-ci
- Des livreurs à vélo et à trottinette zigzaguant entre les voies
- Chiens tenus en laisse, caddies, poussettes, souvent à proximité ou dans la rue
Ces objets se masquent souvent les uns les autres. Par exemple, une poussette peut être partiellement cachée derrière un SUV en stationnement, ou un cycliste peut disparaître momentanément derrière un bus. Les annotateurs doivent porter des jugements précis sur les limites et la visibilité des objets. La perception de la profondeur devient un défi, en particulier dans les jeux de données d’images 2D où l’occlusion induit en erreur les bounding boxes de délimitation ou les masques.
Complexité architecturale et d’éclairage
Les canyons urbains formés par de grands immeubles provoquent :
- Contrastes d’ombres nets, des algorithmes de détection d’objets confus
- Surfaces réfléchissantes (façades vitrées, par exemple) qui peuvent refléter des objets, ce qui entraîne la détection de fantômes
- Éclairage variable contre les enseignes au néon, les phares et les feux de circulation qui changent à chaque seconde
L’annotation doit inclure des indices contextuels tels que la présence d’un piéton dans une zone ombragée ou la présence de reflets dans une scène, ce qui influe sur la façon dont les modèles d’IA interprètent la visibilité et les mouvements.
Micro-interactions chaotiques
Les villes respectent rarement un scénario routier parfaitement prévisible. Les annotateurs peuvent rencontrer :
- Les portes des taxis s’ouvrent de façon inattendue sur les pistes cyclables
- Skateboarders circulant dans les embouteillages
- Des food trucks garés deux fois à côté des bornes d’incendie
- Des véhicules de police ou d’urgence actionnent des sirènes et font une embardée de façon imprévisible
La capture de ces anomalies du monde réel nécessite attention image par image et parfois en annotant des indices comportementaux (par exemple, décélération soudaine, activation des feux de détresse).
Surcharge d’infrastructure
Les espaces urbains sont caractérisés par des réseaux routiers qui se chevauchent : les pistes cyclables, les voies réservées aux bus, les voies de tramway, les voies de stationnement et les zones piétonnes se croisent souvent. Chacune d’entre elles a besoin de sa propre étiquette, de ses propres limites et parfois de sa propre hiérarchie de classes (par exemple, voies actives ou inactives). Il y a aussi nécessité de saisir les éléments réglementaires :
- Panneaux de signalisation (certains sont partiellement obstrués)
- Signalisation de construction temporaire ou cônes
- Panneaux de signalisation numériques ou indicateurs LED
Si ces éléments ne sont pas respectés, le modèle risque de mal interpréter les règles de priorité ou les contraintes de circulation, une erreur coûteuse en conduite réelle.
La complexité moins visible des scènes rurales
Bien que les scènes rurales puissent sembler « plus propres » en raison de la moindre congestion visible, elles introduisent un ensemble de difficultés complètement différent qui les rendent tout aussi difficiles, sinon plus, à annoter et à modéliser pour les systèmes audiovisuels.
Absence de délimiteurs et de structure
Dans les zones rurales, les marques routières claires sont souvent absentes :
- Pas de séparateurs de voies ni de lignes de bordure peints
- Les accotements des routes peuvent se fondre dans les champs herbeux ou les fossés
- L’espace pilotable n’est pas toujours évident pour l’œil humain, encore moins pour une IA
Les annotateurs sont obligés de faire décisions subjectives sur ce qui constitue la limite de la route. Ces décisions doivent être cohérentes sur des milliers de bounding boxes, ce qui est difficile à maintenir sans directives d’annotation précises.
Obstacles inhabituels et usagers de la route
Les zones rurales introduisent des objets atypiques mais à haut risque :
- Tracteurs, moissonneuses-batteuses et charrettes tirées par des chevaux
- Des animaux sauvages tels que des cerfs, des sangliers ou des chiens traversent de façon imprévisible
- Balles de foin fixes, branches d’arbres tombées ou tuyaux d’irrigation
Ces objets sont souvent rarement vu dans les jeux de données d’entraînement mais présentent un risque important. Les annotateurs doivent les étiqueter même lorsqu’ils sont visuellement faibles, partiellement obstrués ou éloignés du véhicule, car les véhicules autonomes doivent y réagir bien à l’avance.
Extrêmes environnementaux et diversité des terrains
Les milieux ruraux connaissent souvent :
- Dégradés abrupts, des nids-de-poule et des sentiers sinueux
- Routes non goudronnées, du gravier, de la boue, du sable ou des surfaces enneigées
- Des changements saisonniers qui donnent à une même scène un aspect radicalement différent d’un mois à l’autre
En été, une route peut être bordée d’une épaisse végétation, mais en hiver, recouverte de glace et de reflets de neige. Les annotateurs peuvent avoir besoin de reclasser les éléments de scène en fonction du contexte de la période de l’année, ce qui n’est pas courant dans les données urbaines.
Infrastructure et comportement informels
De nombreuses zones rurales sont caractérisées par :
- Signalisation improvisée (par exemple, enseignes manuscrites ou symboles peints sur les granges)
- Intersections informelles sans panneaux d’arrêt
- Partage des routes entre les véhicules, les piétons et le bétail
Cela introduit un dépendance culturelle et régionale à l’annotation. Par exemple, un chemin local peut fonctionner comme une route mais ne sera indiqué sur aucune carte et ne sera pas marqué par une signalisation officielle. Les annotateurs ont besoin des deux compréhension locale et un moyen de communiquer cette « sémantique informelle » dans des formats de labels structurés.
Priorités d’annotation par environnement
Les différentes zones géographiques modifient ce qui compte le plus pour vos labels.
Priorités urbaines :
- Passages pour piétons, zones piétonnes
- États des feux de signalisation
- Interactions entre véhicules en cas de congestion
- Panneaux de signalisation et désignations de voies
- Délimitation des trottoirs et des routes
Priorités rurales :
- Segmentation de la zone carrossable (en l’absence de voies dégagées)
- Détection de la faune (par exemple, boîtes de délimitation pour les cerfs)
- Annotation du terrain (chaussée, gravier, boue)
- Sensibilisation aux abords de la route ou aux chutes
- Véhicules agricoles et obstacles atypiques
Si les classes de labels ne sont pas ajustées en conséquence, les données rurales risquent d’être simplifiées à l’extrême et de ne pas être suffisamment informatives.
Biais dans la composition des jeux de données
De nombreux jeux de données de premier plan (par exemple, Cityscapes, KITTI, NuScenes) se concentrent sur les villes, tandis que les scènes rurales sont rares et sous-annotées. Cela crée des risques cachés :
- Suradaptation aux environnements structurés
- Défaillance de la détection des cas marginaux dans le cadre de déploiements en situation réelle
- Biais dans les seuils de confiance liés à la perception pour les routes désertes plutôt que pour les intersections très fréquentées
Pour créer des véhicules autonomes fiables, les équipes doivent équilibrer les jeux de données non seulement en termes de nombre d’images, mais aussi en :
- Diversité environnementale
- Complexité des labels
- Heure de la journée, conditions météorologiques et variations saisonnières
Les données synthétiques peuvent être utiles (par exemple, en utilisant Simulateur CARLA), mais uniquement s’ils sont utilisés avec soin pour correspondre aux caractéristiques du domaine réel.
Les spécificités culturelles et régionales sont importantes
Une « route rurale » en Suède n’est pas la même chose qu’une route en Inde. De même :
- Les rues des villes européennes sont souvent dépourvues de lignes médianes et ont des priorités de virage complexes
- Dans certaines régions, les routes sont partagées avec des animaux ou sont soumises à des règles informelles
Les stratégies d’annotation doivent être localisé :
- Les classifications des labels devraient tenir compte des panneaux régionaux et des comportements de conduite
- Les annotateurs ont besoin de supports de formation contenant des exemples culturellement exacts
- Des boucles de retour d’expérience avec des experts régionaux peuvent empêcher les erreurs d’annotation systémiques
La localisation ne se limite pas à la traduction, il s’agit d’interpréter le contexte.
La vraie difficulté : la cohérence des labels dans un monde en désordre
Supposons que vous entraîniez votre IA avec :
- Échantillons urbains où les trottoirs sont clairement indiqués
- Échantillons ruraux sans aucun trottoir
Que se passe-t-il lorsque le système détecte un accotement de la route ? Est-ce que c’est :
- Une zone praticable ?
- Un sentier pédestre ?
- Terrain indéfini ?
Ces ambiguïtés dégradent les performances de l’IA, à moins que les ontologies et définitions des labels ne soient Exhaustivement clair et appliqué de manière cohérente.
Solutions :
- Régulier audits de validation croisée
- Transparent manuels d’annotation avec des exemples de cas extrêmes
- Préétiquetage assisté par IA pour réduire la dérive humaine
Les personnes comptent : pourquoi l’expertise des annotateurs est importante
Vos annotateurs ne sont pas simplement des « cliqueurs », ils sont les premiers professeurs de votre modèle.
Lorsque vous faites face à des environnements complexes :
- Fournir formation basée sur les rôles (par exemple, spécialistes urbains ou ruraux)
- Afficher des images de conduite réelles pour la compréhension du contexte
- Impliquez-les dans boucles de rétroaction avec votre équipe chargée de la performance des modèles
L’annotation participatif sans filtrage de domaine peut entraîner :
- Mauvaise classification du terrain ou de la signalisation
- Événements marquants manqués
- Comportement peu fiable du modèle en aval
À lire aussi : Comment gérer l’annotation des cas limites
Entraînement mixte pour une capacité d’adaptation au monde réel
Plutôt que de former des modèles distincts pour chaque environnement, visez systèmes de perception adaptatifs. Cela implique :
- L’apprentissage du curriculum : Entraîner le modèle pour qu’il passe de facile (trafic urbain de jour en milieu urbain) à difficile (brouillard nocturne en milieu rural)
- Adaptation du domaine : Utilisation de techniques telles que la traduction d’image en image pour rendre les caractéristiques urbaines et rurales visuellement interchangeables pendant la formation
- Augmentation sensible à la scène : ajout de brouillard, de neige, de poussière ou de fusées éclairantes pour simuler les facteurs de stress environnementaux
Cela améliore la généralisation et permet aux modèles de gérer les variations du monde réel avec plus de confiance.
Construire une IA qui comprend chaque route
L’annotation est la première étape vers l’intelligence autonome. Si nous voulons que les véhicules circulent en toute sécurité partout, alors nos jeux de données, et la façon dont nous les annotons, doivent refléter partout.
- Ne sous-estimez pas l’annotation rurale simplement parce qu’elle semble « simple ».
- Ne vous fiez pas trop aux données urbaines simplement parce qu’elles sont abondantes.
- Construisez des pipelines plus intelligents qui s’adaptent au terrain, à la culture et à la complexité.
À DataVLab, nous sommes spécialisés dans l’annotation évolutive et intégrée à la boucle pour les scènes urbaines à haute densité et les environnements ruraux nuancés. Qu’il s’agisse de former un système ADAS ou d’étiqueter des scénarios extrêmes pour un déploiement mondial, nous sommes là pour vous aider.
Prêt à créer des jeux de données plus intelligents ? DataVLab pour annoter les routes les moins fréquentées.
Pour aller plus loin
Voici quelques jeux de données et études qui permettent de combler le fossé entre les données d’entraînement en milieu urbain et en milieu rural :
