Étude de cas : annotation d'images de caméras embarquées pour un fournisseur automobile de rang 1

La véritable valeur de l'annotation de caméras embarquées pour la conduite autonome

L'annotation d'images issues de caméras embarquées n'est pas une simple opération technique. C'est un levier stratégique pour entraîner des systèmes de perception plus fiables, plus robustes et plus sûrs. À mesure que l'industrie automobile progresse vers des niveaux d'autonomie plus élevés, les modèles doivent comprendre des scènes routières très diverses, souvent imprévisibles, et proches des conditions réelles.

Les vidéos de dashcam apportent précisément cette diversité. Elles capturent la route telle qu'elle est vécue par les conducteurs : trafic dense, météo changeante, infrastructures hétérogènes, comportements humains inattendus et cas limites difficiles à reproduire en laboratoire.

Pourquoi les dashcams sont indispensables pour l'entraînement de systèmes de véhicules autonomes

Contrairement aux jeux de données collectés dans des environnements contrôlés, les données de caméras embarquées offrent un réalisme difficile à égaler. Elles montrent les situations que les véhicules autonomes et les systèmes ADAS doivent réellement interpréter : changements de voie brusques, piétons hésitants, intersections sous la pluie, zones de travaux, panneaux partiellement masqués ou routes très différentes d'un pays à l'autre.

Cette variabilité en fait une source précieuse pour entraîner des modèles de perception robustes. Elle apporte notamment :

• Une grande diversité environnementale : les caméras embarquées capturent naturellement des autoroutes en plein soleil, des rues urbaines encombrées, des matinées brumeuses, des tunnels mal éclairés ou des chaussées mouillées. Cette diversité aide les modèles à mieux généraliser que des données trop propres ou trop limitées.
• Une couverture géographique étendue : les véhicules équipés de dashcams peuvent collecter des scènes dans plusieurs pays, avec des infrastructures, des marquages, des règles implicites et des comportements de conduite différents. Des ronds-points parisiens aux routes rurales du Texas, chaque séquence ajoute du contexte.
• Des événements rares mais critiques : un enfant qui traverse soudainement, un véhicule qui freine brutalement ou un cycliste qui dévie de sa trajectoire sont des situations difficiles à organiser volontairement. Les enregistrements accumulés sur de longues périodes permettent de capturer ces cas limites indispensables à la sécurité.
• Des indices comportementaux : les images ne montrent pas seulement des objets. Elles révèlent aussi la manière dont les usagers de la route se comportent : un piéton qui hésite, un conducteur qui s'engage trop vite dans une intersection, un scooter qui se faufile entre deux véhicules. Ces signaux sont essentiels pour la prédiction de trajectoire.
• Un coût de collecte plus accessible : comparées à des configurations LiDAR ou à des capteurs plus spécialisés, les caméras embarquées sont peu coûteuses, largement disponibles et capables d'enregistrer en continu. Elles constituent donc une source de données particulièrement exploitable à grande échelle pour les fournisseurs automobiles et les équipes qui construisent des jeux de données internationaux.

Annotation d'images de caméras embarquées en conditions réelles pour des véhicules autonomes plus sûrs

Lorsqu'elles sont enrichies par des annotations précises et contextualisées, les données de dashcam deviennent un actif stratégique. Elles permettent de :

• Renforcer la perception des systèmes ADAS et AV dans des environnements non contrôlés, par exemple des intersections atypiques, des infrastructures dégradées ou des comportements humains difficiles à anticiper.
• Alimenter les plateformes de simulation avec des scènes réalistes pour tester les algorithmes sur des situations proches du terrain.
• Améliorer les modules de prédiction du comportement, afin d'aider les véhicules à anticiper ce que les autres usagers pourraient faire dans les secondes suivantes.
• Valider les décisions en temps réel, notamment dans des zones géographiques riches en cas complexes comme l'Inde, le Mexique ou l'Asie du Sud-Est.

Pour les fournisseurs de rang 1 qui développent des briques matérielles et logicielles destinées aux constructeurs, les images de caméras embarquées annotées ne sont pas seulement utiles. Elles peuvent devenir un avantage concurrentiel. Les équipes capables de maîtriser la diversité, la qualité et la richesse contextuelle de ces données seront mieux placées pour entraîner la prochaine génération de systèmes autonomes.

Le client : un fournisseur de rang 1 engagé pour des routes plus sûres

Notre client, un fournisseur automobile international travaillant avec plusieurs grands constructeurs, avait besoin de séquences de caméras embarquées annotées pour soutenir le développement de son module de perception de nouvelle génération. Ses systèmes sont intégrés à la fois dans des plateformes ADAS et des piles de conduite autonome.

Son équipe R&D interne avait collecté plusieurs téraoctets de vidéos provenant de différents pays, mais ne disposait ni de la capacité opérationnelle ni de l'infrastructure d'annotation nécessaires pour traiter ces données à grande échelle.

Le client nous a sollicités pour couvrir plusieurs besoins :

• Une annotation de haute précision des objets, voies de circulation et panneaux routiers.
• Un suivi séquentiel permettant de conserver l'identité des objets sur plusieurs images.
• Un balisage contextuel des scénarios de conduite difficiles : éblouissement, neige, conduite nocturne, pluie, zones de travaux.
• L'identification de cas limites pour les événements rares ou risqués, par exemple des piétons circulant hors des zones prévues ou des véhicules immobilisés.

Principaux défis liés à l'annotation d'images de caméras embarquées

Annoter des vidéos de dashcam est très différent de l'annotation de vidéos professionnelles soigneusement sélectionnées. Les scènes sont plus brutes, plus variables et souvent moins lisibles. Ce projet a donc nécessité des règles et des flux de travail spécifiques.

1. Flou de mouvement et artefacts de compression

Les caméras embarquées enregistrent souvent à 30 images par seconde, avec une compression parfois agressive. Certaines images sont floues ou déformées, ce qui rend les contours des objets moins nets et plus difficiles à annoter.

Solution : nous avons mis en place un pipeline de validation des images afin de détecter et d'écarter les images inutilisables, tout en conservant suffisamment de données exploitables pour l'entraînement.

2. Éclairage et météo imprévisibles

Soleil direct, brouillard matinal, conduite de nuit, pluie sur le pare-brise ou reflets sur chaussée mouillée : les variations de lumière influencent fortement la visibilité et l'apparence des objets.

Solution : les annotateurs ont reçu des consignes par scénario, par exemple sur le traitement des reflets au crépuscule. La revue qualité a également été organisée par type de condition pour renforcer la cohérence.

3. Objets partiellement masqués ou occlus

Les piétons cachés par des voitures stationnées, les cyclistes entre deux véhicules ou les panneaux partiellement visibles sont fréquents dans les vidéos routières. Ils sont pourtant essentiels pour les applications de sécurité.

Solution : nous avons adopté une approche centrée sur le suivi temporel. Le contexte fourni par les images précédentes et suivantes permettait de lever certaines ambiguïtés lorsque les objets n'étaient visibles que partiellement.

4. Annotation de longues séquences vidéo

L'annotation de longs clips entraîne de la fatigue et peut provoquer une dérive des annotations. Sans cohérence temporelle, les identifiants de suivi deviennent instables et les objets perdent leur continuité d'une image à l'autre.

Solution : nous avons utilisé des outils semi-automatisés d'interpolation et de propagation des identifiants, avec supervision humaine, afin d'accélérer le suivi tout en préservant la qualité.

Des flux de travail personnalisés pour un pipeline d'annotation exigeant

Le projet ne consistait pas à utiliser un outil d'annotation générique. Il fallait construire un moteur de production de données adapté au cas d'usage. Plusieurs flux de travail ont été introduits pour répondre aux besoins du client et à l'évolution des priorités.

Suivi d'objets haute fidélité

Chaque instance, qu'il s'agisse d'un piéton, d'une voiture, d'une moto ou d'un feu de signalisation, a reçu un identifiant persistant sur l'ensemble des images, avec des notes sur son entrée et sa sortie du champ de vision.

Les objets dynamiques, comme les bus, scooters ou véhicules de secours, exigeaient une attention particulière :

• Évolution précise des boîtes englobantes dans le temps.
• Estimation des vecteurs de vitesse et de mouvement.
• Classification du comportement : insertion, arrêt, trajectoire erratique, freinage brusque.

Marquage de voie adaptatif

L'annotation des voies était particulièrement délicate. Les marquages routiers varient fortement selon les pays et les villes. Ils peuvent être usés, masqués par la pluie, interrompus par des travaux ou rendus peu visibles par l'éclairage.

Nous avons travaillé avec le client pour définir des classes de voies personnalisées selon plusieurs critères :

• Type : ligne continue, ligne discontinue, double ligne.
• Niveau de visibilité : clair, partiel, usé.
• Usage : piste cyclable, voie de bus, voie de tourne-à-gauche, voie temporaire.

Cette granularité a permis aux modèles de ne pas seulement détecter les voies, mais aussi d'en comprendre la fonction.

Balisage des scénarios et couche de métadonnées

Au-delà des objets, nous avons ajouté des métadonnées de contexte pour décrire chaque situation de conduite. Exemples :

• « Forte pluie »
• « Tunnel faiblement éclairé »
• « Intersection avec feux partiellement masqués »
• « Piéton surgissant entre deux voitures stationnées »

Ces balises étaient indispensables pour constituer des sous-ensembles de cas limites et évaluer les modèles sur des scénarios ciblés.

Contrôle qualité : garantir la cohérence sur plus d'un million d'images vidéo

À ce volume, la cohérence compte autant que la précision image par image. Une annotation instable peut dégrader les performances du modèle, surtout pour les tâches de suivi et de prédiction. Nous avons donc structuré le contrôle qualité autour de plusieurs niveaux.

Système d'évaluation à plusieurs niveaux

Nous avons mis en place une revue en trois niveaux :

1. Revue initiale par un annotateur pair formé aux scénarios du projet.
2. Contrôle qualité par lots par un annotateur senior, chargé de vérifier la qualité des annotations et la cohérence des séquences.
3. Audits ponctuels par l'équipe de validation interne du client, à partir de nos rapports de qualité.

Détection de la dérive temporelle des annotations

Des scripts personnalisés ont permis de repérer les dérives dans le temps, notamment :

• Disparition soudaine d'objets pourtant encore visibles.
• Anomalies de taille dans les boîtes englobantes.
• Réattribution incorrecte d'identifiants après une occlusion.

Cette détection automatisée a aidé l'équipe à corriger rapidement des incohérences subtiles qui auraient été difficiles à repérer manuellement à grande échelle.

Tableaux de bord visuels d'assurance qualité

Pour suivre à la fois l'avancement et la qualité, nous avons déployé des tableaux de bord interactifs présentant :

• La distribution des classes dans le jeu de données.
• Des exemples d'images par classe.
• Les statistiques de cycles de revue.
• Des cartes de chaleur comparant vitesse d'annotation et taux d'erreur.

Qu'est-ce qui a rendu ce projet unique (et réussi)

Plusieurs facteurs ont permis au projet de dépasser une simple logique de production d'annotations :

• Une collaboration étroite avec le client : les points hebdomadaires ont permis de traiter les retours rapidement et d'intégrer les changements de priorité en cours de route.
• Une annotation à grande échelle : nous avons traité plus de 10 000 séquences et annoté plus de 1 million d'images en moins de 4 mois.
• Une conception compatible avec l'industrialisation : le pipeline de livraison a été pensé pour s'intégrer directement dans la pile MLOps du client.

À l'issue du projet, le client disposait :

D'une bibliothèque structurée de cas limites difficiles
De scénarios rares utilisables pour tester ses modèles de perception
De séquences réelles intégrables dans son module de prédiction du comportement

Les modèles entraînés sur ce jeu de données ont montré une amélioration significative de la mAP, notamment pour des catégories comme les motos et les piétons partiellement occlus.

Leçons apprises : l'annotation n'est pas une tâche isolée, c'est un partenariat

Au fil du projet, une évidence s'est imposée : réussir une annotation à cette échelle dépend moins d'une simple exécution que d'un alignement continu entre annotateurs, ingénieurs ML et experts métier.

Voici les principaux enseignements tirés du projet.

1. L'annotation n'est pas universelle

Les images de caméras embarquées varient énormément. Même dans une même ville, un trajet matinal par temps clair n'a rien à voir avec une heure de pointe pluvieuse en soirée. Un protocole figé ne peut pas couvrir toutes les situations. Les consignes d'annotation doivent évoluer avec les données, en particulier en cas d'éblouissement, d'occlusion, de travaux ou de changement d'angle de caméra.

À retenir : gardez des protocoles dynamiques. Lancez des lots pilotes et ajustez les règles à partir de cas réels, plutôt que de vous limiter à des exemples théoriques.

2. L'expertise humaine reste supérieure à l'automatisation complète

Malgré les outils d'interpolation et les modèles de pré-annotation, le jugement humain était irremplaçable, notamment pour :

• Interpréter l'intention : un piéton va-t-il traverser ou reste-t-il simplement sur place ?
• Classer des objets partiellement occlus ou ambigus.
• Gérer des interactions atypiques, par exemple des véhicules d'urgence qui ne respectent pas le flux normal de circulation.

Nous avons constaté que les flux de travail semi-automatisés, associés à une validation humaine rigoureuse, offraient le meilleur équilibre entre vitesse et précision.

À retenir : l'automatisation aide à passer à l'échelle, mais les cas limites du monde réel exigent encore des annotateurs formés.

3. Penser perception plutôt que pixels

Les annotations traditionnelles se concentrent souvent sur la précision géométrique : boîte, masque ou polygone au pixel près. Pour entraîner des modèles de perception routière, la compréhension du contexte est tout aussi importante. Par exemple :

• Un objet flou peut rester identifiable grâce à sa trajectoire dans les images précédentes.
• Un marquage de voie temporairement masqué par un reflet peut rester annotable si le contexte routier indique sa continuité.

En formant les annotateurs à raisonner comme des ingénieurs de perception, nous avons produit un jeu de données plus utile pour les équipes ML, même lorsque cela demandait d'aller au-delà d'une logique purement pixel.

À retenir : formez les annotateurs à la logique de perception, pas seulement à la précision visuelle.

4. Les boucles de retour entre annotation et entraînement des modèles sont essentielles

Les équipes de modélisation et d'annotation travaillent souvent séparément. Dans ce projet, des cycles de retour fréquents, par exemple « notre modèle échoue sur ces zones de travaux, pouvons-nous les annoter plus finement ? », nous ont aidés à optimiser le jeu de données pour les performances réelles du modèle.

Cette boucle a permis plusieurs améliorations proactives :

• Création d'une classe distincte pour les voies temporaires.
• Ajustement des règles de boîtes englobantes pour les objets à grande vitesse.
• Ajout de marqueurs d'événements pour signaler des comportements anormaux.

À retenir : l'annotation ne doit pas être livrée puis oubliée. Fermez la boucle avec les équipes modèles le plus tôt possible.

5. La sélection des cas limites est le vrai facteur différenciant

Annoter plus d'un million d'images vidéo est important, mais la valeur venait surtout de notre capacité à identifier et structurer des scénarios rares à fort enjeu :

• Piétons distraits portant des écouteurs et quittant soudainement le trottoir.
• Conducteurs qui ignorent un stop.
• Cyclistes qui dévient à cause de nids-de-poule.

Ces situations rares ne rendent pas seulement le système plus performant. Elles contribuent directement à sa sécurité.

À retenir : ne traitez pas les cas limites comme du bruit statistique. Ce sont des données d'entraînement particulièrement précieuses.

6. La qualité progresse lorsque les annotateurs comprennent le contexte

Lorsque les annotateurs sont traités comme une simple main-d'œuvre d'exécution, la qualité finit par se dégrader. Lorsqu'ils comprennent le « pourquoi » de la tâche et l'utilisation finale des données, ils prennent de meilleures décisions.

Nous avons renforcé cet engagement grâce à :

• Un accès aux retours issus des modèles.
• Des explications claires sur l'impact du projet.
• La possibilité de signaler des cas limites ou de proposer des ajustements de protocole.

À retenir : investir dans la compréhension des annotateurs améliore la qualité et révèle des problèmes que les métriques seules ne montrent pas.

7. La collaboration avec le client conditionne le succès à long terme

Les synchronisations hebdomadaires avec le fournisseur de rang 1 n'étaient pas de simples points d'avancement. Elles ont permis :

• Des retours rapides sur l'évolution des cas limites.
• Une résolution conjointe de problèmes, par exemple sur le traitement des reflets sur route mouillée.
• Un alignement constant sur l'utilisation aval du jeu de données.

Cette collaboration a créé de la confiance, de l'agilité et une responsabilité partagée, trois éléments déterminants pour la réussite du projet.

À retenir : traitez le client comme un partenaire produit, pas seulement comme un acheteur d'annotations.

À la fin du projet, nous ne livrions pas seulement des vidéos annotées. Nous fournissions une base de données destinée à améliorer la sécurité des systèmes de perception dans des environnements complexes et réels.

Lorsque l'annotation est alignée avec la perception, enrichie par le contexte et soutenue par des boucles de retour, elle devient un pilier stratégique du développement des véhicules autonomes.

Améliorer votre chaîne de perception avec des données de dashcam annotées

Si votre équipe dispose de plusieurs heures, voire de plusieurs téraoctets, de séquences de caméras embarquées ou de capteurs et cherche à les préparer pour l'entraînement de modèles, vous n'êtes pas seul.

Chez DataVLab, nous aidons des fournisseurs, des start-up spécialisées dans les véhicules autonomes et des équipes OEM à annoter des scènes routières complexes : changements de voie, piétons inattentifs, zones de travaux, objets partiellement masqués et situations rares en circulation réelle.

Parlons-en : que vous prépariez votre premier jeu de données ou que vous passiez à plusieurs millions d'images, nous pouvons vous accompagner dans la structuration, l'annotation et le contrôle qualité.

Contactez DataVLab pour entamer la conversation.