Étude de cas : jeu de données de fusion LiDAR pour une start-up de mobilité urbaine

La vision de la start-up : une micromobilité plus intelligente grâce à l'IA

Le client, une start-up financée par du capital-risque et basée en Europe du Nord, voulait repenser le transport du dernier kilomètre avec des solutions de micromobilité pilotées par l'IA. L'objectif : permettre à des trottinettes électriques, robots de trottoir autonomes et petits véhicules de livraison de comprendre leur environnement et de prendre des décisions en temps réel.

Pour y parvenir, il ne suffisait pas de construire un véhicule. Il fallait une capacité de perception, donc des données fiables et exploitables :

• Nuages de points LiDAR annotés.
• Séquences caméra synchronisées.
• Horodatage GPS précis.
• Classes sémantiques riches et cohérentes.

Des jeux de données prêts à l'emploi comme KITTI ou NuScenes étaient trop génériques. Ils ne reflétaient pas suffisamment la densité, les obstacles, les zones d'ombre GPS ou la complexité des centres urbains historiques, avec leurs pavés, ruelles étroites et flux piétons imprévisibles. La start-up avait besoin d'un jeu de données sur mesure.

Portée et contraintes du projet : trouver l'équilibre entre ambition et réalité

La demande initiale était ambitieuse :

• Fusionner des scans LiDAR 3D avec des données de caméras stéréo avant/arrière et des journaux IMU/GPS.
• Annoter les objets en mouvement, comme les voitures, vélos et piétons, ainsi que les infrastructures statiques, comme les bordures, panneaux et poteaux.
• Fournir une segmentation panoptique pour les zones critiques : trottoirs, pistes cyclables, chaussées, passages piétons.
• Livrer 200 scènes issues de 5 villes en 3 mois.

Mais le terrain a rapidement rappelé plusieurs contraintes :

• Taille des données par scène : environ 2 à 4 Go non compressés.
• Complexité de fusion : l'alignement entre LiDAR et images exigeait une synchronisation temporelle très précise.
• Dérive LiDAR : les rues étroites créaient des écarts récurrents.
• Multiplicité des capteurs : les désalignements nécessitaient un étalonnage régulier.

Pour respecter le budget et les délais, le périmètre a évolué pendant le projet. Cette décision a évité au client de consommer ses ressources sur des annotations peu prioritaires et a permis de concentrer l'effort sur les zones réellement utiles au modèle.

De la capture brute aux données prêtes pour la fusion : configuration du pipeline

À première vue, collecter des données capteurs peut sembler simple : faire rouler le véhicule, enregistrer les flux et transmettre les fichiers à l'équipe d'annotation. En pratique, transformer des entrées multicapteurs brutes en jeu de données prêt pour la fusion et facile à annoter demande un travail rigoureux de matériel, de logiciel et d'ingénierie de données.

La start-up a vite compris que le pipeline de fusion serait la colonne vertébrale du projet. Sans structure claire, même de bons annotateurs auraient été ralentis par les images manquantes, les erreurs de synchronisation et les incohérences entre capteurs.

Voici comment l'équipe a structuré ce pipeline, étape par étape.

Configuration matérielle multi-capteurs : le véhicule de capture

Pour percevoir correctement l'environnement urbain, le véhicule était équipé d'un système de capteurs personnalisé collectant des données en temps réel. Les principaux composants étaient :

• Capteur LiDAR (Velodyne VLP-32C) : nuages de points haute résolution à 360° capturés à 10 Hz, utiles pour représenter la géométrie 3D des scènes urbaines.
• Caméras stéréo RGB : deux caméras frontales 1080p fournissant un contexte visuel et facilitant la segmentation sémantique, notamment dans les zones ambiguës ou occluses.
• GPS avec correction RTK : localisation au centimètre près, critique dans les zones urbaines denses et les environnements à faible signal GPS.
• Unité de mesure inertielle (IMU) : mesure du tangage, du lacet et de l'accélération pour faciliter la fusion des capteurs et corriger certaines dérives GPS.
• Enregistreur de données et module de calcul embarqué : système embarqué compact chargé d'horodater, synchroniser et stocker les flux entrants avec une bande passante élevée.

Cette configuration a permis au véhicule de capturer des informations spatiales et visuelles de haute fidélité à chaque seconde, avec environ 2 à 4 Go de données brutes par scène.

Synchronisation et étalonnage des capteurs

La synchronisation n'était pas un détail. Un léger décalage d'horodatage entre le LiDAR et les images caméra pouvait fausser les projections, entraîner des erreurs d'annotation et dégrader l'alignement utilisé par les modèles.

Pour limiter ce risque, l'équipe a mis en œuvre :

• Une correspondance d'horodatage à haute fréquence via ROS (Robot Operating System).
• Un étalonnage extrinsèque à l'aide de cibles en damier pour aligner LiDAR et caméras.
• Des protocoles de synchronisation temporelle basés sur PTP (Precision Time Protocol).
• Des procédures de recalibrage dynamique déclenchées tous les 2 à 3 jours de capture pour tenir compte des vibrations et des variations de température.

Chaque flux, LiDAR, image, GPS et IMU, a été horodaté séparément, puis fusionné à l'aide de scripts Python personnalisés capables d'aligner les images à la milliseconde.

Formatage et stockage des données

Une fois les données étalonnées et alignées, elles ont été formatées pour l'annotation et l'entraînement :

• Les nuages de points LiDAR ont été stockés aux formats .pcd et .bin, compatibles avec des outils de visualisation comme Open3D et PCL.
• Les images ont été sauvegardées en .png sans perte afin de préserver les détails utiles aux annotations.
• Les métadonnées combinées, incluant pose, orientation et index d'image, ont été regroupées dans des fichiers .json et .yaml par scène.
• Les outils de segmentation des scènes ont découpé les longues captures en séquences de 30 secondes pour améliorer l'efficacité de l'annotation.

Le résultat : un jeu de données propre, synchronisé, riche sur le plan sémantique et exploitable à la fois par les annotateurs et les ingénieurs IA.

Annoter la fusion LiDAR : un défi à fort enjeu

Si la mise en place du pipeline était complexe, l'annotation des données fusionnées s'est révélée encore plus exigeante. L'annotation LiDAR ne se limite pas à dessiner des boîtes 2D. Elle implique de travailler dans un espace 3D, avec des points parfois clairsemés, des objets mobiles et des occlusions nombreuses.

L'annotation devait donc aller au-delà de la classification. Elle devait capturer la profondeur, le mouvement et la géométrie, tout en maintenant la cohérence entre les images et entre les modalités capteurs.

Pourquoi l'annotation LiDAR est si difficile

Le LiDAR apporte des informations de profondeur, mais peu de texture. Un arbre et un poteau peuvent produire des signatures de points proches. Les surfaces vitrées, les voitures brillantes ou les passages étroits peuvent déformer ou supprimer certaines zones du nuage de points. Contrairement aux images RGB, le LiDAR montre souvent des silhouettes partielles, surtout pour des objets dynamiques comme des cyclistes entre des voitures stationnées.

Les principaux défis étaient :

• Sparsité en périphérie : la résolution du faisceau LiDAR représentait moins bien les petits objets, comme les chiens ou les cônes de signalisation.
• Occlusions : des véhicules stationnés ou du mobilier urbain masquaient parfois les piétons, ce qui nécessitait de s'appuyer sur les images caméra.
• Incohérences capteurs : même après étalonnage, certaines paires LiDAR-image restaient imparfaitement alignées et demandaient un réalignement manuel ou une annotation sur la couche projetée.

Pipeline d'annotation hybride : combiner précision et vitesse

Pour surmonter ces obstacles, l'équipe a adopté un flux de travail d'annotation en deux étapes :

1. Segmentation guidée par le LiDAR

• Les annotateurs ont utilisé des outils de visualisation 3D pour segmenter les nuages de points bruts.
• Les objets ont été regroupés selon leur géométrie et des connaissances spatiales de référence, par exemple la taille moyenne d'un piéton.
• Cette étape était plus lente, mais elle établissait une vérité terrain 3D fiable.

2. Raffinement guidé par l'image

• Les projections RGB des nuages de points ont été examinées pour vérifier les contours, résoudre les ambiguïtés et corriger les occlusions manquées.
• Les annotateurs pouvaient zoomer dans les images projetées pour saisir des détails fins, comme les roues de poussette ou les guidons de vélo.

La combinaison de la précision spatiale et des repères visuels a permis à l'équipe d'annoter des scènes complexes avec confiance : intersections encombrées, ruelles pleines de scooters stationnés, routes étroites avec véhicules de livraison ou flux piétons qui se croisent.

Format d'annotation et livrables

Pour chaque image, les annotations incluaient :

• Boîtes englobantes 3D : pour les objets mobiles tels que voitures, vélos et piétons.
• Masques de segmentation d'instance : sur les images projetées pour des classes comme route, trottoir ou bâtiment.
• Métadonnées objet : vitesse, orientation et type de mouvement, statique ou dynamique.
• Balises contextuelles de scène : heure de pointe, pluie, nuit ou conditions particulières.

Chaque image annotée a été enregistrée dans un format multicouche :

• .json pour les métadonnées et les annotations au niveau des objets.
• .bin pour la segmentation des nuages de points bruts.
• .png pour les superpositions utilisées lors du contrôle qualité visuel.

Tous les actifs étaient reliés par un identifiant de identifiant d'image unifié, puis vérifiés par des validateurs de cohérence automatisés avant la revue qualité.

Création d'un moteur d'assurance qualité centré sur l'humain

L'annotation manuelle n'était qu'une partie du processus. Un flux de travail d'assurance qualité centré sur l'humain a été intégré pour détecter les incohérences dans le temps et entre modalités.

Les principales couches de contrôle qualité étaient :

• Contrôles de continuité image par image : vérifier qu'un objet ne changeait pas de classe au cours de sa trajectoire.
• Revue des projections 3D vers 2D : valider chaque annotation LiDAR en le projetant dans l'image et en confirmant son alignement avec les contours visuels.
• Escalade des cas limites : faire remonter les scènes complexes, par exemple reflets ou fortes occlusions, pour revue experte.

L'équipe de contrôle qualité utilisait des tableaux de bord personnalisés mettant en évidence les classes, scènes et métadonnées les plus sujettes aux erreurs. Cette approche a permis de réduire les reprises de 37 % et de libérer davantage de temps pour annoter de nouvelles scènes.

Stratégie d'annotation : segmenter intelligemment, pas systématiquement

Segmenter manuellement l'intégralité de chaque scène aurait demandé des milliers d'heures et n'aurait pas été adaptée au passage à l'échelle. L'équipe a donc adopté une stratégie mixte.

Hybride sémantique et instance

• La segmentation sémantique a été utilisée pour les zones carrossables, trottoirs et pistes cyclables.
• La segmentation d'instances a été réservée aux objets dynamiques comme les personnes et les voitures.

Priorisation des régions d'intérêt (ROI)

Au lieu d'annoter toutes les données à 360°, l'effort a été concentré sur le cône avant de 120°, correspondant à la zone prioritaire de navigation du scooter.

Cette décision a réduit nettement le temps de travail, sans compromettre les performances du modèle sur les zones de perception critiques.

Utilisation intelligente des préannotations et du contrôle qualité assisté par modèle

Pour maintenir la précision sans faire exploser les coûts, l'équipe a utilisé des modèles pré-entraînés afin de générer des masques bruts et des boîtes englobantes initiales.

Le flux de travail était le suivant :

• Mask R-CNN était utilisé sur les images caméra.
• Des modèles de complétion sémantique de scène guidaient les corrections sur les zones LiDAR manquantes.
• Les annotateurs recevaient des suggestions, et non des réponses définitives, pour chaque image.

Une couche de contrôle qualité séparée validait la cohérence des annotations entre les images successives. Cette approche a permis de réduire les révisions d'annotations de 40 % et d'accélérer la livraison d'environ 3 semaines.

Gouvernance des annotations : révisions, cas limites et gestion des versions

Les environnements urbains réservent toujours des surprises : enfants qui courent, trottinettes stationnées, vitrines réfléchissantes, ombres en mouvement. Une stratégie de versioning des annotations a donc été mise en place.

Système de gestion des versions d'annotations

• v1.0 : livraison MVP avec limites connues.
• v1.1 : segmentation supplémentaire pour les cas limites signalés lors du contrôle qualité.
• v2.0 : intégration du retour d'expérience post-déploiement dans le réentraînement des modèles IA.

Les modifications étaient suivies dans un système inspiré de Git, avec identifiants de scène et notes de révision. Le client pouvait retracer une annotation jusqu'à l'annotateur initial et au réviseur qualité.

Leçons apprises : ce que les futures équipes devraient retenir

Chaque projet d'IA apporte autant d'enseignements que de livrables. Voici ce qui est ressorti de celui-ci.

Ce qui a fonctionné

• Les stratégies d'annotation hybrides ont réduit le nombre d'heures sans sacrifier la qualité.
• L'annotation assisté par modèle a limité la fatigue et augmenté le débit.
• Les boucles de retour précoces avec les ingénieurs IA ont évité les désalignements entre jeu de données et objectif modèle.

Ce qui n'a pas fonctionné au début

• Une ambition d'annotation trop exhaustive s'est heurtée aux contraintes de temps et de budget.
• La dérive capteur a nécessité un recalibrage plus fréquent que prévu.
• Les ruelles étroites ont créé des zones d'ombre GPS, atténuées seulement grâce aux corrections IMU.

Ce qui a changé

Au départ, la start-up imaginait un jeu de données unique et complet. Elle a finalement appris à prioriser les zones de perception critiques et à prévoir plusieurs versions du jeu de données, capables d'évoluer avec l'architecture IA.

Impact : au-delà du jeu de données

Ce jeu de données n'était pas un simple livrable. Il est devenu une base structurante du pipeline d'IA de la start-up.

• Il a permis l'entraînement de modèles de suivi d'objets et d'évitement d'obstacles.
• Il a servi de support de démonstration pour des présentations investisseurs et des demandes de subvention.
• Il a été réutilisé pour des tests internes dans 3 nouvelles villes où la start-up s'est développée.

Surtout, il a donné à la start-up un avantage propriétaire. Contrairement aux jeux de données open source, celui-ci reflétait son environnement, ses véhicules et son cas d'usage.

Conclusion : construire plus intelligemment, pas seulement plus grand

Créer un jeu de données de fusion LiDAR en contexte urbain est un projet exigeant. Mais avec une gestion intelligente du périmètre, des flux de préannotation et des stratégies d'étalonnage précises, même une petite équipe peut produire un jeu de données dont l'impact dépasse largement sa taille.

Si votre système d'IA doit « voir » le monde tel que votre produit le rencontre, ne vous reposez pas uniquement sur des jeux de données génériques. Construisez le vôtre, stratégiquement.

Vous souhaitez créer un jeu de données multimodal adapté à votre projet de mobilité ou de robotique ? Voyons comment nous pouvons vous accompagner, de la capture au contrôle qualité.

Contactez DataVLab pour structurer un pipeline de données multimodales, de la capture au contrôle qualité.