Caso práctico: conjunto de datos de fusión LiDAR para una startup de movilidad urbana

La visión de la startup: micromovilidad más inteligente con IA

El cliente, una startup respaldada por capital de riesgo y con sede en el norte de Europa, tenía una misión ambiciosa: rediseñar el transporte de última milla con soluciones de micromovilidad impulsadas por IA. Pensemos en patinetes eléctricos, robots autónomos para aceras y vehículos compactos de reparto capaces de comprender su entorno y tomar decisiones en tiempo real.

Para hacer realidad esta visión, necesitaban algo más que un vehículo: necesitaban percepción. Y eso requería datos robustos:

• Nubes de puntos LiDAR anotadas
• Vídeo de cámaras sincronizado
• Marcas de tiempo GPS precisas
• Etiquetas semánticas detalladas

Los conjuntos de datos estándar como KITTI o nuScenes eran demasiado generales. No reflejaban la densidad, los obstáculos ni la fluctuación del GPS habituales en centros urbanos históricos con adoquines, callejones estrechos y alta presencia de peatones. La startup necesitaba algo a medida.

Alcance y restricciones del proyecto: equilibrar ambición y realidad

La solicitud inicial era ambiciosa:

• Fusionar escaneos LiDAR 3D con datos de cámaras estéreo delanteras y traseras, además de registros IMU/GPS
• Anotar objetos en movimiento (coches, bicicletas, peatones) e infraestructura estática (bordillos, señales de tráfico, postes)
• Proporcionar segmentación panóptica para zonas críticas como aceras y carriles bici
• Entregar 200 escenas de 5 ciudades en un plazo de 3 meses

Pero la realidad era la siguiente:

• Tamaño de los datos por escena: aproximadamente 2–4 GB sin comprimir
• Complejidad de la fusión: la alineación de fotogramas exigía una sincronización temporal precisa
• Deriva del LiDAR: en calles estrechas era un problema recurrente
• Múltiples sensores: generaban desalineaciones que requerían calibración constante

Para mantenerse dentro del presupuesto y del calendario, el alcance evolucionó a mitad del proyecto, una decisión que finalmente evitó desgaste operativo y desperdicio de recursos para el cliente. A continuación se explica cómo.

De la captura en bruto a datos listos para fusión: configuración del flujo de trabajo

A primera vista, recopilar datos de sensores puede parecer una tarea directa: conducir el vehículo, reunir las grabaciones y enviar los archivos al equipo de etiquetado. Sin embargo, transformar entradas brutas de múltiples sensores en un conjunto de datos listo para fusión y fácil de anotar es un proceso técnicamente exigente que involucra hardware, software e ingeniería de datos.

La startup de movilidad urbana comprendió rápidamente que el flujo de trabajo de fusión sería el eje de todo el proyecto. Sin una canalización bien estructurada, incluso los mejores anotadores se verían ralentizados por inconsistencias, fotogramas faltantes y errores de sincronización.

Así abordó el equipo el reto de la fusión, paso a paso.

Configuración de hardware multisensor: el vehículo de captura

Para percibir con precisión el entorno urbano, el vehículo se equipó con una plataforma de sensores personalizada que recopilaba datos en tiempo real. Los componentes principales incluían:

• Sensor LiDAR (Velodyne VLP-32C): capturaba nubes de puntos de 360° de alta resolución a 10 Hz, adecuadas para detectar geometría 3D en escenas urbanas.
• Cámaras RGB estéreo: dos cámaras frontales de 1080p proporcionaban contexto visual y ayudaban en la segmentación semántica, especialmente en zonas ocluidas o ambiguas.
• GPS con corrección RTK: ofrecía precisión de localización a nivel centimétrico, algo crucial en zonas urbanas densas con áreas de sombra GPS.
• Unidad de medición inercial (IMU): registraba cabeceo, guiñada y aceleración para apoyar la fusión de sensores y corregir la deriva del GPS.
• Registrador de datos + módulo de computación en el borde: un sistema compacto de cómputo a bordo marcaba temporalmente, sincronizaba y almacenaba todos los datos entrantes con alto ancho de banda.

Esta configuración permitió que el patinete capturara información espacial y visual de alta fidelidad cada segundo, generando aproximadamente entre 2 y 4 GB de datos brutos por escena.

Sincronización y calibración de sensores

La sincronización no era opcional: incluso pequeños desajustes en las marcas de tiempo entre LiDAR y los fotogramas de cámara podían distorsionar las superposiciones proyectadas, lo que provocaría errores de anotación y desalineación del modelo de IA.

Para resolverlo, el equipo implementó:

• Emparejamiento de marcas de tiempo de alta frecuencia mediante ROS (Robot Operating System)
• Calibración extrínseca con patrones de tablero de ajedrez para alinear LiDAR y cámara
• Protocolos de sincronización temporal basados en PTP (Precision Time Protocol)
• Procedimientos de recalibración dinámica activados cada 2–3 días de captura para compensar la deriva de sensores causada por vibraciones y cambios de temperatura

Cada flujo de datos (LiDAR, imagen, GPS, IMU) se marcaba temporalmente de forma individual y después se combinaba mediante scripts personalizados en Python que alineaban los fotogramas con precisión de milisegundos.

Formato y almacenamiento de datos

Una vez calibrados y alineados temporalmente, los datos se formateaban para su uso posterior:

• Las nubes de puntos LiDAR se almacenaban en formatos .pcd y .bin, compatibles con herramientas de visualización como Open3D y PCL.
• Las imágenes se guardaban en .png sin pérdida para preservar el detalle de los bordes durante la anotación.
• Los metadatos combinados (incluidos pose, rumbo e índice de fotograma) se empaquetaban en archivos .json y .yaml por escena.
• Las herramientas de segmentación de escenas dividían capturas largas en fragmentos de 30 segundos para mejorar la eficiencia de anotación.

¿El resultado? Un conjunto de datos listo para fusión, preparado tanto para anotadores como para ingenieros de IA: limpio, sincronizado y semánticamente rico.

Anotación de fusión LiDAR: un reto de alta exigencia

Si configurar el flujo de trabajo fue complejo, anotar los datos resultó aún más exigente. Etiquetar datos de fusión LiDAR es muy diferente a trabajar con cajas delimitadoras 2D simples: se opera en un espacio 3D, con puntos dispersos, objetivos en movimiento y oclusiones del entorno.

La anotación debía ir más allá de las clasificaciones simples. Tenía que capturar profundidad, movimiento y geometría, manteniendo al mismo tiempo la coherencia entre fotogramas y modalidades de sensor.

Por qué la anotación LiDAR es tan desafiante

LiDAR proporciona información de profundidad, pero carece de textura. Un árbol y un poste pueden producir firmas de puntos muy similares. Las superficies de vidrio, los coches brillantes y los callejones estrechos a menudo distorsionan o eliminan puntos por completo. Y, a diferencia de la anotación de imágenes, donde los objetos se ven a todo color, LiDAR suele capturar siluetas parciales, especialmente en objetos dinámicos como ciclistas que circulan entre coches aparcados.

Los principales retos incluían:

• Escasez de puntos en la periferia: la menor resolución de los haces LiDAR hacía que objetos pequeños, como perros o conos de tráfico, quedaran infrarrepresentados.
• Oclusiones: los vehículos aparcados o peatones detrás del mobiliario urbano solían tener datos incompletos en LiDAR, por lo que era necesario apoyarse en la entrada visual de las cámaras.
• Inconsistencia entre sensores: incluso con calibración, algunos pares de fotogramas quedaban desalineados, lo que exigía realineación manual o anotación únicamente sobre la capa proyectada.

Flujo de trabajo de anotación híbrido: combinar precisión y velocidad

Para abordar estos obstáculos, el equipo adoptó un flujo de trabajo de anotación en dos etapas:

1. Segmentación con prioridad LiDAR

• Los anotadores utilizaron herramientas de visualización 3D para segmentar nubes de puntos brutas.
• Los objetos se agruparon según clústeres geométricos y referencias espaciales conocidas, por ejemplo, la altura media de un peatón.
• Este proceso era más lento, pero establecía una verdad fundamental 3D de base.

2. Refinamiento guiado por imágenes

• Se revisaban proyecciones RGB de las nubes de puntos para verificar límites de objetos, resolver ambigüedades y corregir oclusiones no detectadas.
• Los anotadores podían ampliar las imágenes proyectadas para identificar pequeños detalles, como ruedas de carritos o manillares de bicicletas.

La combinación de precisión espacial y señales visuales permitió al equipo etiquetar incluso escenas complejas con confianza: intersecciones con flujos peatonales superpuestos, callejones llenos de patinetes aparcados o calles estrechas de sentido único ocupadas por furgonetas de reparto.

Formato de anotación y salida

Para cada fotograma, las anotaciones incluían:

• Cajas delimitadoras 3D: para objetos en movimiento como coches, bicicletas y personas.
• Máscaras de segmentación de instancias: sobre imágenes proyectadas para clases semánticas como calzada, bordillo o edificio.
• Metadatos de objetos: velocidad, orientación y tipo de movimiento (estático o dinámico).
• Etiquetas de contexto de escena: si la escena ocurrió en hora punta, con lluvia o de noche.

Cada fotograma anotado se guardaba en un formato multicapa:

• .json para metadatos y etiquetas a nivel de objeto
• .bin para la segmentación de la nube de puntos bruta
• .png para superposiciones de visualización destinadas al control de calidad

Todos los activos se vinculaban mediante un sistema unificado de ID de fotograma y se comprobaban con validadores automáticos de coherencia antes de la revisión de control de calidad.

Creación de un motor de control de calidad con revisión humana

Las anotaciones manuales eran solo el comienzo. Se incorporó un proceso de control de calidad con revisión humana en el ciclo para detectar inconsistencias entre tiempo y modalidad.

Las capas principales de control de calidad incluían:

• Comprobaciones de continuidad entre fotogramas: para asegurar que un objeto no quedara mal etiquetado a mitad de su trayectoria
• Revisión de superposición 3D a 2D: cada etiqueta LiDAR se validaba proyectándola en el espacio de imagen y confirmando que coincidiera con los límites visuales
• Escalado de casos límite: los escenarios complejos, como reflejos u oclusiones, se marcaban para revisión por anotadores expertos

El equipo de control de calidad utilizó paneles personalizados que mostraban clases propensas a error y escenas con metadatos faltantes. Este enfoque redujo el retrabajo en un 37%, liberando más tiempo para anotar nuevas escenas.

Estrategia de etiquetado: segmentar con inteligencia, no por volumen

La segmentación manual de escenas completas habría requerido miles de horas y no era escalable. Por eso, el equipo adoptó una estrategia mixta:

Híbrido semántico + instancia

• La segmentación semántica se utilizó para zonas transitables, aceras y carriles bici
• La segmentación de instancias se utilizó para objetos dinámicos como personas y coches

Priorización de regiones de interés (ROI)

En lugar de anotar todos los datos de 360°, el enfoque se concentró en el cono frontal de 120°, que coincidía con la prioridad de navegación del patinete.

Esto redujo de forma significativa las horas de trabajo sin afectar el rendimiento del modelo.

Uso inteligente de preetiquetas y control de calidad asistido por modelos

Para mantener la precisión sin inflar los costes, el equipo aprovechó modelos de IA preentrenados para generar máscaras aproximadas y cajas delimitadoras.

Así funcionaba:

• Mask R-CNN se utilizó sobre fotogramas de cámara
• Los modelos de completado semántico de escenas guiaban las zonas LiDAR faltantes
• Los anotadores recibían sugerencias, no respuestas definitivas, para cada fotograma

Una capa independiente de control de calidad validaba la coherencia de las etiquetas entre fotogramas temporales. Esto redujo las revisiones de anotación en un 40% y aceleró la entrega casi 3 semanas.

Gobernanza de etiquetas: revisiones, casos límite y versionado

Los entornos urbanos presentan situaciones impredecibles: niños corriendo, patinetes aparcados, cristales reflectantes, sombras en movimiento. Por eso se implementó una estrategia de versionado.

Sistema de versionado de etiquetas

• v1.0: entrega MVP con limitaciones conocidas
• v1.1: incluyó segmentación adicional para casos límite detectados en control de calidad
• v2.0: incorporó comentarios posteriores al despliegue en el reentrenamiento del modelo de IA

Los cambios se registraban en un sistema basado en Git, con ID de escena y notas de los revisores. El cliente podía rastrear cualquier etiqueta hasta el anotador original y el revisor de control de calidad.

Lecciones aprendidas: lo que otros equipos deberían saber

Cada proyecto de IA enseña más de lo que resuelve. Estas fueron las conclusiones principales:

Lo que funcionó

• Las estrategias de anotación híbridas redujeron horas sin sacrificar rigor
• El etiquetado asistido por modelos redujo la fatiga y aumentó el rendimiento
• Los ciclos tempranos de retroalimentación con ingenieros de IA evitaron desalineaciones en el conjunto de datos

Lo que no funcionó (al principio)

• La ambición de etiquetar escenas completas cedió ante las restricciones del mundo real
• La deriva de sensores requirió recalibración más frecuente de lo esperado
• Los callejones estrechos crearon zonas de sombra GPS, mitigadas únicamente con correcciones de IMU

Qué cambió

La startup imaginaba al principio un conjunto de datos único y aplicable a todo. Sin embargo, aprendió a priorizar zonas críticas de percepción y a planificar múltiples versiones del conjunto de datos que evolucionaran con la pila de IA.

Impacto: más allá del conjunto de datos

Este conjunto de datos no fue solo un entregable. Se convirtió en la base del flujo de trabajo de IA de la startup.

• Permitió entrenar modelos de seguimiento de objetos y evitación de obstáculos
• Sirvió como material de demostración para presentaciones a inversores y solicitudes de subvención
• Se reutilizó para pruebas internas en 3 nuevas ciudades a las que se expandió la startup

Más importante aún, proporcionó a la startup una ventaja propietaria. A diferencia de los conjuntos de datos de código abierto, este reflejaba su entorno, sus vehículos y su caso de uso.

Conclusión: construir con más inteligencia, no solo a mayor escala

Crear un conjunto de datos de fusión LiDAR en un contexto urbano no es una tarea menor. Sin embargo, con una gestión inteligente del alcance, flujos de trabajo de preetiquetado y estrategias de calibración precisas, incluso un equipo pequeño puede entregar un conjunto de datos con un impacto superior a su tamaño.

Si un sistema de IA necesita “ver” el mundo de la misma forma que lo hace el producto, no conviene depender de conjuntos de datos genéricos. Es preferible construir uno propio, estratégicamente.

Si está preparando un conjunto de datos multimodal para un proyecto de movilidad o robótica, DataVLab puede ayudarle desde la captura hasta el control de calidad.

Contacte con DataVLab para explorar cómo estructurar un conjunto de datos adaptado a su caso de uso.