Cómo funciona la segmentación de imágenes

Comprender el papel de la segmentación en la visión por ordenador

La segmentación de imágenes es el proceso de asignar una etiqueta de clase a cada píxel o región de una imagen. En lugar de limitarse a detectar la presencia de un objeto o clasificar la imagen completa, la segmentación genera un mapa estructurado de qué hay en la escena y dónde se encuentra cada elemento. Esto permite que los modelos de visión por ordenador comprendan entornos visuales complejos con una resolución espacial precisa, algo esencial en aplicaciones como la navegación autónoma, las imágenes médicas, el análisis satelital y el control de calidad industrial.

Segmentación semántica frente a segmentación de instancias

Segmentación semántica

La segmentación semántica asigna una etiqueta de categoría a cada píxel de una imagen. Todos los píxeles que pertenecen a la carretera se etiquetan como carretera, todos los píxeles del cielo se etiquetan como cielo y todos los píxeles de peatones se etiquetan como peatón, independientemente de cuántos peatones individuales estén presentes. El resultado es un mapa de predicción denso en el que cada píxel tiene exactamente una clase. La segmentación semántica se utiliza cuando el objetivo es comprender la escena, no contar objetos ni realizar seguimiento individual.

Segmentación de instancias

La segmentación de instancias amplía la segmentación semántica al tratar cada instancia de objeto como una entidad separada. Si aparecen dos coches en una escena, la segmentación de instancias etiqueta cada coche por separado con un identificador de instancia único, lo que permite a los modelos contar objetos, seguir elementos individuales entre fotogramas y razonar sobre las relaciones espaciales entre objetos concretos. La segmentación de instancias exige más capacidad computacional y requiere anotaciones más detalladas, pero permite una gama más amplia de tareas posteriores.

Segmentación panóptica

La segmentación panóptica combina la segmentación semántica y la segmentación de instancias en una salida unificada. Cada píxel se etiqueta tanto con una categoría semántica como, en el caso de los objetos contables, con un identificador de instancia. Las regiones de fondo, como cielo, carretera y vegetación, solo reciben etiquetas semánticas. La segmentación panóptica ofrece la representación más completa de la escena y se utiliza cada vez más en aplicaciones de conducción autónoma y robótica que requieren tanto comprensión de la escena como seguimiento de objetos.

Cómo aprenden los modelos de segmentación

Verdad fundamental a nivel de píxel

Los modelos de segmentación se entrenan con conjuntos de datos en los que cada imagen de entrenamiento se empareja con una máscara de anotación a nivel de píxel. La máscara de anotación codifica la etiqueta de clase de cada píxel de la imagen, lo que crea una señal de supervisión densa. Durante el entrenamiento, el modelo aprende a predecir esta máscara a partir de la imagen sin procesar minimizando la diferencia entre sus predicciones y las anotaciones de verdad fundamental.

Arquitectura codificador-decodificador

La mayoría de las arquitecturas de segmentación utilizan un codificador que comprime la imagen de entrada en una representación compacta de características, seguido de un decodificador que aumenta la resolución de esas características hasta la resolución original de la imagen para producir la predicción a nivel de píxel. Las conexiones de salto entre el codificador y el decodificador permiten combinar los detalles espaciales finos capturados en las primeras capas de la red con el contexto semántico aprendido en capas más profundas.

Funciones de pérdida para predicción densa

El entrenamiento de modelos de segmentación requiere funciones de pérdida diseñadas para tareas de predicción densa. La opción más habitual es la pérdida de entropía cruzada aplicada a nivel de píxel. En conjuntos de datos con un fuerte desequilibrio de clases, donde los píxeles de fondo superan ampliamente en número a los píxeles de objeto, se utilizan funciones de pérdida ponderadas o pérdidas especializadas, como la pérdida Dice o la pérdida focal, para evitar que el modelo ignore las clases poco frecuentes.

Construcción de conjuntos de datos de segmentación

Herramientas de anotación

Crear anotaciones a nivel de píxel requiere herramientas de anotación especializadas que permitan a los anotadores trazar los límites de los objetos de forma eficiente. Las herramientas de polígonos, las herramientas de pincel y las sugerencias automáticas de límites ayudan a producir máscaras precisas sin exigir que cada píxel se etiquete manualmente. Las herramientas semiautomatizadas que proponen límites a partir de la detección de bordes o superpíxeles, y permiten que los anotadores los refinen, reducen de forma significativa el tiempo de anotación.

Requisitos de precisión de la anotación

La calidad de la anotación de segmentación tiene un impacto directo en el rendimiento del modelo, especialmente en los límites de los objetos. Los anotadores deben seguir directrices precisas sobre cómo tratar objetos parcialmente ocluidos, límites ambiguos entre clases y estructuras delgadas como postes, cables y bordes. La gestión inconsistente de los límites es una de las principales fuentes de ruido de etiquetado en los conjuntos de datos de segmentación.

Jerarquía de clases y taxonomía

Los conjuntos de datos de segmentación requieren una taxonomía de clases claramente definida que especifique todas las categorías que el modelo debe aprender, cómo tratar los objetos que abarcan varias categorías y cómo etiquetar regiones donde la pertenencia a una clase es ambigua. El diseño de la taxonomía afecta directamente a la capacidad de generalización del modelo y debe validarse en un pequeño conjunto de datos piloto antes de iniciar la anotación a gran escala.

Segmentación en imágenes médicas

Delimitación de órganos y tejidos

La segmentación de imágenes médicas es una de las aplicaciones más exigentes porque la anotación requiere conocimiento clínico experto. Radiólogos y anotadores formados deben delimitar los bordes de órganos, estructuras tisulares, lesiones y regiones patológicas en TC, RM, ecografía y portaobjetos de patología. La precisión requerida varía según la aplicación: una segmentación gruesa de órganos puede ser suficiente para algunas tareas de planificación, mientras que la detección exacta del límite de una lesión es esencial para la planificación de radioterapia y el análisis cuantitativo.

Retos de anotación en datos médicos

La segmentación de imágenes médicas presenta retos específicos que no aparecen en los conjuntos de datos de imágenes naturales. La variabilidad entre anotadores es inherentemente mayor en la anotación médica porque los expertos pueden discrepar sobre los límites precisos de las regiones patológicas. La calidad de imagen varía de forma significativa según el tipo de escáner, las características del paciente y los protocolos de adquisición. Además, las consecuencias clínicas de los errores de anotación pueden ser graves, por lo que se requieren procesos rigurosos de control de calidad.

Control de calidad para conjuntos de datos de segmentación

Los conjuntos de datos de segmentación requieren un control de calidad más intensivo que los conjuntos de datos de clasificación, porque los errores pueden producirse en cada píxel y no solo a nivel de imagen. Los procesos estándar de control de calidad incluyen la revisión entre pares de las anotaciones, la comparación con muestras de referencia anotadas por expertos, la medición del acuerdo entre anotadores y la detección automatizada de errores sistemáticos de anotación, como clases ausentes o un tratamiento inconsistente de los límites. La carga de control de calidad en segmentación suele representar entre el 20 y el 40 % del coste total de anotación.

Para profundizar en temas relacionados, consulte nuestras guías sobre tipos de anotación de datos y datos de entrenamiento para IA.

Trabajar con DataVLab en proyectos de segmentación

DataVLab proporciona anotación de segmentación semántica, de instancias y panóptica para proyectos de visión por ordenador en imágenes médicas, vehículos autónomos, imágenes satelitales e inspección industrial. Nuestros equipos de anotación siguen flujos de trabajo estructurados, directrices precisas y procesos de control de calidad de varias etapas para producir conjuntos de datos de segmentación con la precisión y consistencia que requieren los modelos en producción. Si su equipo está escalando la anotación de segmentación o necesita anotadores especializados para dominios médicos o técnicos, contacte con DataVLab para comentar los requisitos de su proyecto.