Los conjuntos de datos de reconocimiento de acciones contienen secuencias etiquetadas que describen cómo se mueven personas, animales u objetos a lo largo del tiempo. Estos conjuntos de datos entrenan los modelos de comprensión de vídeo que impulsan la detección de actividades en videovigilancia de seguridad, analítica deportiva, monitorización sanitaria, robótica e interacción humano-computadora. Para construir un reconocimiento de acciones fiable se necesitan conjuntos de datos anotados que capturen toda la variedad de actividades que el modelo debe identificar, en las condiciones de iluminación, ángulos de cámara, entornos de fondo y variaciones de sujetos presentes en el contexto de despliegue.
Qué deben representar los conjuntos de datos de reconocimiento de acciones
Límites temporales de las acciones
A diferencia de la clasificación de imágenes, donde las etiquetas se aplican a fotogramas estáticos, el reconocimiento de acciones requiere una anotación temporal precisa: cuándo empieza y cuándo termina una acción dentro de una secuencia de vídeo. La anotación de límites temporales es uno de los aspectos más exigentes en la creación de conjuntos de datos de reconocimiento de acciones, porque los límites suelen ser ambiguos, las acciones pueden solaparse y los anotadores deben mantener convenciones de límites coherentes en miles de clips para producir una señal de entrenamiento fiable.
Taxonomía y granularidad de las acciones
Las taxonomías de reconocimiento de acciones varían de forma considerable en alcance y granularidad según la aplicación. Una taxonomía de videovigilancia de seguridad puede incluir un pequeño número de categorías generales: caminar, correr, pelear, caer. Una taxonomía de analítica deportiva puede incluir cientos de acciones específicas de un deporte con granularidad fina. La taxonomía determina qué puede distinguir el modelo y debe diseñarse para ajustarse a los requisitos discriminativos de la aplicación posterior, en lugar de maximizar la cobertura de categorías.
Variación en el estilo de ejecución
Una misma acción puede realizarse de muchas formas distintas. Una caída puede ser gradual o repentina, hacia delante o hacia atrás, con o sin intento de recuperación. Un apretón de manos puede ser breve o prolongado, firme o informal. Los conjuntos de datos deben capturar la variación en la ejecución para que los modelos no aprendan a reconocer solo instancias prototípicas de una acción y fallen ante variaciones que quedan fuera de la distribución de entrenamiento.
Acciones con varias personas e interacciones
Muchas categorías de acción importantes implican a varias personas o interacciones entre personas y objetos. Saludar, pelear, colaborar y entregar un objeto requieren reconocer la relación entre varios actores, no solo el comportamiento de un individuo. La anotación de interacciones requiere etiquetar a los participantes, los objetos implicados y la relación temporal entre las acciones de los participantes.
Enfoques de anotación para datos de vídeo de acciones
Anotación de segmentos temporales
La anotación de segmentos temporales marca las marcas de tiempo de inicio y fin de cada instancia de acción dentro de un vídeo más largo. Este enfoque produce propuestas de acción que los modelos de detección temporal pueden aprender a identificar. Los anotadores deben acordar convenciones de límites precisas: si el límite se fija en el inicio de la acción o en el primer fotograma claramente reconocible, y cómo tratar las fases de preparación y finalización que difieren de la acción principal.
Clasificación a nivel de clip
Para aplicaciones que procesan clips previamente segmentados en lugar de flujos de vídeo continuos, la clasificación a nivel de clip asigna una única etiqueta de acción a cada clip. Es más sencilla que la anotación de segmentos temporales, pero requiere que los límites del clip ya estén alineados con los límites de la acción. Los conjuntos de datos a nivel de clip sirven para modelos de clasificación, pero no para modelos de localización temporal.
Anotación basada en esqueleto y pose
Los modelos de reconocimiento de acciones que operan sobre la pose humana en lugar de sobre píxeles sin procesar requieren la anotación de puntos clave corporales junto con las etiquetas de acción. La anotación basada en pose permite crear modelos menos sensibles a la variación de apariencia causada por la ropa, la iluminación y el tipo de cuerpo, ya que operan sobre la representación estructural del movimiento en lugar de sobre los valores de píxel. Este tipo de anotación es especialmente valioso para aplicaciones que requieren reconocimiento de acciones independiente del sujeto.
Diseño de conjuntos de datos para IA de reconocimiento de acciones
Diversidad ambiental y de cámara
Los modelos de reconocimiento de acciones entrenados en un entorno visual suelen fallar cuando se despliegan en otro. Un modelo de vigilancia entrenado con grabaciones de entornos interiores puede tener dificultades en exteriores. Un modelo entrenado con vídeo de alta resolución puede degradarse al desplegarse en señales comprimidas de baja resolución. El diseño del conjunto de datos debe capturar deliberadamente la diversidad ambiental y de cámara del contexto de despliegue para construir modelos que generalicen en las condiciones que encontrarán.
Fondos complejos y oclusión
El vídeo del mundo real contiene fondos en movimiento, sujetos parcialmente ocluidos y múltiples acciones superpuestas. Los conjuntos de datos que solo incluyen ejemplos de acciones limpios y sin oclusiones producen modelos que fallan en condiciones reales de despliegue. Incluir ejemplos difíciles con fondos complejos, oclusión parcial y acciones concurrentes es esencial para construir modelos con un rendimiento aceptable en escenarios reales.
Para una lectura relacionada, consulte nuestras guías sobre anotación de datos frente a etiquetado de datos, tipos de anotación de datos y datos de entrenamiento para IA.
Trabajar con DataVLab en conjuntos de datos de reconocimiento de acciones
DataVLab ofrece servicios de anotación para IA de reconocimiento de acciones, incluida la anotación de segmentos temporales, la clasificación a nivel de clip, el etiquetado de puntos clave de pose y la anotación de interacciones para conjuntos de datos de acciones con varias personas. Nuestros equipos de anotación trabajan en proyectos de reconocimiento de acciones para seguridad, deporte, sanidad y robótica, tanto con taxonomías de actividades estándar como especializadas. Si su equipo está desarrollando capacidades de reconocimiento de acciones, contacte con DataVLab para analizar los requisitos de anotación y el diseño del conjunto de datos.
