This paper describes ongoing work surrounding the creation of a recognition system for Mexican Sign Language (LSM). We propose a general sign decomposition that is divided into three parts, i.e., hand configuration (HC), arm movement (AM), and non-hand gestures (NHGs). This paper focuses on the AM features and reports the approach created to analyze visual patterns in arm joint movements (wrists, shoulders, and elbows). For this research, a proprietary dataset—one that does not limit the recognition of arm movements—was developed, with active participation from the deaf community and LSM experts. We analyzed two case studies involving three sign subsets. For each sign, the pose was extracted to generate shapes of the joint paths during the arm movements and fed to a CNN classifier. YOLOv8 was used for pose estimation and visual pattern classification purposes. The proposed approach, based on pose estimation, shows promising results for constructing CNN models to classify a wide range of signs.

This paper describes ongoing work in the creation of a recognition system for the Mexican Sign Language (LSM). We propose a general sign decomposition into three parts: hand configuration (HC), arm movement (AM) and non-hand gestures (NHG). This paper focuses on the AM features and reports the approach created to analyze visual patterns in arm joint movements (wrists, shoulders and elbows). For this research, a proprietary dataset —that do not limit the recognition of arm movements— was developed, with active participation from the deaf community and LSM experts. We conduct analysis on two case studies of three sign subsets. For each sign, the pose was extracted to generate shapes of the joint paths during the arm movements and feeded to a CNN classifier. YOLOv8 was used for pose estimation and visual patterns classification purposes. The proposed approach, based on pose estimation, shows promising results for constructing CNN models to classify a wide range of signs.

Este trabajo reporta la fase inicial de la creación de una base de datos visual del alfabeto dactilológico de la LSM. El diseño de la base de datos es reportado, el cual incluye 29 señas estáticas y dinámicas. Para cada seña, se capturan los cuadros de imagen RGB así como el mapa de profundidad, mediante sensores RGB-D. Adicionalmente, con el fin de poder proveer muestras sintéticas, una mano robótica virtual ha sido creada para presentar las configuraciones dactilológicas. Un conjunto reducido de 7 señas ha sido seleccionado para su presentación y análisis, en un simulador robótico.

En este artículo se desarrolla una ley de control para navegación autónoma en interiores basada en la detección visual de marcadores de referencia. Técnicas de estimación de pose externas como la localización por GPS o sensores RGB-D en techos son complicados de implementar en entornos cerrados donde puede haber obstrucci´on de vista o señal, como en almacenes, por lo que la estimación de pose local con sensores a bordo presenta una solución más viable. La implementaci´on de cámaras web de alta definición supone una solución más económica que el uso de sensores de alta calidad como sensores láser tipo Lidar. En la ley de control diseñada se considera a un marcador visual ArUco en su campo de visión, como un marco referencial inercial local. Con base en los errores medidos por odometr´ıa es posible ejecutar la tarea de regulación hacia éste marcador.