The integration of Large Language Models (LLMs), particularly Visual Language Models (VLMs), into robotics promises more intuitive human–robot interactions; however, challenges remain in efficiently translating high-level commands into precise physical actions. This paper presents a novel architecture for vision-based object manipulation that leverages a VLM’s reasoning capabilities while incorporating symmetry principles to enhance operational efficiency. Implemented on a Yahboom DOFBOT educational robot with a Jetson Nano platform, our system introduces a prompt-based framework that uniquely embeds symmetry-related cues to streamline feature extraction and object detection from visual data. This methodology, which utilizes few-shot learning, enables the VLM to generate more accurate and contextually relevant commands for manipulation tasks by efficiently interpreting the symmetric and asymmetric features of objects. The experimental results in controlled scenarios demonstrate that our symmetry-informed approach significantly improves the robot’s interaction efficiency and decision-making accuracy compared to generic prompting strategies. This work contributes a robust method for integrating fundamental vision principles into modern generative AI workflows for robotics. Furthermore, its implementation on an accessible educational platform shows its potential to simplify complex robotics concepts for engineering education and research.

Actualmente hay poca literatura e investigaciones relacionadas con el seguimiento de ojos (Eye Tracking) para la manipulación de robots o dispositivos mecatrónicos. Los artículos que se tienen hoy en día están enfocadas al estudio del ojo humano especialmente a la medicina, marketing y juego; sin embargo, son pocas dedicadas al control o manipulación de la tecnología (domótica, robots móviles: terrestres, aéreos o acuáticos, brazos robóticos, dispositivos mecatrónicos, entre otros). Por lo anterior, este artículo se centra en el diseño y construcción de un dispositivo mecatrónico para registrar el seguimiento ocular del ser humano con la finalidad de manipular un brazo robots de tres grados de libertad; y el desarrollo de una interfaz gráfica hombre-máquina amigable para visualizar el ojo humano y los comandos para la manipulación del robot.

En este estudio se propone una interfaz gráfica para analizar el comportamiento de las lámparas más utilizadas en bajo voltaje y se desarrolla utilizando MATLAB® App Designer. La propuesta de esta herramienta se fundamenta como un recurso educativo didáctico para estudiar y comprender conceptos de calidad de la energía y los efectos de la conexión de luminarias a la red eléctrica. Los resultados presentados muestran el alcance de la interfaz desarrollada en su versión beta.