PHYSICAL AI · HUMAN-ROBOT INTERACTION
Colaboración público-privada · NASERTIC · Robótica humanoide
Dotar a un robot humanoide Unitree G1 de capacidades para guiar a los visitantes del Polo IRIS de Navarra: desplazarse por el espacio y conversar de forma natural sobre el centro y su actividad.
En colaboración público-privada con NASERTIC, desarrollamos la capa de inteligencia de TXISTU: navegación autónoma, conversación fluida y percepción del entorno. Integramos estas capacidades sobre la plataforma robótica de Unitree para conectar la información del Polo IRIS con la experiencia de sus visitantes.
Python · ROS 2 / Nav2 · Unitree SDK2 / DDS · LiDAR Livox MID-360 · Cámara RGB-D · Visión artificial · STT / TTS · LLMs · RAG · SQLite FTS5 · MuJoCo / Isaac Sim
TXISTU combina navegación autónoma y conversación fluida para su función de guía del Polo IRIS de Navarra, en colaboración con NASERTIC.
Separamos conversación, percepción y movimiento en módulos que se coordinan a través de interfaces comunes. Así podemos probar cada capacidad, cambiar sus modelos y conectar el mismo software con el simulador o con el G1.
La voz pasa por cancelación de eco, supresión de ruido, detección de habla y transcripción. La sesión conserva el contexto reciente y permite interrumpir una respuesta para continuar con una nueva pregunta. El sistema incluye perfiles de español y euskera, con reconocimiento y síntesis de voz intercambiables.
Antes de responder, recuperamos información de un corpus del Polo IRIS mediante RAG con SQLite FTS5. Las respuestas se acompañan de fuentes y fecha de consulta. Un router combina modelos cloud con alternativas locales y una respuesta extractiva de respaldo cuando el proveedor no está disponible.
Integramos la nube de puntos del LiDAR y la imagen de la cámara para obtener información espacial. Las pruebas de visión utilizan un detector SSDlite entrenado en COCO para detectar personas. La profundidad permite estimar su distancia y entregar observaciones estructuradas al resto del sistema.
ROS 2 y Nav2 conectan localización, mapas, planificación de rutas y obstáculos. Antes de enviar velocidades al robot, una capa de supervisión comprueba la vigencia de los datos, la localización, las distancias y los límites de movimiento. Si las condiciones no son válidas, ordena detenerse.
LiDAR, cámara y observaciones del entorno.
Voz, contexto y conocimiento del Polo IRIS.
Rutas, obstáculos y supervisión del movimiento.
Conversación y desplazamiento como guía.
Utilizamos Isaac Sim y un entorno MuJoCo del G1 para desarrollar y ensayar las integraciones. En GISAKI-IRIS, el simulador reproduce la cámara D435, el LiDAR MID-360, la odometría y los servicios de movimiento a través de DDS y Unitree SDK2. Esto permite probar el intercambio de datos antes de realizar las comprobaciones en el robot físico.
Capturas reales de las pruebas del proyecto: detección de objetos y representación del entorno en la interfaz de percepción.
TXISTU se desarrolla en colaboración con NASERTIC sobre un humanoide Unitree G1. La plataforma robótica está fabricada por Unitree. El desarrollo descrito corresponde a la integración de capacidades de inteligencia, percepción e interacción.