Programa específico: HORIZON-CL4-2023-HUMAN-01-21

UPV/EHU: Beneficiario
IP UPV/EHU: Oier López de la Calle Lecuona

Inicio del proyecto: 01/01/2024
Fin del proyecto: 31/12/2026

Breve descripción:

LUMINOUS tiene como objetivo la creación de la próxima generación de sistemas de XR aumentados por lenguaje, donde la comunicación basada en lenguaje natural y los modelos de lenguaje multimodales de gran tamaño (MLLM) permiten la adaptación a necesidades individuales, no predefinidas, de los usuarios y entornos invisibles. Esto permitirá a los futuros usuarios de XR interactuar de forma fluida con su entorno, al tiempo que tienen acceso instantáneo a fuentes de conocimiento globales y específicas del dominio constantemente actualizadas para realizar tareas novedosas. Nuestro objetivo es explotar los MLLM inyectados con conocimiento específico del dominio para describir tareas novedosas a demanda del usuario. Estos se comunican luego a través de una interfaz de voz y/o un avatar adaptable a la tarea (por ejemplo, entrenador/profesor) en términos de diferentes ayudas visuales y pasos de procedimiento para la realización de la tarea. La especificación impulsada por el lenguaje del estilo, las expresiones faciales y las actitudes específicas de los avatares virtuales facilitará la comunicación generalizable y consciente de la situación en múltiples casos de uso y diferentes sectores. Los LLM se beneficiarán en paralelo en la identificación de nuevos objetos que no formaban parte de sus datos de entrenamiento y luego los describirán de una manera que se vuelvan visualmente reconocibles. Nuestros resultados se prototiparán y probarán en tres pilotos, centrándose en la neurorrehabilitación (apoyo a pacientes con accidente cerebrovascular con discapacidades del lenguaje), la formación inmersiva en seguridad industrial y la revisión del diseño arquitectónico en 3D. Un consorcio de seis institutos líderes en I+D expertos en seis disciplinas diferentes (IA, visión aumentada, PNL, gráficos por computadora, neurorrehabilitación, ética) seguirá un plan de trabajo desafiante, con el objetivo de generar una nueva era en la encrucijada de dos de los desarrollos tecnológicos actuales más prometedores (LLM/IA y XR), realizados en Europa.