Programa específico: Investigación coordinada europea sobre desafíos a largo plazo en ciencias y tecnologías de la información y la comunicación ERA-NET (CHIST ERA)
UPV/EHU: Socio
IP UPV/EHU: Aitor Soroa
Inicio del proyecto: 01/01/2016
Fin del proyecto:   31/12/2018

Breve descripción: El proyecto MUSTER es un proyecto de investigación piloto fundamental que introduce un nuevo marco multimodal para la representación de significado legible por máquina. El objetivo de MUSTER radica en explotar la información visual y perceptual en forma de imágenes y videos junto con la modalidad textual para construir representaciones semánticas multimodales estructuradas para el reconocimiento de objetos y acciones, y sus relaciones espaciales y temporales. El proyecto MUSTER investigará si estas novedosas representaciones multimodales mejorarán el rendimiento de la comprensión automatizada del lenguaje humano. MUSTER parte de la plataforma actual para el aprendizaje de la representación del lenguaje humano conocida como incrustaciones de texto, pero introduce la modalidad visual para proporcionar conocimiento del mundo contextual del que carecen los modelos de solo texto, mientras que los humanos poseen dicho conocimiento al comprender el lenguaje. MUSTER propondrá un nuevo marco piloto para el aprendizaje conjunto de representaciones a partir de datos de texto y visión adaptados al procesamiento del lenguaje espacial y temporal. El marco construido se evaluará en una serie de tareas HLU (es decir, similitud y desambiguación textual semántica, etiquetado de roles espaciales, aprendizaje de tiro cero, ordenamiento de acciones temporales) que imitan estrechamente los procesos de adquisición y comprensión del lenguaje humano.