Los actores animados del Proyecto Kristina

El Proyecto europeo Kristina en el que la semFYC hace meses que está trabajando, está avanzando en el diseño, animación y programación de sus actores virtuales para naturalizar la comunicación médica y facilitar la integración de los inmigrantes.

En el pasado número de la Revista Noticias semFYC Compromiso, valores e igualdad, hablábamos del Proyecto Europeo Kristina (que forma parte del Programa de la Unión Europea Horizon 2020) del que la semFYC es la responsable científica. Su objetivo es el de mejorar la atención médica de los pacientes inmigrantes mediante un sistema que permite conversaciones en varias lenguas entre estos colectivos y comunicadores profesionales para superar barreras culturales y de comunicación. En esta ocasión, el coordinador del Grupo de Tecnologías Interactivas de la Universitat Pompeu Fabra, Alun Evans, nos explica como están evolucionando los distintos avatares y en qué sentido su construcción cultural, gestual y lingüística benificiarán a grupos concretos con necesidades comunicativas.

Los actores virtuales animados del Proyecto Kristina se llaman "embodied conversational agents" (ECAs), cuya traducción sería aproximadamente "agentes de conversación personificados". El Grupo de Investigación GTI de la Universitat Pompeu Fabra es el encargado de su creación y desarrollo, y destacan que los ECAs se han convertido en un campo de investigación muy llamativo en los últimos años, puesto que las tecnologías de diseño, de gesticulación e interacción con humanos se encuentran cada vez más desarrolladas y más maduras. En investigaciones previas, ha quedado demostrado que el uso de ECAs en el seno de la interacción humano-computadora (HCI) mejor la comunicación en diversos aspectos (1,2,3).

Estos actores virtuales aparecen también en el cine: la reciente precuela de Terminator necesitaba una versión más joven de Arnold Scharzenegger, que fue creada mediante ordenadores, ya que el actor tiene una edad mucho más avanzada que en su primera película de la serie. En ese sentido, Kristina también se sirve de la inteligencia artificial para crear actores virtuales que ayuden a los humanos. Para dar soporte a la comunicación, los actores virtuales tienen que ser creíbles, y este el campo realmente más complejo, puesto que requiere automatizar la generación de expresiones, los gestos y los comportamientos naturales de los humanos durante el proceso de comunicación y adaptarlos al colectivo cultural al que se dirige el mensaje. La comunicación no verbal puede formar parte de dos tercios del proceso de comunicación, teniendo un peso muy importante en éste. Además, hay que tener en cuenta que cada cultura utiliza sus propias expresiones corporales.

En películas como la precuela de Terminator, o las que viene de Disney o Pixar, dichas expresiones son creadas por animadores experimentados, que tardan semanas (o meses) en animar unos pocos minutos de la película para obtener resultados realistas. En el caso de Kristina, dichas animaciones tienen que ser generadas automáticamente y en tiempo real, según el contexto de comunicación. Alun Evans destaca que han habido varias aproximaciones sobre este tema de investigación. En algunos casos, animaciones pregrabadas han sido creadas offline para obtener resultados muy realistas, pero puede que sufran repeticiones durante una conversación o no ser concordantes con su contenido. Otras aproximaciones recogen datos de conversaciones con el fin de entrenar modelos. Mediante el uso de estos datos, se generan animaciones en tiempo real, según sean las características de la conversación. Una de las desventajas de estas aproximaciones es que dependen completamente de la calidad de los datos originales y de los modelos, y no pueden llegar a representar animaciones específicas. Este tema forma parte de uno de los campos de investigación dentro del proyecto Kristina.

El GTI (Grupo de Tecnologías Interactivas) de la Universitat Pompeu Fabra (UPF) se encarga de desarrollar los actores animados del proyecto Kristina. Desde hace varios años, GTI-UPF ha desarrollado herramientas y soluciones de gráficos 3D, que ahora son muy útiles para Kristina; por ejemplo, la simulación en tiempo real de la navegación de barcos de vela en condiciones meteorológicas diferentes para el juego oficial de la regata Barcelona World Race, en que participaron decenas de miles de jugadores. Otro ejemplo es la generación automática de noticias deportivas a través de lenguaje de signos o la generación de expresiones faciales en un espacio 2D de “valencia/excitación”. Estas herramientas inteligentes están basadas en la tecnología web, y uno de sus componentes principales es WebGLStudio, un editor de escenas y motor 3D para la web que permite fácilmente visualizar escenas 3D en portátiles, móviles y tabletas. El trabajo actual del GTI-UPF es el de extender la WebGLStudio para que pueda sustentar el sistema de los ECAs y sus animaciones, y de esta forma se vean a través de un enlace web.

 

Referencias

[1] Beun, Robbert-Jan; de Vos, Eveliene; Witteman, Cilia . 2003. Embodied conversational agents: Effects on memory performance and anthropomorphisation. Proceedings of the International Conference on Intelligent Virtual Agents 2003.

[2] Marsi, Erwin; van Rooden, Ferdi (2007), "Expressing uncertainty with a talking head in a multimodal question-answering system" (PDF), Proceedings of the Workshop on Multimodal Output Generation (MOG 2007), Aberdeen, UK, pp. 105–116

[3] Kipp, Michael; Kipp, Kerstin H.; Ndiaye, Alassane; Patrick . 2006. Evaluating the tangible interface and virtual characters in the interactive COHIBIT exhibit. Proceedings of the International Conference on Intelligent Virtual Agents (IVA’06),

[4] Javi Agenjo, Alun Evans, and Josep Blat. 2013. WebGLStudio: a pipeline for WebGL scene creation. In Proceedings of the 18th International Conference on 3D Web Technology (Web3D '13).
[5] Marco Romeo, Alun Evans, Daniel Pacheco, Josep Blat. 2014. Domain Specific Sign Language Animation for Virtual Characters. GRAPP 2014.
[6] Hogan, K., Stubbs, R. (2003). Can't get Through 8 Barriers to Communication. Grenta, LA: Pelican Publishing
Company.