Avatars speaking sign language
Researchers of Aut¨®noma University of Madrid have developed a new computer tool that generates sign language messages from written text and voice, by integration of body language properties in a virtual character. The system could be of great help to people with hearing impairment.
A new computer program is able to automatically generate sign language messages from written text or voice signals. This is an innovative technology within the study field of human-computer interaction, since it integrates elements of the so called ¡®body language¡¯ through an avatar (virtual character) that calculates arms and hands movements as well as body position and facial expression in order to represent signed messages.
This program will be a tool of great use for people with hearing impairment, especially for those who were born deaf or became deaf at an early age; in these cases, the poor reading understanding prevents them from getting information out of any text and the only means of communication is sign language.
The original work of the Human Computer Technology Laboratory (HTCLab) research group has been published in the International Journal of Human-Computer Studies. This group of the Escuela Polit¨¦cnica Superior of Universidad Aut¨®noma of Madrid has been working on supporting technologies for disabled people for more than ten years.
Sign language and paralinguistic communication
Just as it happened with the first voice synthesizers, sign language messages represented by virtual characters can be perceived as robotic and artificial. In order to improve this perception, researchers of the HTCLab are further working on the integration of the message paralinguistic elements, such as tone, speed or intensity, that transmit additional information. This would allow the receptor to know the emitter state of mind how it affects the received message.
The election of elements that can be integrated is not simple. Since the body itself is used to generate the signed message, an inadequate change in the ¡®body language¡¯ could modify the message. For instance, clenched fists can be perceived as an aggressive attitude. If the hand position is changed to express emotions, the sign and its meaning is also changed. In short, including emotional information in the message may imply the modification of its content, thus loosing the main objective of language, which is to communicate.
In its work, the HTCLab shows that certain modifications can be included in the synthesis of the sign language to transmit paralinguistic information without modifying the message. This has been achieved by researchers after several versions of the same message as can be seen in the figure: a first version with bigger tension, a second in a more relaxed form, both coming from a third neutral version. These modifications are based in the study of muscular tension, speed and acceleration of muscles and facial expressions.
| ? |
| ? |
Crean un avatar que se expresa en lengua de signos
Un equipo de la Universidad Aut¨®noma de Madrid ha desarrollado una herramienta inform¨¢tica que genera mensajes en lengua de signos a partir de textos y voz, integrando caracter¨ªsticas del lenguaje corporal mediante un personaje virtual. El sistema podr¨ªa ser de gran ayuda para las personas con discapacidad auditiva.
Un nuevo programa inform¨¢tico es capaz de generar de manera autom¨¢tica mensajes en lengua de signos a partir de textos escritos o se?ales de voz. Se trata de una tecnolog¨ªa innovadora dentro del campo que estudia la interacci¨®n persona-computador, pues integra elementos del llamado ¡°lenguaje corporal¡± a trav¨¦s de un avatar (personaje virtual) que calcula tanto los movimientos de brazos y manos como la postura corporal y la expresi¨®n facial para representar los mensajes signados.
Este programa ser¨¢ una herramienta de gran utilidad para personas con discapacidad auditiva, especialmente para las que nacieron con sordera o la adquirieron en una edad muy temprana; casos en los que la baja comprensi¨®n lectora impide obtener informaci¨®n de cualquier texto y la ¨²nica v¨ªa de comunicaci¨®n es la lengua de signos.
El trabajo que ha dado lugar a este desarrollo fue publicado en la revista International Journal of Human-Computer Studies por el grupo de investigaci¨®n Human Computer Technology Laboratory (HTCLab). Este grupo, que pertenece a la Escuela Polit¨¦cnica Superior de la Universidad Aut¨®noma de Madrid (UAM), lleva m¨¢s de diez a?os trabajando en tecnolog¨ªas de apoyo para personas con diferentes discapacidades.
Lengua de signos y comunicaci¨®n paraling¨¹¨ªstica
Tal y como suced¨ªa con los primeros sintetizadores de voz, los mensajes en lengua de signos representados por personajes virtuales pueden percibirse rob¨®ticos y artificiales. Para mejorar esta percepci¨®n, los investigadores del HTCLab vienen trabajando en la incorporaci¨®n de elementos paraling¨¹¨ªsticos: elementos como el tono, la velocidad o la intensidad que acompa?an al mensaje y transmiten informaci¨®n adicional, permitiendo que el receptor del mensaje conozca el estado an¨ªmico del emisor y su relaci¨®n con el contenido que est¨¢ recibiendo.
La elecci¨®n de qu¨¦ elementos pueden integrarse no resulta sencilla. Dado que el propio cuerpo se utiliza para generar el mensaje signado, un cambio inadecuado motivado por el ¡°lenguaje corporal¡± podr¨ªa modificar el mensaje. Por ejemplo: los pu?os cerrados se perciben como una actitud agresiva. Si se cambia la forma de la mano para expresar emociones, se cambia a la vez el signo y tambi¨¦n su significado ¡ªes equivalente a que si para expresar enfado cambi¨¢semos todas las ¡°a¡± por ¡°o¡± (una ¡°casa¡± con enfado se convertir¨ªa en un ¡°coso¡±)¡ª. En suma, incluir informaci¨®n emocional en el mensaje implicar¨ªa modificar el contenido del mismo, perdiendo as¨ª el objetivo primordial del lenguaje, que es comunicar.
En su trabajo, el HTCLab demuestra que se pueden incluir ciertas modificaciones en la s¨ªntesis de lengua de signos para transmitir informaci¨®n paraling¨¹¨ªstica sin modificar el mensaje. Esto es algo que los investigadores han logrado al generar varias versiones de un mismo mensaje: una primera en la que ¨¦ste se presenta con mayor tensi¨®n, y una segunda en la que se presenta con mayor relajaci¨®n; ambas a partir de una representaci¨®n neutra. Estas modificaciones se basan en el estudio de la tensi¨®n muscular, la velocidad y aceleraci¨®n en los movimientos y las expresiones faciales.
Referencia bibliogr¨¢fica: Fernando L¨®pez-Colino y Jos¨¦ Col¨¢s. Synthesizing mood-affected signed messages: Modifications to the parametric synthesis, en: International Journal of Human-Computer Studies, vol. 70, n? 4 (abril de 2012).
Tu suscripci¨®n se est¨¢ usando en otro dispositivo
?Quieres a?adir otro usuario a tu suscripci¨®n?
Si contin¨²as leyendo en este dispositivo, no se podr¨¢ leer en el otro.
FlechaTu suscripci¨®n se est¨¢ usando en otro dispositivo y solo puedes acceder a EL PA?S desde un dispositivo a la vez.
Si quieres compartir tu cuenta, cambia tu suscripci¨®n a la modalidad Premium, as¨ª podr¨¢s a?adir otro usuario. Cada uno acceder¨¢ con su propia cuenta de email, lo que os permitir¨¢ personalizar vuestra experiencia en EL PA?S.
En el caso de no saber qui¨¦n est¨¢ usando tu cuenta, te recomendamos cambiar tu contrase?a aqu¨ª.
Si decides continuar compartiendo tu cuenta, este mensaje se mostrar¨¢ en tu dispositivo y en el de la otra persona que est¨¢ usando tu cuenta de forma indefinida, afectando a tu experiencia de lectura. Puedes consultar aqu¨ª los t¨¦rminos y condiciones de la suscripci¨®n digital.
