En el diagrama de arriba, el lado izquierdo muestra la posición y dirección de movimiento de los cuatro puntos rastreados en el estudio. Las sombras cerca de la ceja / mandíbula / nariz indican movimiento. A la derecha hay un resumen visual de las diferentes características extraídas de los cuatro puntos clave rastreados. POI =Posición de interés. Crédito:Universidad de Kansas
Aunque no son necesarios para hacer los sonidos específicos, partes de los rostros de los hablantes de chino mandarín (cejas y labios) imitan el tono ascendente y descendente que distingue una palabra escrita exactamente igual de otra.
En otras palabras, las cejas de los hablantes siguen los sonidos que hace su garganta.
Este es el hallazgo de un nuevo estudio coescrito por Allard Jongman y Joan Sereno, Profesores de lingüística de la Universidad de Kansas.
Dicen que implica la necesidad de estudiar si estos sutiles movimientos faciales ayudan a los oyentes a percibir lo que los hablantes están tratando de transmitir.
Junto con sus colegas universitarios canadienses Saurabh Garg, Ghassan Hamarneh y Yue Wang, Jongman y Sereno escribieron "El análisis de la visión por computadora revela que los movimientos faciales realizados durante la producción del tono mandarín se alinean con las trayectorias del tono" en la edición de octubre de la revista. Comunicación de voz .
Dicen que es la primera vez que se identifica y cuantifica la asociación de estos movimientos faciales con el tono vocal.
En una entrevista reciente, Jongman dio el ejemplo de la palabra china que se deletrearía fonéticamente "ma" en inglés. Como ocurre con muchos, si no la mayoría, Palabras en mandarín, se puede pronunciar de cuatro formas:nivel, creciente, sumergirse o caer. Dependiente, luego, sobre la entonación, la palabra puede significar "madre, "" cáñamo, "" caballo "o" regaño ".
"Tienes que hacer esto bien, "Dijo Jongman." De lo contrario, estás llamando caballo a tu madre ".
"Hay muchos idiomas que tienen este tipo de tono que se asocia con diferentes palabras, "Dijo Sereno.
"La mayoría de los hablantes del mundo son hablantes de lenguaje de tono, ", Dijo Jongman." Y todo proviene de variaciones en la tasa de vibración de las cuerdas vocales ".
Apuntando a su garganta, Jongman dijo:"En tono alto, las cuerdas vocales aquí abajo están vibrando a un ritmo muy rápido. Y cuando tienes un tono bajo, vibran mucho más lentamente. Así que todo viene de la acción aquí abajo ".
"Técnicamente, "Sereno dijo, señalando su cara, "No debería haber nada aquí que diferencie a 'ma' con un tono alto frente a 'ma' con un tono descendente".
Y todavía, su estudio encontró, hay. Las estructuras faciales de las personas imitan las entonaciones ascendentes / descendentes que están aplicando a sus palabras.
"Algunas de estas asociaciones entre el movimiento facial y la entonación o el tono se habían establecido provisionalmente, ", Dijo Jongman." Dimos un paso más y dijimos:"OK, veamos esto sistemáticamente "".
Los investigadores grabaron las caras de los hablantes de chino mientras hablaban. luego sometió los archivos a un análisis informático para determinar la relación entre la entonación y el movimiento facial. Jongman dijo que es una gran mejora con respecto a los métodos anteriores.
"En el pasado, " él dijo, "la gente ha utilizado lo que se llama análisis de seguimiento óptico. Pegas un par de sensores emisores de luz en la cara, y luego rastreas el movimiento de esos sensores. Y a veces incluso pegas cosas en los labios. Así que estás sentado ahí con estos sensores y se le pide que hable. Quiero decir, que tan natural es eso? Eso limita lo que la gente haría en circunstancias normales. Número dos, tienes que tener una idea preconcebida de cuáles serán las regiones importantes en la cara, porque no puede tomar una lectura de cualquier cosa en la que no haya puesto un sensor.
"Esa es una gran ventaja de nuestro enfoque. Ahora nos hemos decidido por estas dos características. Pero si más adelante algún otro grupo descubre que el lóbulo de la oreja es realmente importante, podemos volver a nuestras grabaciones y analizar eso ".
Ahora que han demostrado que las caras de los hablantes de mandarín siguen su entonación, Jongman y Sereno dijeron que el siguiente paso será determinar en qué medida estas señales visuales ayudan al oyente:su "significado lingüístico".
"Vamos a generar una cara por computadora y luego manipularemos las características que acabamos de encontrar y veremos si hacen una diferencia, "Dijo Jongman." ¿Responden los oyentes? "
Así como las personas con discapacidad auditiva pueden aprender a leer los labios, las personas podrían beneficiarse de las señales faciales más sutiles, el nuevo estudio ha encontrado.
"Si tiene problemas de audición, y tal vez podamos exagerar un poco algunas de estas señales o enseñar a las personas a exagerarlas, o también en el aprendizaje de idiomas hacer eso, eso podría ayudar mucho, "Dijo Jongman.
Sereno dijo que puede imaginar un escenario en el que un estudiante de idiomas sea ayudado al ver las señales faciales de los hablantes nativos.
"La manipulación visual podría ayudar a identificar eso, ", dijo." Luego, cuando se encuentran en una situación natural, cuando tal vez haya menos exageración de esas señales, todavía son capaces de identificarlos mucho mejor ".