Estos auriculares logran leer los labios incluso con una máscara.

Reconocer la expresión facial de una persona sin ver su rostro en la cara pronto será posible. Investigadores e ingenieros de la Universidad de Cornell en Nueva York están presentando actualmente un prototipo que podría revolucionar el campo del reconocimiento facial en el Simposio anual de tecnología de interfaz de usuario de Minneapolis. Esta invención se llama Cara C (para "Contour Face") y consiste en reconocer una variedad de expresiones faciales filmando solo los contornos del rostro.

Cheng Zhang y sus colegas en el laboratorio de ciencia ficción (o "Laboratorio de interfaces de computadora inteligente para interacciones futuras") tuvieron la idea de conectar pequeñas cámaras a un par de auriculares o a las almohadillas de un auricular de audio, para poder usarlos . usar fácilmente. Sin embargo, en el prototipo, estas cámaras están conectadas a chips electrónicos que cuelgan de los hombros de la persona observada. Filman sus mejillas y analizan los movimientos de sus músculos. Mediante técnicas de " aprendizaje profundo", el sistema C-Face vincula esta tensión muscular a un modelo virtual en 3D de expresiones faciales conocido por el algoritmo. Estos últimos extrapolan la expresión facial realizada mediante la predicción de 42 puntos clave del rostro, como la boca, los ojos y las cejas (ver el video a continuación). Para permitir que esta predicción sea correcta, Cheng Zhang primero entrenó el algoritmo para asociar el movimiento de sus mejillas con las expresiones de su rostro frente a una cámara en varios ángulos (entre -10 ° y -40 °) y diferentes distancias (1 , luego 2, luego 3 cm). Los investigadores incluso lograron entrenar el algoritmo para reconocer las expresiones faciales de una persona que usa una máscara quirúrgica: COVID-19 lo está forzando. Para hacer esto, no solo explotaron el hecho de que los contornos y las mejillas a menudo están parcialmente expuestos por la máscara, sino que también entrenaron a C-Face para reconocer una cara desde el frente, usando una máscara recortada que exponía la boca y la cara. . nariz.

Si C-Face se encuentra solo en la etapa prototípica, su potencial parece particularmente vasto. Los investigadores ya lo han adaptado para traducir comandos de voz silenciosos (o más bien faciales), por ejemplo, interactuando con un altavoz conectado que reproduce música. Incluso lograron hacerle traducir las expresiones de una persona en ocho emoticonos para ser enviado directamente desde una aplicación de mensajería móvil. En ambos casos, C-Face mostró más o menos un 85% de éxito. La promesa, a largo plazo, sería introducir un reconocimiento más complejo, como lectura indirecta de labios (como con los comandos de voz silenciados) en videoconferencias sin dejar de ser anónimos, por ejemplo.