Esta herramienta genera retratos fotorrealistas a partir de un simple boceto.

Un equipo de investigadores de la Universidad de Hong Kong y la Academia de Ciencias de China ha desarrollado DeepFaceDibujo, un enfoque que permite reconstruir retratos fotorrealistas a partir de un simple garabato. Surgió una nueva herramienta basada en inteligencia artificial, cuyo código pronto estará disponible para el público en general. Estamos asistiendo así a la llegada de nuevas herramientas basadas en estas tecnologías, como la diseñada por Nvidia que permite reconstituir paisajes fotorrealistas a partir de bocetos. ¡Y lo menos que podemos decir es que el resultado es bastante impresionante! Puede juzgar por sí mismo con la ayuda del video que acompaña al proyecto.

Vemos a uno de los miembros del equipo trabajando en la creación de varios retratos en vivo. Todo funciona en tiempo real y se puede ver cómo se forma un retrato a medida que el investigador dibuja. Desde la forma del rostro hasta el cabello, el maquillaje, el vello facial y la expresión, el resultado es una consistencia impresionante. Aparte de algunos artefactos recurrentes en la boca y la parte inferior de las orejas, todas las "fotos" producidas parecen plausibles. Desafortunadamente, la herramienta aún no está disponible para el público en general, los investigadores tuvieron mucho tiempo para seleccionar los ejemplos más impresionantes, pero eso no quita la impresión general.

Cómo funciona ?

Como regla general, los sistemas que operan con un boceto lo utilizan como base, un lienzo a partir del cual el algoritmo intentará reconstruir los datos faltantes: color, iluminación, etc. Salvo que este enfoque tiende a producir resultados. muy distorsionado en cuanto te alejas demasiado del tipo de imágenes de referencia con las que se ha entrenado la IA. En el trabajo de investigación correspondiente, el equipo del profesor Shu-Yu Chen ha cambiado su enfoque: su sistema aprende un conjunto de bocetos de rostros creados a partir de bocetos de retratos reales y selecciona punto por punto el que representa la mejor aproximación del dibujo proporcionado a eso. El boceto constituye, por tanto, una restricción "blanda", que según los autores permite “Respeta fielmente las intenciones del usuario en las líneas que dibuja”.

El sistema se subdivide en tres "módulos" diferentes, cada uno con su propia función. El primero se encarga de aprender a describir y reconstruir los principales hitos del rostro, como los ojos, la nariz, la boca o la forma general del rostro. El segundo y el tercero trabajan juntos para reconstruir una cara completa, ensamblando partes de la cara a partir de la información generada por el primer módulo. Todo ello produce una imagen con una resolución de 512 × 512 píxeles, una resolución bastante buena en comparación con lo que suele ser capaz de este tipo de herramientas.

El principio del fin de "Valle inquietante" ?

No es ninguna sorpresa ver que estos sistemas basados ​​en inteligencia artificial mejoran cada vez más a medida que las técnicas mejoran y el hardware mejora. Pero este enfoque es un paso adelante bastante impresionante, porque generar rostros es particularmente difícil. De hecho, nuestro cerebro está condicionado para reconocer instantáneamente un rostro humano y las características que lo definen. Pero sobre todo, es particularmente bueno para reconocer multitud de microdetalles, que no percibimos conscientemente pero que participamos mucho en el reconocimiento: la minúscula asimetría que encontramos en todos los rostros es un buen ejemplo. Pero elimine estos sutiles marcadores de nuestra humanidad, y de repente el engaño se vuelve absolutamente deslumbrante, sin que uno pueda señalar con el dedo una deformidad obvia. Este fenómeno se llama "valle inquietanteO “valle de lo extraño”, y esto explica por qué un robot con rasgos de caricatura nos parecerá más familiar que un rostro. casi realista.

Y donde merece destacarse el enfoque desarrollado por este equipo de investigadores es en que este factor “Valle inquietante"Casi ha desaparecido ! Eso sí, tendremos que esperar a tener disponible el código para saber si funciona también en todos los casos, pero debemos admitir que los ejemplos ofrecidos no se parecen a la versión CGI del monstruo de Frankenstein. No solo el conjunto es coherente, sino que incluso está plagado de pequeños detalles como la tensión en las comisuras de los labios, consecuencia directa de su entrenamiento con imágenes producidas por humanos.

Uno puede imaginar fácilmente muchos usos posibles para tal sistema. Podría, por ejemplo, ser utilizado por la policía para reconstruir un retrato de robot o para generar arte conceptual para videojuegos o películas, por ejemplo. Pero como siempre ocurre con estas tecnologías, también se puede imaginar un mundo donde estos sistemas serían utilizados con fines de fraude o falsificación ... De todos modos, estamos ansiosos por tener acceso al código para jugar un poco con este sistema. !