En entornos complejos, los humanos podemos comprender el significado del habla mejor que la IA, porque no solo utilizamos nuestros oídos sino también nuestros ojos.
Por ejemplo, vemos que la boca de alguien se mueve y podemos saber intuitivamente que el sonido que oímos debe provenir de esa persona.
Meta AI está trabajando en un nuevo sistema de diálogo de IA, que pretende enseñar a la IA a aprender también a reconocer correlaciones sutiles entre lo que ve y oye en una conversación.
VisualVoice aprende de manera similar a cómo los humanos aprenden a dominar nuevas habilidades, permitiendo la separación del habla audiovisual al aprender señales visuales y auditivas de videos sin etiquetas.
Para las máquinas, esto crea una mejor percepción, mientras que la percepción humana mejora.
Imagine poder participar en reuniones grupales en el metaverso con colegas de todo el mundo, uniéndose a reuniones de grupos más pequeños a medida que se mueven a través del espacio virtual, durante los cuales las reverberaciones del sonido y los timbres en la escena se ajustan según el entorno.
Es decir, puede obtener información de audio, vídeo y texto al mismo tiempo, y tiene un modelo de comprensión ambiental más rico, lo que permite a los usuarios tener una experiencia de sonido "muy sorprendente".
Hora de publicación: 20 de julio de 2022
