Microsoft développe le modèle d'IA VASA-1 pour animer des photos de portrait avec de l'audio
Microsoft a publié une étude détaillant VASA-1, un modèle d'IA conçu pour animer des portraits en les synchronisant avec des fichiers audio, permettant aux images de « parler et chanter » d'une manière qui semble réaliste. La principale application de VASA-1 vise la création de personnages virtuels. Le modèle excelle dans la génération de mouvements de lèvres qui s’alignent précisément sur l’audio qui l’accompagne. De plus, il peut représenter une gamme d’expressions faciales subtiles et de mouvements naturels de la tête, renforçant ainsi l’authenticité et la vivacité des portraits animés.
Microsoft a également démontré les capacités du VASA-1 à travers plusieurs vidéos, notamment une interprétation animée du rap de Mona Lisa. Le modèle permet aux utilisateurs d'ajuster des fonctionnalités telles que les mouvements de la tête et la direction du regard. Dans son mode hors ligne, VASA-1 produit des vidéos à une résolution de 512 x 512 pixels et 45 images par seconde, tandis que le mode en ligne prend en charge la génération vidéo jusqu'à 40 images par seconde. Malgré ses fonctionnalités innovantes, Microsoft a déclaré qu'il n'avait pas l'intention de commercialiser VASA-1 en raison de préoccupations concernant une éventuelle utilisation abusive de la technologie dans la création de contenu deepfake.
THE GURU3D
