VFusion3D est une nouvelle IA générative conçue pour créer des modèles 3D à partir d'une seule image
Les entreprises du secteur de l’IA générative ne cessent de faire des promesses extravagantes concernant des améliorations de productivité et des réductions de coûts sans précédent. Meta se concentre désormais sur la création de modèles 3D, qui peut apparemment être réalisée facilement et avec très peu de données d’entrée grâce à un nouvel algorithme d’apprentissage automatique.
Des chercheurs de Meta et de l'Université d'Oxford ont travaillé ensemble sur VFusion3D, une nouvelle méthode de développement d'algorithmes génératifs évolutifs axés sur les modèles 3D. Cette technologie a été conçue pour surmonter le principal problème des modèles génératifs 3D de base : le fait qu'il n'y a pas suffisamment de données 3D pour entraîner ces nouveaux modèles.
Les images, le texte ou les vidéos sont abondants, expliquent les chercheurs, et ils peuvent être utilisés pour entraîner des algorithmes d'IA génératifs « traditionnels ». Cependant, lorsqu'il s'agit de modèles 3D, des ressources spécifiques ne sont pas aussi aisément disponibles. « Cela entraîne une disparité d'échelle significative par rapport aux vastes quantités d'autres types de données », indique l'étude.
VFusion3D peut surmonter ce problème en adoptant un modèle de diffusion vidéo, qui a été entraîné avec de vastes volumes de texte, d'images et même de vidéos, comme source de données 3D. La nouvelle méthode peut « déverrouiller » ses capacités génératives multi-vues grâce à un réglage algorithmique précis, et elle peut également être utilisée pour générer un nouvel ensemble de données synthétiques à grande échelle pour alimenter de nouveaux modèles génératifs 3D à l'avenir.
Le modèle de base VFusion3D a été formé avec près de 3 millions de « données multi-vues synthétiques », affirment les chercheurs, et est désormais capable de générer un nouvel élément 3D à partir d'une seule image (2D, supposons-nous) en quelques secondes seulement. VFusion3D peut apparemment fournir un niveau de performance supérieur à celui d'autres modèles génératifs 3D, et les utilisateurs préfèrent apparemment ses résultats plus de 90 % du temps.
La page officielle du projet décrit le pipeline adopté pour développer VFusion3D. Les chercheurs ont d'abord utilisé une quantité finie de données 3D pour peaufiner un modèle de diffusion vidéo, puis ont transformé ce modèle en un générateur de vidéo multi-vues fonctionnant comme un « moteur de données ». Le moteur a été exploité pour générer de grandes quantités d'actifs étrangement synthétiques, qui ont finalement été utilisés pour entraîner VFusion3D en tant qu'algorithme d'IA générative approprié.
VFusion3D peut améliorer la qualité des actifs 3D générés lorsqu'un ensemble de données plus important est utilisé pour l'entraînement, affirment les chercheurs. En utilisant des modèles de diffusion vidéo « plus puissants » et davantage d'actifs 3D, l'algorithme peut évoluer encore plus. L'objectif final est de fournir aux entreprises travaillant dans le secteur du divertissement un moyen beaucoup plus simple de créer des graphiques 3D, même si nous espérons qu'il n'y aura pas de travailleurs humains sous-payés et non crédités qui se cacheront derrière les rideaux étranges de l'IA générative cette fois-ci.
TECHSPOT
