IA

Le nouvel outil IA de Facebook transforme une image 2D en modèles 3D

Le nouvel outil IA de Facebook transforme une image 2D en modèles 3D

Lorsqu'il s'agit d'estimer un modèle 3D à partir de sources 2D, nous nous heurtons à un coin en raison d'un conflit entre capacité mémoire et précision. Nous avons besoin d'une quantité durable de flux de données pour maintenir un contexte élevé pour nos machines, tandis qu'une haute résolution est nécessaire pour des rendus précis avec un réseau neuronal. Jusqu'à présent, les applications dans ce domaine ont privilégié les entrées basse résolution pour couvrir globalement plus de terrain. Cette étude nous amène à un pas en avant vers un terrain d'entente confortable.

Facebook Research s'attaque à ce problème en adoptant un système d'analyse multicouche. Une analyse grossière prend l'image entière, se concentrant sur un raisonnement complet de quoi et où. Un deuxième niveau prend les données de sortie d'ici pour les utiliser comme feuille de route et met en place un géométrie plus détaillée à l'aide d'images de plus haute résolution.

VOIR AUSSI: QU'EST-CE QUE L'APPRENTISSAGE PROFOND ET POURQUOI EST-IL PLUS PERTINENT QUE JAMAIS?

Cette recherche n'est pas la seule entreprise dans ce domaine. La numérisation humaine peut ouvrir la porte à de nombreuses possibilités pour une variété de domaines tels que l'imagerie médicale à la réalité virtuelle pour simplement un rendu 3D emoji personnalisé. À ce jour, cette technologie était limitée pour le grand public en raison de limitations telles que la nécessité de plusieurs caméras et des exigences d'éclairage strictes. L'équipe de recherche sur Facebook vise à réaliser un système de rendu très flexible qui peut maintenir une haute fidélité en ce qui concerne les détails tels que plis dans les vêtements, les doigts et les nuances dans traits du visage.

La technologie précédemment existante

Un exemple notable, SCAPE, publié en 2005, Stanford employait maillages pré-modélisés sur les entrées d'image pour produire des rendus 3D. Bien que ceux-ci semblent détaillés en eux-mêmes, ils n'a pas représenté fidèlement ce qu'ils modélisaient. Dans ce projet, cependant, aucune géométrie 3D n'est imposée sur les images, au contraire, le contexte géométrique est appliqué à des niveaux plus élevés sans faire d'hypothèses prématurées. Cela signifie que, de l'entrée grossière à l'analyse détaillée, les détails manquants sont mis en œuvre de manière incrémentielle et la détermination finale des propriétés géométriques du modèle n'est effectuée qu'au niveau final.

L'arrière

Mais qu'en est-il de l'arrière? Il reste inobservé dans une reconstruction d'image unique. Des informations manquantes signifieraient sûrement des estimations floues, non? Eh bien, l'équipe a surmonté ce problème en déterminant les normales arrière, comme elle le dit: "Nous surmontons ce problème en tirant parti réseaux de traduction d'image en image pour produire des normales arrière. Le conditionnement de notre inférence de forme alignée sur les pixels à plusieurs niveaux avec la normale de surface arrière déduite supprime l'ambiguïté et améliore considérablement la qualité perceptive de nos reconstructions avec un niveau de détail plus cohérent.

Si vous êtes intéressé, ils ont omis un kit d'auto-test chez Google Colab, mais pour être honnête, cela nécessite une certaine quantité de technicité et une compréhension de base de environnements de programmation courir.


Voir la vidéo: How to convert 2d sketch to 3d in Blender with PIFuHD (Novembre 2021).