Par
Un algorithme d’intelligence artificielle peut transformer des images fixes en un monde 3D haute résolution et explorable, avec des implications potentielles pour les effets de film et la réalité virtuelle.
En alimentant le réseau de neurones une sélection d’images d’une scène et un modèle 3D approximatif de la scène créé automatiquement à l’aide d’un logiciel standard appelé COLMAP, il est capable de visualiser avec précision à quoi ressemblerait la scène de n’importe quel point de vue.
Le réseau de neurones, développé par Darius Rückert et ses collègues de l’Université d’Erlangen-Nuremberg en Allemagne, est différent des systèmes précédents car il est capable d’extraire des propriétés physiques à partir d’images fixes.
« Nous pouvons changer la pose de la caméra et donc obtenir une nouvelle vue de l’objet », dit-il.
Le système pourrait techniquement créer un monde 3D explorable à partir de seulement deux images, mais ce ne serait pas très précis. « Plus vous avez d’images, meilleure est la qualité », déclare Rückert. « Le modèle ne peut pas créer des choses qu’il n’a pas vues. »
Certains des exemples les plus fluides des environnements générés utiliser entre 300 et 350 images capturées sous différents angles. Rückert espère améliorer le système en lui faisant simuler la façon dont la lumière rebondit sur les objets de la scène pour atteindre la caméra, ce qui signifierait que moins d’images fixes seraient nécessaires pour un rendu 3D précis.
« Jusqu’à présent, la création d’images photoréalistes à partir de reconstructions 3D n’était pas entièrement automatisée et présentait toujours des défauts perceptibles », explique Tim Champ, fondateur de la société new-yorkaise Abound Labs, qui travaille sur un logiciel de capture 3D.
Les images fixes peuvent être transformées en un monde 3D Darius Ruckert et al.
Alors que Field souligne que le système nécessite toujours l’entrée de données 3D précises et ne fonctionne pas encore pour les objets en mouvement, « la qualité de rendu est sans précédent », dit-il. « C’est la preuve que le photoréalisme automatisé est possible.
Field pense que la technologie sera utilisée pour générer des effets visuels dans des films et des visites virtuelles de lieux. « Cela va accélérer le domaine de recherche déjà très dynamique du rendu basé sur l’apprentissage automatique pour l’imagerie générée par ordinateur », dit-il.
Référence: arXiv.org/abs/2110.06635
Plus sur ces sujets :
Source link
