Générer des données à partir de jeux de données réels
L’un des défis du développement de la conduite autonome est de collecter et d’étiqueter suffisamment de données pour entraîner et tester les modèles d’IA qui contrôlent le véhicule. Cependant, la collecte de données est coûteuse, nécessite beaucoup de temps et est limitée par la disponibilité de scénarios réels. De plus, l’étiquetage des données est sujette aux erreurs humaines et aux incohérences et nécessite beaucoup d’efforts manuels. Par conséquent, il est souhaitable de trouver un moyen de générer de nouvelles données à partir de données existantes, sans compromettre la qualité et la diversité des données.
NeRF (Neural Radiance Fields) est une technologie qui peut aider à résoudre ce problème. NeRF, qui signifie champs de radiance neuronale, a été introduit pour la première fois en 2020 par une équipe d’UC Berkeley, de Google Research et d’UC San Diego dans un article intitulé, NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis (NeRF : représentation de scènes en tant que champs de radiance neuronale pour la synthèse des vues). NeRF est un moyen de représenter et de restituer des scènes tridimensionnelles (3D) réalistes à partir d’une collection en entrée d’images bidimensionnelles (2D). Les NeRF utilisent un réseau neuronal pour apprendre comment les rayons lumineux interagissent avec la scène, puis synthétisent de nouvelles vues de la scène à partir n’importe quel angle. Les NeRF peuvent produire des modèles 3D photoréalistes de haute qualité qui capturent les moindres détails et textures de la scène.
NeRF peut aider au développement de la conduite autonome en créant de nouvelles données à partir de données existantes de deux manières :
Augmentation des données : NeRF peut utiliser une collection d’images 2D capturées par des caméras montées sur un véhicule réel pour reconstruire une scène 3D de l’environnement. Ensuite, NeRF peut générer de nouvelles images de la scène à partir de différents points de vue, angles et distances, que vous pouvez utiliser pour augmenter le jeu de données d’origine. En conséquence, il existe une quantité et une variété accrues de données disponibles pour entraîner et tester les modèles d’IA et améliorer leur généralisation et leur robustesse pour les cas extrêmes.
Simulation des données : NeRF peut également utiliser une collection d’images 2D capturées par des caméras montées sur un véhicule réel pour reconstruire une scène 3D de l’environnement. Ensuite, NeRF peut séparer les objets en mouvement des environnements statiques, modifier les trajectoires d’origine des objets, ajouter de nouveaux objets et trajectoires et ajouter des participants au trafic inhabituels. Par conséquent, les fonctionnalités NeRF peuvent créer des scénarios de simulation diversifiés et réalistes qui peuvent être utilisés pour entraîner et tester les modèles d’IA dans différentes situations et conditions.
NeRF est un outil puissant qui peut aider au développement de la conduite autonome en générant de nouvelles données à partir de données existantes. Il peut réduire le coût et l’effort de la collecte et de l’étiquetage des données et augmenter la qualité et la diversité des données pour entraîner et tester les modèles d’IA.
L’un des principaux partenaires de Microsoft, NVIDIA, utilise NeRF dans son produit DRIVE Sim dans le cadre de son Moteur de reconstruction neuronale. DRIVE SIM s’exécute aujourd’hui sur Omniverse sur Azure. De plus, WAYVE utilise NeRF pour générer automatiquement des mondes et des scénarios 3D photoréalistes à partir de données de conduite réelles en utilisant les fonctionnalités Microsoft Azure.