NVIDIA présente le DLSS 5, une technologie de rendu neuronal génératif pensée pour fonctionner en temps réel dans les jeux. Contrairement aux précédentes générations de DLSS centrées sur la reconstruction d'image, cette nouvelle approche peut générer l'apparence finale affichée à l'écran. Elle fonctionne localement au sein du moteur de rendu sur les cartes graphiques GeForce RTX série 50, avec une définition pouvant atteindre la 4K.
DLSS 5 génère directement l'apparence finale des jeux
Le changement apporté par le DLSS 5 est majeur. Les technologies DLSS précédentes utilisent la reconstruction neuronale pour obtenir efficacement un résultat qui demanderait autrement davantage de ressources au moteur de rendu. Le DLSS 5 ajoute désormais une étape de rendu neuronal génératif en temps réel.
Selon NVIDIA, il s'agit de la première technologie DLSS capable de générer l'apparence finale affichée plutôt que de reconstruire un résultat de référence plus coûteux produit par le moteur de rendu traditionnel.
L'objectif est notamment d'aller chercher un niveau de réalisme difficile à reproduire uniquement avec les ressources disponibles en temps réel. NVIDIA cite des effets complexes comme la diffusion sous la surface de la peau ou encore la manière dont la lumière se disperse à travers le feuillage.
Le DLSS 5 s'appuie pour cela sur des connaissances visuelles apprises à partir de données issues du monde réel.
Comment DLSS 5 préserve les graphismes conçus par les développeurs ?
Utiliser un modèle génératif dans un jeu pose un problème particulier. Une image peut sembler crédible tout en s'éloignant de la scène réellement créée par les développeurs. NVIDIA cherche donc à exploiter les capacités génératives tout en préservant le contenu et les intentions artistiques d'origine.
Le DLSS 5 introduit une approche baptisée rendu neuronal guidé par la 3D. Son modèle de diffusion fonctionne dans l'espace des pixels et réalise son traitement en une seule étape afin de répondre aux contraintes du rendu en temps réel à haute définition.
Pour produire l'image, le système prend notamment en compte l'image actuellement rendue, les vecteurs de mouvement provenant du moteur, un état temporel conservé ainsi que des valeurs liées à la direction artistique.
Durant son entraînement, des attributs de scène issus du moteur servent également à maintenir la génération au plus près de la scène conçue par les créateurs.
Le DLSS 5 vise un rendu génératif en temps réel jusqu'en 4K
La génération doit également tenir dans le temps extrêmement limité disponible pour produire chaque image d'un jeu. Les modèles génératifs généralistes sont trop coûteux pour répondre directement à cette contrainte, particulièrement avec une sortie en 4K.
NVIDIA a donc conçu le DLSS 5 autour d'un budget de calcul strict pour chaque image. Le processus d'inférence est présenté comme causal et déterministe, avec un entraînement spécifiquement pensé pour maintenir une stabilité temporelle d'une image à l'autre.,Cette architecture permet au rendu neuronal génératif de fonctionner en temps réel jusqu'en 4K.
Le traitement est effectué localement et le DLSS 5 s'intègre comme une étape de rendu dans les chaînes graphiques existantes des jeux sur GeForce RTX série 50. Le rendu génératif devient ainsi une composante supplémentaire du processus graphique plutôt qu'un système extérieur chargé de produire indépendamment les images.
Le DLSS 5 complète le rendu traditionnel plutôt que de le remplacer
NVIDIA ne présente pas le DLSS 5 comme un remplacement du rendu physiquement réaliste ni du travail artistique effectué par les développeurs. La technologie doit fonctionner en complément de ces méthodes.
Son intérêt repose sur les connaissances de l'apparence du monde réel apprises par le modèle. Elles peuvent apporter des détails visuels qu'une multiplication des échantillons ou des représentations de scènes entièrement créées à la main ne permettrait pas de reproduire aussi efficacement dans les contraintes du temps réel.
Pour les jeux compatibles, le DLSS 5 marque donc un changement profond dans le rôle de l'intelligence artificielle au sein du rendu graphique. Après avoir largement servi à reconstruire l'image, le DLSS peut désormais participer directement à son apparence finale, tout en restant guidé par la scène et les choix artistiques des développeurs.
Source / image de couverture réalisé à l'aide de l'IA
