Interview technique : l’upscaler de fréquence d’images de LucasArts
⌨️
Samedi, Digital Foundry a couvert une présentation SIGGRAPH 2010 par Dmitry Andreev de LucasArts sur le processus de mise à l’échelle de la fréquence d’images. Ce concept intrigant offre potentiellement tous les avantages du rendu d’un jeu sur console à 30FPS, ainsi que la fluidité visuelle et potentiellement même la réponse plus nette du jeu à 60FPS.
Près de cinq ans après le début de la durée de vie de la Xbox 360, c’est un aperçu fascinant du genre d’astuces, de techniques et de réflexions que les développeurs emploient pour produire des titres de console toujours plus impressionnants.
Si vous n’avez pas téléchargé les images révélatrices de la démo d’Andreev montrant la technique en jeu sur le moteur Star Wars : The Force Unleashed II, cela vaut le coup d’œil, avec les versions HD et standard def disponibles en téléchargement, et l’original présentation également en ligne pour le public. Assurez-vous d’avoir un décodeur h264 installé sur votre machine afin de pouvoir visualiser les fichiers AVI (Windows 7 en a un installé par défaut).
Dans cet entretien technique de suivi avec Dmitry, nous passons en revue les bases, discutons plus en détail de la mise en œuvre dans la démo technique et parlons du potentiel de la technique dans les futurs titres de console.
Digital Foundry : Pouvez-vous nous donner un aperçu de votre technique en termes simples ? Assiste-t-on vraiment à un 60FPS efficace avec tous les avantages du rendu à 30FPS ?
Dmitry Andreev : L’idée de base est de construire un cadre supplémentaire basé sur le précédent [using] nouvelles informations disponibles pour la nouvelle image actuelle et les présenter au milieu du rendu 30FPS tout en travaillant sur l’image actuelle. De cette façon, techniquement, nous voyons un 60FPS efficace avec tous les avantages du rendu à 30FPS.
Fonderie numérique : Vous parlez dans votre présentation des angles morts de l’œil humain – comment les utilisez-vous à votre avantage avec cette technique ?
Dmitry Andreev: Eh bien, l’un des points que j’essayais de faire ressortir avec cette présentation est que des choses assez complexes peuvent être en fait très simples une fois que vous commencez à y penser. Travailler les choses par analogie, en essayant de voir pourquoi quelque chose se passe. Tous ceux-ci ont une influence indirecte et c’est pourquoi il est plus difficile de voir une solution plus simple. Très souvent, les gens demandent : « Pourquoi faites-vous ceci ou cela ? Cela n’a rien à voir avec le problème. Le fait est que c’est le cas. Vous ne trouverez peut-être pas la solution au problème d’origine, mais très souvent, vous trouverez d’autres choses intéressantes qui peuvent approfondir votre curiosité, et ainsi vous pouvez trouver des solutions inattendues à divers problèmes.
L’œil humain et l’ensemble du système visuel sont une grande source d’inspiration pour moi. Ça fait réfléchir, ça fait réfléchir. Il y a quelque temps, après avoir lu un livre intitulé “On Intelligence” de Jeff Hawkins, j’ai prototypé quelques réseaux de neurones avec des connexions de rétroaction, simulant l’entrée manquante de l’angle mort. En fait, le réseau peut prédire ce que vous verriez et réagir à certaines illusions d’optique comme le fait le système visuel réel.
J’ai aussi fait beaucoup d’expérimentations, essayant de mettre différents motifs autour de l’angle mort et d’essayer d’observer ce qui se passe. Cela a donné une idée qu’il est définitivement basé sur un modèle, qu’il est localisé mais pas autour du “bord” et qu’il n’est pas trop large. Ensuite, j’ai pensé à quoi cela ressemblerait en mouvement et au fait qu’il ne devait pas violer les prédictions que notre cerveau fait à propos de l’image. Nous aurions tendance à remarquer des choses qui changent plutôt que des choses qui ne changent pas.
C’est un ensemble d’idées comme celle-ci qui sont utilisées à notre avantage.
Le rendu 30FPS est devenu la norme avec le développement de la console car avoir deux fois plus de temps par image permet des techniques de rendu plus avancées. L’upscaler de fréquence d’images permet les avantages d’un rafraîchissement à 60 Hz combiné à des visuels plus impressionnants.
Digital Foundry : Pouvez-vous nous parler du processus par lequel vous retirez les personnages de la scène ? Pourquoi est-ce nécessaire ? S’agit-il de réduire l’artefact dans le processus d’interpolation sur les caractères ?
Dmitry Andreev: Ce n’est pas nécessaire en général. Comme je l’ai expliqué dans les commentaires, tous les personnages pourraient être restitués à 60FPS, ou pourraient être rendus séparément de l’environnement. Il arrive qu’ils puissent se déplacer comme ils le souhaitent. Le moyen le plus simple est donc d’avoir une version de l’environnement sans les personnages, et vous utilisez cette version chaque fois que nous détectons un artefact.
Désormais, avec le rendu vers l’avant, il est facile de restituer d’abord l’environnement, de le stocker quelque part, puis de restituer les caractères par-dessus. Mais il devient très difficile de faire la même chose avec l’utilisation de techniques différées. Ainsi, lorsque je travaillais sur une implémentation de console, je ne voulais même pas penser à refaire la majeure partie de notre pipeline de rendu différé. Il est déjà follement optimisé avec différentes sortes d’astuces. C’est pourquoi j’ai pensé qu’il serait plus facile de les supprimer d’une manière ou d’une autre du cadre existant, puis de les utiliser pour supprimer les artefacts.
Mais je dois noter que c’est plus qu’une simple suppression de personnage. Il s’agit également de supprimer toutes les autres régions problématiques. Dans la démo que vous avez vue, il n’est cependant utilisé que pour les personnages. C’est ce que je veux dire en disant que le discours ne doit pas être compris littéralement.
Découvrez d’avantage plus d’articles dans nos catégories Astuce, Consoles et encore Jeux.
Merci pour votre visite on espère que notre article Interview technique : l’upscaler de fréquence d’images de LucasArts
, pour nous aider, on vous invite à partager l’article sur Facebook, pinterest et whatsapp avec les hashtags ☑️ #Interview #technique #lupscaler #fréquence #dimages #LucasArts ☑️!