Des PNJ propulsés par l’IA : NVIDIA ACE for Games révolutione les interactions dans les jeux

Imaginez un jeu dans lequel vous pourriez avoir des conversations intelligentes, non scénarisées et dynamiques avec des personnages non-joueurs (PNJ) dotés de personnalités persistantes qui évoluent avec le temps, ainsi que des animations faciales et des expressions précises, le tout dans votre langue maternelle.

Les technologies d’IA générative rendent cela possible, et lors de la COMPUTEX 2023, nous avons pu découvrir l’avenir des PNJ avec le NVIDIA Avatar Cloud Engine (ACE) for Games. NVIDIA ACE for Games est un service de modèles d’IA personnalisés qui vise à transformer les jeux en apportant de l’intelligence aux personnages non-joueurs (PNJ) grâce à des interactions linguistiques naturelles alimentées par l’IA.

« L’IA générative a le potentiel de révolutionner l’interactivité que les joueurs peuvent avoir avec les personnages de jeu et d’augmenter considérablement l’immersion dans les jeux », a déclaré John Spitzer, vice-président de la technologie de développement et de performance chez NVIDIA. « S’appuyant sur notre expertise en IA et des décennies d’expérience de travail avec des développeurs de jeux, NVIDIA est à la pointe de l’utilisation de l’IA générative dans les jeux. »

Les développeurs de middleware, d’outils et de jeux peuvent utiliser NVIDIA ACE for Games pour créer et déployer des modèles d’IA personnalisés pour la parole, la conversation et l’animation dans leurs logiciels et jeux, à travers le cloud et les PC.

Les modèles d’IA de base optimisés comprennent :

• NVIDIA NeMo, qui fournit des modèles de langage de base et des outils de personnalisation des modèles afin que les développeurs puissent affiner davantage les modèles pour les personnages de jeu. Ce modèle de langage large et personnalisable (LLM) permet de créer des histoires et des personnalités spécifiques aux personnages qui s’intègrent dans le monde du jeu du développeur. Les développeurs peuvent mieux aligner les interactions des joueurs dans le contexte d’une scène grâce à des règles programmables pour les PNJ avec NeMo Guardrails.
• NVIDIA Riva, qui offre des capacités de reconnaissance automatique de la parole (ASR) et de synthèse de la parole à partir de texte (TTS) pour permettre une conversation vocale en direct avec NVIDIA NeMo.
• NVIDIA Omniverse Audio2Face, qui crée instantanément une animation faciale expressive pour les personnages de jeu à partir d’une source audio. Audio2Face propose des connecteurs Omniverse pour Unreal Engine 5, ce qui permet aux développeurs d’ajouter directement une animation faciale aux personnages MetaHuman.

Fonctionnement de NVIDIA ACE For Games

Pour mettre en valeur la puissance de NVIDIA ACE for Games et prévisualiser la façon dont les développeurs construiront les PNJ à l’avenir, NVIDIA s’est associé à Convai, une start-up NVIDIA Inception qui construit une plateforme pour créer et déployer des personnages d’IA dans les jeux et les mondes virtuels, afin d’optimiser et d’intégrer les modules ACE dans leur plateforme.

« Avec NVIDIA ACE for Games, les outils de Convai peuvent atteindre la latence et la qualité nécessaires pour rendre les personnages d’IA non jouables disponibles pour presque tous les développeurs de manière rentable », a déclaré Purnendu Mukherjee, fondateur et PDG de Convai.

La démo Kairos (vidéo ci-dessus) a utilisé NVIDIA Riva pour la reconnaissance de la parole en texte et la synthèse de la parole à partir du texte, NVIDIA NeMo pour alimenter l’IA conversationnelle, et Audio2Face pour l’animation faciale basée sur l’IA à partir des entrées vocales. Ces modules ont été intégrés de manière transparente dans la plateforme de services de Convai et alimentés dans Unreal Engine 5 et MetaHuman pour donner vie à Jin.

Jin et sa scène de restaurant de ramen ont été créés par l’équipe artistique de NVIDIA Lightspeed Studios et rendus entièrement dans Unreal Engine 5, utilisant l’illumination directe NVIDIA RTX (RTXDI) pour l’éclairage et les ombres tracés par rayons, ainsi que DLSS pour des taux de rafraîchissement et une qualité d’image les plus élevés possibles.

Avec l’introduction de NVIDIA ACE for Games et de ses technologies d’IA générative, l’avenir des PNJ dans les jeux vidéo s’annonce prometteur. Les joueurs pourront désormais profiter d’interactions plus intelligentes et immersives avec des personnages virtuels dotés de personnalités évolutives, de dialogues réalistes et d’expressions faciales précises. Cette avancée révolutionnaire ouvre de nouvelles perspectives pour les jeux à venir, offrant des expériences de jeu plus captivantes et une intégration plus poussée des PNJ dans les univers virtuels. L’IA générative propulse ainsi les PNJ vers de nouveaux horizon dans l’industrie du jeu vidéo.