Plus humain qu'humain? Comment l'avenir de l'IA des jeux vidéo va changer notre façon de jouer

(Crédit image : Ubisoft)

Une chose étrange s'est produite pendant le développement de Assassin's Creed Walhalla . Alors que le directeur du jeu Eric Baptizat testait un build, il a remarqué qu'il était suivi partout par deux personnages non-joueurs. Peu importe où il allait, peu importe ce qu'il faisait, ces guerriers seraient là. Il semblait qu'une bizarrerie dans le système MetaAI d'Ubisoft, qui donne aux PNJ de la persistance et un but dans un monde de jeu, en avait fait des disciples zélés. Un peu frustré, Baptizat voyagea rapidement à l'autre bout du pays pour s'en débarrasser. Dix minutes plus tard, ils sont arrivés. Ils avaient traversé l'Angleterre à pied pour le rejoindre, leur chef et héros. Personne n'a prévu que cela se produise, mais en tant que comportement involontaire, cela nous en dit long sur la situation actuelle de l'intelligence artificielle dans les jeux vidéo et sur la manière dont elle doit évoluer à l'avenir.

À certains égards, l'IA des jeux vidéo n'a pas beaucoup évolué au cours de la dernière décennie, du moins en ce qui concerne la manière dont les personnages non joueurs agissent et réagissent dans les mondes virtuels. La plupart des jeux utilisent des techniques telles que les arbres de comportement et les machines à états finis, qui donnent aux agents d'IA un ensemble de tâches, d'états ou d'actions spécifiques, basés sur la situation actuelle - un peu comme suivre un organigramme. Ceux-ci ont été introduits dans les jeux au cours des années 1990, et ils fonctionnent toujours bien, principalement parce que les jeux d'action-aventure de la dernière génération ne nécessitaient pas vraiment de grandes avancées en matière de complexité comportementale.

La plupart des PNJ patrouillent simplement dans une zone spécifique jusqu'à ce que le joueur interagisse avec eux, moment auquel ils essaient de devenir une cible plus difficile à atteindre. C'est bien dans les espaces confinés, mais dans les grands mondes où les PNJ ont la liberté de se déplacer, cela ne s'adapte tout simplement pas. Des techniques d'IA plus avancées telles que l'apprentissage automatique - qui utilise des algorithmes pour étudier les données entrantes, les interpréter et décider d'un plan d'action en temps réel - donnent aux agents d'IA beaucoup plus de flexibilité et de liberté. Mais les développer prend du temps, coûte cher en calcul et représente un risque car cela rend les PNJ moins prévisibles – d'où la situation de harcèlement criminel d'Assassin's Creed Valhalla.

Cependant, à mesure que les jeux en monde ouvert et basés sur la narration deviennent plus complexes, et que les PC et les consoles modernes affichent des environnements de plus en plus authentiques et détaillés, le besoin de techniques d'IA plus avancées augmente. Ça va être bizarre et aliénant d'être plongé dans un monde presque photoréaliste rempli de systèmes complexes et de possibilités narratives, seulement pour découvrir que les personnages non-joueurs agissent toujours comme des robots sans âme.

La ville humaine

(Crédit image : Ubisoft)

C'est quelque chose que les développeurs qui repoussent les limites de la conception de jeux en monde ouvert comprennent. Ubisoft, par exemple, a des équipes de recherche dédiées à l'IA dans ses studios de Chengdu, Mumbai, Pune et Montpellier, ainsi qu'un laboratoire d'innovation stratégique à Paris et le laboratoire La Forge du studio de Montréal, et travaille avec des entreprises technologiques et des universités sur l'IA académique. Sujets de recherche.

Un exemple pratique de tout cela est Légion des chiens de garde , qui a de bonnes raisons d'être la première véritable aventure en monde ouvert de nouvelle génération. Pour créer un Londres authentique rempli d'habitants vivants et très individuels, le studio a développé son système de recensement, qui construit des biographies détaillées et des routines quotidiennes pour tous les PNJ avec lesquels vous interagissez, y compris les relations avec d'autres personnages dans le monde - donc si vous renversez un piéton un jour, leur frère ou leur meilleur ami en deuil pourrait s'en prendre à vous le lendemain.

'En plus de cela, nous avons un système de comportement de groupe qui génère des événements de branchement, comme des crimes et des vérifications d'identité par la police', explique Martin Walsh, directeur technique de l'IA et du gameplay de Watch Dogs Legion. 'S'il vous arrive de voir quelqu'un en difficulté, vous pouvez l'aider, ce qui l'amènera également à vous aimer personnellement et à DedSec dans son ensemble.' Nous attribuons également des rôles de soutien aux personnes avec lesquelles vous avez interagi auparavant dans les missions futures. Les personnages de Watch Dogs: Legion ont des vies au-delà de ce que vous voyez initialement, et si vous choisissez d'intervenir dans leur vie, cela aura des conséquences durables.

(Crédit image : Ubisoft)

'Les personnages de Watch Dogs : Legion ont des vies au-delà de ce que vous voyez initialement et si vous choisissez d'intervenir dans leur vie, cela aura des conséquences durables'

Martin Walch

Pour Ubisoft, ce n'est que la première étape d'un processus continu. 'Le plus grand défi pour l'IA est d'imiter ce qui est peut-être la capacité la plus complexe et la plus mystérieuse du cerveau humain : l'imagination', déclare Julien Desaulniers, responsable de l'équipe de programmation de l'IA et du gameplay sur Assassin's Creed Valhalla. 'Le fait que l'IA génère du contenu narratif porte cela à un tout autre niveau, un niveau auquel même tous les êtres humains ne peuvent pas bien performer.'

Ce que lui et Walsh prévoient, c'est une nouvelle génération d'agents d'intelligence artificielle qui peuvent jouer un rôle plus actif et intelligent dans le récit du jeu, générant peut-être de nouvelles missions et des éléments parallèles à la volée. Cela nécessitera une combinaison de technologies d'IA émergentes, avec lesquelles les développeurs commencent seulement à s'attaquer. Un exemple est le traitement du langage naturel (NLP), un type de programme d'IA qui simule la communication humaine écrite ou parlée - en d'autres termes, il écrit ou (en combinaison avec la synthèse vocale en temps réel) parle comme une personne.

L'utilisation de la PNL dans les jeux permettrait aux IA de construire des éléments de conversation de type humain, puis de les parler de manière naturaliste sans avoir besoin de lignes de dialogue préenregistrées exécutées par un acteur. Combinez-les avec l'animation de personnages assistée par l'IA, que de nombreux studios utilisent maintenant pour augmenter la capture de mouvement et rendre les personnages plus naturellement réactifs à l'environnement, et vous pourriez avoir des PNJ qui peuvent penser, parler, agir et planifier comme de vraies personnes .

Enseigner un jeu à agir

(Crédit image : Ubisoft)

On est encore un peu loin de ça, mais ça s'en vient. 'La capacité des PNJ à dire des choses qui n'étaient pas prévues, pas enregistrées à l'avance, est un aspect de la technologie que nous ne sommes toujours pas en mesure de maîtriser', explique Desaulniers. 'Bien que nous ayons des systèmes qui fonctionnent pour nous et qui peuvent fournir des lignes avec des performances raisonnablement convaincantes en termes de jeu virtuel, nous ne sommes pas encore tout à fait' là 'pour le faire en temps réel pendant que le joueur interagit avec le monde du jeu. Dans l'ensemble, c'est un défi très excitant pour nous, avec un énorme potentiel pour les développeurs technologiques et les conteurs. Walsh est d'accord : « Dans un avenir proche, la synthèse vocale et d'animation sera suffisamment bonne pour nous permettre de créer des personnages et des histoires sans avoir à mo-cap et enregistrer toutes les données. Cela permettrait une génération de contenu beaucoup plus rapide, ce qui pourrait vraiment changer la façon dont nous créons des personnages et les types d'histoires qui peuvent être racontées.

Il y a des entreprises qui travaillent déjà dans ce sens. La start-up britannique Sonantic a développé une technologie de voix artificielle, une sorte d'acteur virtuel, qui peut livrer des lignes de dialogue avec une profondeur émotionnelle convaincante, ajoutant de la peur, de la joie et du choc, selon la situation. Le système nécessite un véritable acteur vocal pour fournir quelques heures d'enregistrements vocaux, mais l'IA apprend ensuite la voix et peut jouer le rôle elle-même. Sonantic travaille déjà avec une gamme de studios, dont Splash Damage et Obsidian, et ils l'utilisent principalement pendant les étapes de développement pour tester le dialogue dans le jeu, mais à l'avenir, la technologie pourrait être utilisée pour créer des dialogues dans le jeu. beaucoup plus contextuel et réactif. 'Bientôt, les voix seront diffusées en direct, de manière dynamique dans le jeu', déclare la co-fondatrice et PDG Zeena Qureshi. « Si votre personnage est essoufflé, il sonnera essoufflé. Si vous avez fait du tort à un personnage dans un niveau précédent, il semblera ennuyé par vous plus tard.'

Cependant, cette avancée de l'IA dans le processus de développement ne vise pas à remplacer les auteurs et les concepteurs de jeux - Ubisoft ne va pas simplement céder Far Cry 7 à Skynet. Mais cela pourrait entraîner d'énormes changements dans la façon dont les histoires se déroulent et dans la façon dont nous interagissons avec les PNJ. Peut-être allons-nous enfin nous débarrasser des cinématiques intrusives non interactives, avec des PNJ intelligents capables de livrer des moments d'histoire et d'exposition pendant le jeu, à des moments où chaque joueur individuel a besoin de les vivre, en fonction de ce qu'il a déjà fait et vu. Nous pouvons également voir le dos d'arbres de dialogue fixes et pré-écrits dans des RPG tels que Mass Effect et The Witcher - un agent d'IA avec un composant NLP pourrait engager des conversations réalistes avec les joueurs, soit par la voix, soit par du texte à l'écran, ce qui rend la perspective de romancer Garrus beaucoup plus impliquant.

(Crédit image : obsidienne)

« Si votre personnage est essoufflé, il sonnera essoufflé. Si vous avez fait du tort à un personnage dans un niveau précédent, il semblera ennuyé par vous plus tard '

Zeena Qureshi

L'utilisation de techniques d'apprentissage automatique pourrait également rendre les PNJ plus réactifs aux actions des joueurs. Pensez à ces moments dans le jeu où les personnages prononcent de longs discours pendant que nous explorons la pièce paresseusement, sautons sur des tables, ramassons des plantes en pot, nous rapprochons vraiment de l'orateur... Jusqu'à présent, ce personnage n'arrêtait pas de parler inconsciemment, mais si c'est un agent IA avec NLP et animations assistées par IA, ils pourraient réagir. 'Nous verrons certainement des jeux où le PNJ dira' pourquoi mettez-vous ce seau sur votre tête? ', déclare le chercheur en IA Julian Togelius. «C'est quelque chose que vous pouvez construire à partir d'un modèle de langage et d'un modèle de perception, et cela améliorera vraiment la perception de la vie.

'Je veux dire, comment savoir si vous parlez à un chatbot ou à un employé du service client lorsque vous êtes en ligne ? Eh bien, vous le faites en les forçant à reconnaître et à répondre à quelque chose que vous avez dit ou fait - c'est actuellement sous-utilisé dans la conception de jeux vidéo et je pense qu'il sera beaucoup plus utilisé à l'avenir, donc il ressort qu'ils comprennent le joueur dans certains chemin. C'est l'illusion de la vie.

Togelius, qui travaille sur un projet de jeu vidéo non annoncé qui utilise ces technologies, est enthousiasmé par la perspective d'agents autonomes bavards. 'Vous pourriez utiliser des entrées de forme libre et les sorties seraient différentes à chaque fois, ce qui serait beaucoup plus crédible. Vous pouvez également avoir une interface de style Mass Effect, où le joueur stipule simplement 'dire une chose menaçante', et si vous demandez la même chose trop de fois de suite, le modèle de langage pourrait devenir vraiment ennuyé et vous dire de partir .'

Cours de langue

(Crédit image : Warner Bros. Interactive)

« L'autre source d'inspiration constante est le jeu de rôle sur table ; nous essayons essentiellement d'être de grands maîtres de donjons numériques

Michel de Plater

Plusieurs codeurs d'IA à qui nous avons parlé étaient particulièrement enthousiasmés par GTP-3, le modèle PNL très avancé développé par le laboratoire OpenAI basé à San Francisco, propriété d'Elon Musk. GTP-3, qui peut lire d'énormes quantités de texte et générer ensuite son propre contenu écrit, a déjà été utilisé pour rédiger des articles de magazines et de journaux. Alors, pourrions-nous voir une aventure en monde ouvert avec des PNJ équipés de GTP-3 à l'avenir ? 'Vous obtenez de très bons résultats variés avec GTP-3, mais il y a un problème de contrôle, et Open AI est très conscient de cela et du potentiel de catastrophes de relations publiques', déclare Togelius. En bref, que se passe-t-il si vous obtenez un personnage de jeu IA qui décide d'utiliser des insultes racistes ou sexistes, par exemple, ou qui se déchaîne complètement dans le monde du jeu ?

C'est quelque chose dont Monolith Productions, l'équipe derrière La Terre du Milieu : L'Ombre de la Guerre, est consciente car elle s'appuie sur son système phare Nemesis, qui crée des rivalités en temps réel entre le joueur et les PNJ. 'Les avancées technologiques générales dans des domaines tels que le traitement du langage naturel et la génération de texte sont fascinantes', déclare Michael de Plater‏, vice-président créatif du studio. 'Il y a un merveilleux blog de Janelle Shane appelé AI Weirdness avec d'excellents exemples de la folie que l'IA peut générer, qui parle de ses forces mais aussi de ses limites.'

'La fiction interactive est constamment fascinante, et Emily Short a un blog brillant sur la narration interactive et l'IA', poursuit de Plater‏. 'En ce qui concerne les jeux récents, la réactivité et l'établissement de relations dans Hades par Supergiant Games ont été brillants. L'autre inspiration constante est le jeu de rôle sur table; nous essayons essentiellement d'être de grands maîtres de donjon numériques.

La réponse aux IA voyous peut être un vocabulaire étroitement contrôlé et quelques invites pré-écrites. 'Vous pouvez avoir des conversations libres, mais vous pouvez également combiner cela avec des morceaux de texte scénarisé', explique Togelius. 'Je m'attends à ce que d'ici un an, quelqu'un d'autre ait essentiellement implémenté GTP-3 dans un jeu.'

Vous êtes surveillés

(Crédit image : Rockstar)

'Dites que vous voulez donner au joueur une quête de récupération ; vous pouvez le modifier en fonction de ce que vous attendez de ce joueur '

Julien Togelius

Un autre domaine de l'IA susceptible de devenir plus important à l'avenir est la modélisation des joueurs, dans laquelle les actions des joueurs dans un jeu sont étudiées et mémorisées par le système d'IA. Bien sûr, nous avons vu de nombreux jeux mettant en vedette des ennemis qui apprennent les tactiques des joueurs et modifient les leurs en conséquence - le genre de jeu de combat regorge d'exemples - et nous sommes également habitués aux ennemis qui appellent votre position dans le monde du jeu. Mais nous aimons aussi les jeux avec des personnages qui nous remarquent simplement - comme les PNJ qui commentent vos vêtements ensanglantés dans Red Dead Redemption 2 , ou les barmans de Tueur à gages 3 qui demandent ce que tu fous derrière le frigo à boissons.

Togelius en voit des exemples beaucoup plus avancés dans un futur proche. 'Si vous avez une bonne idée de ce qu'un joueur pourrait faire ou de l'endroit où il aime aller dans le monde, il existe de nombreux modèles d'histoires qui peuvent être lancés sous forme de quêtes de différentes manières', dit-il. 'Dites que vous voulez donner au joueur une quête de récupération, vous pouvez la modifier en fonction de ce que vous attendez de ce joueur... si c'est le genre de joueur qui explorera des îles lointaines, vous pouvez décider où les envoyer. Il y a beaucoup de quêtes légères que vous pourriez rééquilibrer, donc il y a de la furtivité ici ou du combat là-bas, en fonction des expériences passées du joueur. Vous pouvez toujours concevoir la série de quêtes principale, mais la façon dont cela se manifeste dans le jeu peut être modifiée en fonction de ce que vous savez sur le joueur individuel.

Nous avons vu beaucoup de jeux, comme Fable, avec des systèmes de moralité simples où le monde vous traite différemment si vous avez été bon ou mauvais. Mais l'IA moderne pourrait ajouter plus de nuances et de complexité, la reconnaissance se manifestant de manière plus profonde que les points de réputation. 'S'il y a un symbole particulier que vous demandez toujours à un forgeron de graver sur votre armure, peut-être que d'autres personnages obtiendront le même symbole parce qu'ils l'ont vu sur vous. De plus, lorsque vous chassez des monstres, vous pouvez toujours utiliser la même technique consistant à vous faufiler derrière eux et à leur tirer dessus avec une flèche empoisonnée, puis vous regardez autour de vous et réalisez que les PNJ le font maintenant de la même manière. Ils apprennent vos schémas de mouvement et les reproduisent. C'est le genre de choses pour lesquelles nous avons besoin d'un apprentissage automatique moderne», déclare Togelius.

La modélisation des joueurs pourrait également se combiner avec la PNL dans de futures aventures en monde ouvert, de sorte que vous pourriez avoir des gens dans le monde du jeu se racontant des histoires sur les choses que vous avez faites. Des rumeurs et des commérages seront échangés entre les PNJ, tout comme les mythes et les légendes. Imaginez que vous arrivez dans un village de The Witcher 4 pour trouver un ménestrel chantant des chansons sur votre dernière rencontre avec un dragon ou sur la manière très spécifique dont vous avez traité avec le Bloody Baron.

Mouvement et mimétisme

(Crédit image : EA)

Comme Ubisoft, Electronic Arts est fortement impliqué dans la recherche sur l'IA. L'éditeur dispose d'équipes centrales telles que EA Digital Platform et d'une division de recherche dédiée, SEED, travaillant avec des technologies d'IA avancées. Comme d'autres développeurs, l'un de ses intérêts majeurs est l'utilisation de l'IA pour augmenter la création d'assets, comme des textures extrêmement naturelles et détaillées, mais aussi une animation de personnage plus authentique et réactive. La possibilité de combiner des animations mo-cap avec des réponses en temps réel sera essentielle pour s'assurer que les personnages interagissent de manière réaliste avec des mondes de jeu complexes, plutôt que de se heurter à des portes ou de monter maladroitement des escaliers.

'Le mélange d'animations et la correspondance de mouvements sont désormais gérés par l'apprentissage automatique', déclare Tommy Thompson, directeur du cabinet de conseil, IA et jeux, et l'un des plus grands experts de l'intelligence artificielle des jeux vidéo. « Il détermine les meilleurs points de fusion entre les animations et recible ces animations en fonction de différents contextes. Ainsi, un personnage pourrait s'asseoir dans 10 chaises différentes, en utilisant la même animation, avec le moteur d'IA capable de mélanger les mouvements de manière transparente.

À l'heure actuelle, EA étudie des méthodes d'utilisation de l'apprentissage en profondeur pour capturer des mouvements réalistes et des ressemblances faciales directement à partir de la vidéo au lieu d'avoir à effectuer des sessions de capture de mouvement coûteuses et chronophages. 'C'est quelque chose qui aura un grand impact à mon avis, en particulier pour les jeux de sport à l'avenir', déclare Paul McComas, responsable de l'animation chez EA. 'Ces données de mouvement nous permettront de couvrir de plus en plus de situations de jeu, et cela apparaîtra également plus naturel car nous obtiendrons des données d'animation de vrais athlètes' dans la nature ', si vous voulez, par opposition au vide d'une capture de mouvement studio.'

«Cela signifie plus de réalisme, en particulier pour les sports de contact, ainsi que des mouvements et des comportements de signature plus réalistes de grandes personnalités. Pouvoir capturer de nouveaux éléments à partir d'une vidéo nous rendra également plus réactifs, comme, par exemple, introduire rapidement un nouveau mouvement d'un athlète ou même créer des scénarios basés sur des événements réels, peu de temps après qu'ils se soient produits », explique McComas.

(Crédit image : EA)

L'avenir du jeu

(Crédit image : jeux de guérilla)

Qu'est-ce que les jeux de nouvelle génération offriront à l'avenir? Avec la PS5 et la Xbox Series X enfin là, nous nous asseyons avec Sumo Digital, Bloober Team, Neon Giant et LKA pour savoir ce que les joueurs doivent attendre d'une nouvelle génération de jeux.

L'éditeur envisage également d'utiliser une combinaison d'apprentissage par renforcement (où une IA apprend par essais et erreurs) et d'apprentissage par imitation (où elle apprend en regardant et en imitant les actions humaines), pour créer des joueurs FIFA et Madden qui se comportent avec précision comme leur vrai -homologues de la vie. Mais il y a des applications plus larges de cela. Si nous pouvons entraîner les IA à se comporter comme de vrais joueurs de football, nous pouvons également les entraîner à se comporter comme des superstars pro et des streamers.

'Pensez à cela dans le contexte de fortnite ', dit Togelius. «Chaque joueur pourrait avoir la chance de jouer contre un ninja virtuel – il y a tout un sous-ensemble du public du jeu qui tuerait pour cette opportunité. Vous pouvez prendre le meilleur équipage de streamers Sea of ​​​​Thieves et créer une équipe d'IA – bien que ce soit vraiment difficile car faire jouer quatre joueurs humains Mer des voleurs est effectivement assez difficile, sans parler de quatre IA !'

EA souhaite également utiliser l'apprentissage automatique pour améliorer le contenu généré par les utilisateurs. 'Cela permettra aux utilisateurs de créer plus facilement des avatars qui leur ressemblent avec un simple téléphone, de capturer des gestes et des expressions faciales, ainsi que d'offrir des outils plus intelligents pour créer des niveaux et des actifs de manière intuitive', déclare Fabio Zinno, ingénieur logiciel senior chez EA. 'Je pense également que le traitement du langage naturel aidera les joueurs handicapés, par exemple, à obtenir du texte à partir de la parole.'

La prochaine génération d'aventures en monde ouvert réagira au joueur, avec des missions qui s'adaptent à vos actions et à vos préférences, et avec des personnages qui simulent l'empathie ainsi que l'agressivité, et qui finissent par vous connaître en tant qu'individu. Ces deux PNJ rencontrés par Eric Baptizat d'Ubisoft, qui l'ont suivi à travers le pays, non pas parce que le jeu le leur a dit mais parce qu'ils le voulaient, peuvent en fait nous en dire beaucoup sur la direction que prennent les jeux. Réactif, observateur, un peu imprévisible parfois. C'est un peu ironique que toute cette recherche et développement incroyablement avancée aboutisse à quelque chose d'aussi simple : l'avenir des jeux doit nous ressembler davantage.

---

Un grand merci à Tommy Thompson qui a fourni une énorme quantité d'informations techniques sur l'IA pour cet article. Voir son excellente chaîne YouTube, IA et jeux , ici .