Faire confiance au processus d'équilibrage : données et perspective

Coleman “Altombre” Palm, Brian “Riot South Korea” Chang

12/12/2020

Salut, moi c'est Brian Chang. Je suis analyste pour l'équipe Insights de VALORANT. Et voici notre chercheur, Coleman « Altombre » Palm. Aujourd'hui, nous allons vous parler de la façon dont nous utilisons les données pour garder notre jeu équilibré et agréable pour vous.

Cet article exposera d'abord notre philosophie générale à l'égard de l'utilisation des données dans le but de diriger les changements que nous apportons au jeu. Ensuite, nous allons suivre pas à pas l'exemple d'un agent pour voir comment nous l'avons modifié à l'aide des données récoltées.

NOTRE PHILOSOPHIE DE L'ÉQUILIBRAGE DU JEU PAR LES DONNÉES

Notre objectif principal, à nous, l'équipe d'équilibrage, c'est de nous assurer que chaque joueur et joueuse profite du jeu équitablement. Vous pouvez vous rapporter au très bon article de
David « MILKCOW » Cole sur l'équilibrage de VALORANT ici.

Un des rôles principaux que jouent les données dans notre démarche d'équilibrage est d'informer les concepteurs de l'état du jeu. Ce sont elles qui nous disent quand votre expérience n'est peut-être pas idéale.

Elles nous servent d'outil de diagnostic en pointant les aspects du jeu qui requièrent notre intervention. Ces données peuvent prendre la forme de télémesure en jeu (pour nous dire par exemple si le taux de victoire d'un agent est trop élevé ou trop bas), ou bien d'enquêtes auprès de nos joueurs (quand une majorité d'entre vous, par exemple, trouve trop frustrant de jouer contre tel ou tel agent).

Mais nous faisons beaucoup d'efforts pour ne pas nous laisser aveugler par ces données quand nous prenons des décisions d'équilibrage du jeu, surtout au début. Cela ne fait pas si longtemps que VALORANT est entre vos mains, et même nous ignorons encore un peu à quoi il doit ressembler pour être « équilibré ».

Par exemple, une carte n'est jamais également favorable aux défenseurs et aux attaquants, mais nous ignorons quelle est la marge d'erreur raisonnable avant que les joueurs ne trouvent plus amusant de jouer dessus. Sans compter la couche de complexité supplémentaire apportée par les agents, dont la force et la popularité affectent aussi l'équilibre d'une carte. Une méta fondée sur les Sentinelles rendrait les cartes plus défensives, alors qu'une méta dominée par les Duellistes donnerait l'impression que les cartes favorisent l'attaque (et nous n'avons même pas encore parlé de l'influence individuelle de chaque agent sur chaque carte). Les données ne seront jamais suffisantes en elles-mêmes pour nous aider à équilibrer le jeu, mais elles font partie des nombreux outils dont nous nous servons pour mesurer son état.

Ceci dit, nous gardons sans cesse un œil sur nos données en jeu et sur les retours que nous recevons par les enquêtes, afin de mieux comprendre comment ces mesures reflètent l'équilibre du jeu. Nous espérons un jour que cette connaissance précise nous permettra de mettre rapidement le doigt sur ce qui cloche et sur la façon d'y remédier.

CE QUE NOUS MESURONS

Nous surveillons à l'heure actuelle un certain nombre de paramètres pour évaluer la force et la stabilité des différents aspects du jeu. En voici quelques-uns, répartis par système :

Agents : taux de victoires (par rang, par carte), présence (sont-ils souvent choisis ?), courbe d'apprentissage (combien faut-il faire de parties avant d'atteindre le taux de victoires « réel » d'un agent donné ?), portée vs engagement (comparaison de la popularité générale d'un agent à la fidélité avec laquelle il est joué)
Cartes : taux de manches remportées par camp (en fonction du rang), issue moyenne de la carte par manche (le spike a-t-il été posé ?)
Armes : popularité des armes par manche, comparaison entre armes (par exemple, comment s'en tire un Vandal contre un Phantom ?)

Nos mesures de l'état du jeu ne se limitent pas, bien sûr, à ces paramètres, mais ils devraient vous donner une idée du genre de données que nous recherchons.

Équilibrage d'un agent : l'exemple de Sage

Le reste de cet article se concentre sur l'exemple de Sage, un agent qui est passé à la moulinette du nerf plusieurs fois depuis le lancement du jeu en juin dernier. Pourquoi l'avons-nous modifiée tant de fois, et quel impact cela a-t-il eu sur sa force ?

QUEL AGENT EST TROP FORT ?

Il nous faut avant tout établir quel paramètre va nous servir pour évaluer la force d'un agent. Dans League of Legends, par exemple, les paramètres principaux sont la présence d'un champion (s'il est souvent choisi) et son taux de victoire (le pourcentage de parties gagnées avec ce champion). Nous divisons les résultats dans plusieurs tranches de niveaux, du joueur moyen au joueur pro.

Or nous avons tout de suite fait face à un problème quand nous avons tenté d'appliquer cette méthode à VALORANT. Dans notre jeu, un même agent peut se retrouver de chaque côté d'une partie. Ainsi, un agent très fort (donc choisi dans presque toutes les parties) peut se retrouver avec un taux de victoire de 50 % (puisque si une version de lui gagne, sa version adverse perd forcément).

Pour résoudre ce problème, nous avons décidé d'étudier le taux de victoire d'un agent dans les parties où il est unique (c'est-à-dire quand l'équipe adverse ne le compte pas dans ses rangs). De cette façon nous éliminons les parties « à victoire ET défaite garanties » qui résultent des matchs en miroir. Cette méthode comporte son lot de risques (la sélection influe sur les résultats d'une façon que nous n'avons pas le temps de détailler ici), mais nous avons estimé que ce taux de victoires sans miroir était la meilleure façon détournée de saisir la puissance d'un agent du point de vue des données de jeu.

Voici à quoi ressemblaient les taux de victoires sans miroir du mode Compétition du premier patch (1.02). N'oubliez pas que Sage avait déjà été nerfée deux fois avant cela, dans la bêta fermée 0.50 et dans le patch 1.00 de lancement.

Sur cette même période, voici la présence des agents dans le mode Compétition. Une partie de ces résultats s'explique par le fait que Sage était l'un des cinq agents obtenus gratuitement à l'arrivée dans le jeu, mais sa présence restait tout de même très élevée.

POURQUOI UN AGENT EST-IL FORT ?

Les données étaient claires : Sage était hors classement. Le taux de victoire de Sage a provoqué des débats mérités sur la façon de la revoir à la baisse.

Pour l'instant, les données avaient pointé vers qui était trop fort. Nous devions maintenant comprendre pourquoi. Nous avions plusieurs paramètres à notre disposition pour cela :

Vos retours à vous à travers les enquêtes et les conversations directes que nous pouvions avoir.
L'étude de ses forces en fonction du camp (pour comprendre si elle s'exprimait mieux en attaque ou en défense).
L'analyse de sa force et de sa présence en fonction du niveau (y avait-il des différences d'un rang à l'autre ?)
Les données relatives à des compétences en particulier (sa quantité de soin en moyenne par manche, son taux de victoire quand elle utilise son ultime comparé à celui des autres agents quand ils utilisent leur ultime, etc.)

Tous ces paramètres sont là pour nous donner plus de contexte sur quels aspects précis de Sage sont forts, voire trop forts. La difficulté, c'est d'arriver à nerfer un agent sans compromettre son identité et sa place dans VALORANT. Si on retire à chaque agent son point fort, on court le risque de le rendre banal. Armés de ces données, nos concepteurs ont exploré plusieurs options pour rendre Sage moins incontournable, tout en préservant son identité d'excellent soutien/ralentisseur.

Il faut garder à l'esprit que les données ne sont qu'un des outils qui nous permettent d'évaluer la force d'un agent. Une grande partie de la compréhension et de l'affinage des compétences d'un agent vient du vaste savoir et de l'expérience que nos concepteurs apportent avec eux. C'est notre philosophie de game design qui décide au final de la direction prise par le jeu. Nous aurons beau avoir des volumes énormes de données, elles resteront inutiles si nos principes fondamentaux ne demeurent pas au premier rang de notre démarche d'équilibrage.

Finalement, l'équipe a décidé de s'attaquer à la fois à ses compétences de soin et de ralentissement, mais de façon différente. Elle soignerait moins en général (ses compétences mettraient plus de temps à revenir, la quantité de soin serait réduite), tandis que ses compétences de ralentissement seraient plus facilement contrables (l'Orbe barrière se fortifierait plus lentement et l'Orbe de lenteur serait réduit).

OÙ NOUS EN SOMMES AUJOURD'HUI

Alors, après tous ces changements, à quoi ça ressemble ? Voici les performances de Sage en mode Compétition lors du patch 1.11 :

Sage est toujours très forte. En fait, elle n'est jamais descendue du podium, quel que soit le niveau, depuis le lancement. Et elle n'a pas non plus disparu des radars (sa présence tourne autour de 50 %). Mais la perception du public est qu'elle a pris un trop gros coup dans l'aile. 38 % des gens que nous avons interrogés estiment que Sage est trop faible dans le patch 1.11.

ET MAINTENANT

Selon nos données. nous estimons que Sage est dans une position relativement saine. Nous allons cependant devoir affiner un certain nombre de facteurs à l'avenir :

La sortie des agents, des cartes, et comment cela affecte leurs positions de force : avec la sortie de Icebox et (surtout) de Skye, la méta va peut-être évoluer en défaveur de Sage. L'hypothèse est qu'un nouvel agent capable de soigner ses alliés va potentiellement faire de l'ombre à une Sage qui risque de devenir obsolète (attention : nous ne pensons pas que ce soit le cas, mais c'est toujours possible).

Les données de la scène pro : nous sommes toujours en train de parfaire notre compréhension de la méta au niveau professionnel. Nous devons décider de la façon dont les données récoltées au plus haut niveau de VALORANT doivent influencer notre philosophie en termes d'équilibrage. Il existe toujours un fossé énorme entre les données récoltées dans les matchs professionnels qui se jouent en ce moment à travers le monde et les parties au niveau Radiant, que ce soit en termes de présence des agents ou de leur taux de victoire sans miroir.

Perception du public : malgré nos résultats qui semblent indiquer que Sage a trouvé un bon équilibre, les enquêtes nous rapportent de l'insatisfaction côté joueurs. Nous allons devoir surveiller l'évolution de ce sentiment (s'il évolue) sur le temps et prendre des mesures si vous continuez de trouver Sage trop faible.

Vous êtes toujours là ? Merci d'être restés jusqu'au bout de cette petite démonstration de la façon dont nous utilisons les données pour équilibrer VALORANT. Nous espérons avoir clarifié les raisons et la façon dont nous prenons nos décisions (et qui sait ? vous avoir convaincus que Sage n'a pas encore tout donné...)