MAKING GAMES
Les Opérations live de Behaviour: La valeur des données
Le magazine allemand Making Games a récemment fait le survol des opérations live chez Behaviour Interactif, et nous republions ces chroniques ici avec permission. Dans ce deuxième article, notre Chef d’équipe de la science des données, Julien Céré, examine les nombreuses façons dont les données influencent les opérations live de Behaviour.
Julien Céré dirige l’équipe de science des données de Behaviour Interactif. Il supervise les experts qui travaillent sur l’intelligence artificielle et les modèles statistiques. Il établit aussi des partenariats avec des chercheurs universitaires. Julien a une formation en écologie et en comportement animal, et poursuit présentement un doctorat où il examine l’évolution du comportement social (p. ex., l’altruisme) au moyen de données issues de jeux vidéo.
Les jeux en tant que services sont de véritables écosystèmes comportant une multitude de variables interconnectées en constante évolution. Comme les équipes des Opérations live ne peuvent être aveugles aux dynamiques en jeu, les enseignements tirés des données peuvent à la fois les aider à réduire au minimum les risques de leurs décisions et leur montrer les occasions qui leur auraient échappées.
À Behaviour, nous traçons une ligne claire entre les décisions éclairées par les données et celles guidées par les données. Les premières laissent tout de même la place à un certain degré de créativité, d’instinct et de risque, tandis que les décisions guidées par les données sont strictement dictées par des chiffres et des indicateurs clés de rendement. Dans les deux cas, toutefois, les équipes des Opérations live doivent pouvoir se fier à des observations précises sur ce qui se passe dans le jeu afin de parvenir à la meilleure décision possible.
Un tableau de bord de données en temps réel est la meilleure manière d’observer un jeu vidéo en ligne. Les tableaux de bord de qualité ne font pas que présenter les données aux équipes, mais leur permettent aussi d’en tirer des conclusions de façon autonome. Pour concevoir et maintenir un réseau de tableaux de bord en temps réel, il faut faire appel à des équipes multidisciplinaires qui regroupent des analystes de données, des développeurs de données, des experts en science des données et des spécialistes en recherche sur les utilisateurs.
La rapidité à laquelle les tableaux de bord sont conçus, créés et mis à jour a une incidence directe sur la vitesse à laquelle les équipes des Opérations live peuvent itérer l’équilibre du jeu et le système économique du jeu. À Behaviour, les équipes des Opérations live ont accès à un vaste éventail de tableaux de bord en temps réel qui sont mis à jour quotidiennement. Ces tableaux de bord couvrent des sujets comme les indicateurs clés de rendement (acquisition, fidélisation, monétisation), les données liées aux mécaniques de jeu (équilibre du jeu, système économique du jeu), les problèmes techniques (bogues et pannes informatiques), et les données marketing. Nous sommes en mesure de surveiller les comportements de jeu sur toutes les plateformes compatibles avec nos titres. Le nombre d’images par seconde, les délais de chargement et la mémoire utilisée sont des mesures que nous suivons de près pour assurer la meilleure expérience possible sur chaque plateforme.
Tout tableau de bord réellement utile répond à une difficulté ou à un besoin rencontré par l’équipe de production ou l’équipe des Opérations live. Nos analystes de données sont des experts pour transformer une question en une série de visualisations et d’analyses explicites. Par exemple, nous avons conçu différents tableaux de bord qui surveillent l’équilibre de jeu, sur le plan des cartes pour les concepteurs de niveaux et sur le plan des personnages pour les concepteurs des mécaniques de jeu. Tous nos tableaux de bord nous permettent d’effectuer une surveillance à long terme et, dans une certaine mesure, de décomposer les données (par plateforme, pays, style de jeu, personnage et carte) afin d’explorer davantage les enseignements possibles.
Chaque découverte peut réorienter notre processus de développement. Les données mènent souvent à des découvertes utiles. Par exemple, nous avons pris conscience que nos quêtes quotidiennes n’étaient pas efficaces. La majorité de nos joueurs ne les menaient pas à terme, ce qui avait des répercussions sur le système économique du jeu. Les joueurs devaient en faire beaucoup trop pour obtenir l’équivalent en ressources qu’offraient nos quêtes quotidiennes, et cela affectait leur expérience globale. Nous avons signalé le problème et notre équipe de conception a rectifié la situation.
Les données sont la matière brute utilisée pour créer un tableau de bord. Les données peuvent être tirées de plusieurs sources, comme les analytiques en jeu, les analytiques hors-jeu, les opinions des utilisateurs et des consommateurs et les données publiques. Chaque nouvelle analytique en jeu est conçue et programmée en même temps que la fonctionnalité à laquelle elle se rattache, et fait l’objet de plusieurs étapes de validation. Cette approche nécessite plus de temps et exige une compréhension claire des besoins futurs en enseignements sur une nouvelle fonctionnalité, mais nous avons constaté que cet investissement assure des données de meilleure qualité (processus d’extraction, de transformation et de chargement des données ou ETC plus facile) et permet aux équipes décisionnelles d’obtenir plus rapidement les informations nécessaires.
L’utilisation d’analytique en jeu est possible qu’avec un pipeline de données robuste et fiable. Par conséquent, nos développeurs de données ont pour objectif de fournir à nos analystes et à nos experts un accès rapide aux données de jeu et d’assurer la qualité de ces données. Ils dirigent également l’anonymisation de nos données, de sorte que nous sommes conformes au RGPD et que nous pouvons conserver plus longtemps nos données pour nos nombreuses analyses qui exigent de revenir en arrière.
Malheureusement, les tableaux de bord ne peuvent pas répondre à chaque question. Les analystes de données et les experts en science des données effectuent souvent des analyses ponctuelles qui génèrent des enseignements ne pouvant pas être obtenus dans nos tableaux de bord. La rapidité des analyses ponctuelles est cruciale pour résoudre les problèmes avant d’en perdre le contrôle. À titre d’exemple, il nous arrive d’ajuster des éléments non équilibrés grâce à des analyses statistiques démontrant leur incidence sur le ratio de victoires.
La perception qu’a notre communauté de nos jeux est surveillée aussi étroitement que les analytiques en jeu. Après chaque mise à jour, nos spécialistes en recherche sur les utilisateurs entrent en contact avec notre communauté de joueurs et obtiennent leur rétroaction par l’entremise de sondages de satisfaction. Ces sondages sont particulièrement populaires dans notre communauté. Nous récoltons habituellement plus de 100 000 réponses. Nous organisons aussi des tests de jeu et des groupes de discussion pour évaluer la satisfaction sur de futurs produits ou unités de contenu téléchargeable, de nouvelles fonctionnalités ou des ajustements de conception live.
Les enjeux de perception et la rétroaction sont traités avec le même sérieux que les pannes techniques. L’échantillonnage de données est essentiel à toute analyse fiable et solide, mais est particulièrement important en ce qui concerne les données qualitatives. Pour certains objectifs (comme les nouveaux personnages), il faut obtenir l’opinion de joueurs chevronnés, tandis que pour d’autres (comme l’image de marque), un regard neuf est préférable. Ainsi, en plus de faire appel à notre propre communauté de joueurs, nous investissons dans un groupe dynamique de testeurs bénévoles (qui ne jouent pas nécessairement à nos jeux) qui peuvent mettre à l’essai une version de prototype ou répondre à un sondage sur un aspect de l’industrie (p. ex. le jeu multiplateforme) dans un délai assez court.
Julien Céré
Chef d’équipe de la Science de Données
