Notes moyennes et agrégation
Comment est calculée cette note ?
Il s'agit d'une moyenne des notes données par chaque critique au jeu, pondérée et sur 100. Seuls les jeux ayant au moins 3 critiques référencées ont une note moyenne calculée.
Nous avons choisi de pondérer la moyenne (c’est-à-dire que certaines critiques auront un poids plus important dans la note moyenne que d’autres) car il existe des sites internet et des magazines plus influents que d’autres, et qui font plus office de référence dans leur domaine en raison de la qualité de leurs tests et de leur expérience du domaine. La note donnée par un site faisant référence aura ainsi plus de poids dans la moyenne qu’un site peu connu qui vient de se lancer, aussi bon soit-il.
Ainsi, il est normal que la note moyenne ne corresponde pas à la moyenne purement arithmétique des notes référencées.
Qui décide de la hiérarchisation des critiques ?
Nous nous sommes longtemps demandé s’il fallait procéder à des sondages réguliers ou faire ce classement nous-mêmes. Nous avons finalement opté pour la deuxième solution, pour plusieurs raisons : la première est qu’en tant que passionnés et grands consommateurs de produits culturels, nous avons une certaine connaissance de la presse spécialisée et des sites les plus fréquentés ou les plus sérieux. La seconde raison tient au risque de voir les résultats d’un éventuel sondage complètement biaisés par la communauté d’un site qui déciderait de voter massivement pour le faire monter dans la hiérarchie.
Comment sont attribués les coefficients de pondération ?
Ces coefficients sont attribués par notre équipe selon un certain nombre de critères empiriques, mais que nous croyons importants. Ce coefficient de confiance n’évolue pas, sauf si la source augmente ou baisse en qualité. Nous agrégeons les critiques uniquement de sites ayant un certain niveau de qualité.
Voici quelques critères pris en compte lorsque nous attribuons un coefficent de pondération :
- Réputation de la source : la note mise par un vieux site de tests de jeux vidéo, avec beaucoup de visiteurs aura naturellement plus de poids que celle d'un site venant juste de sortir.
- Longueur, construction et style des critiques : une critique détaillée et bien argumentée vaudra plus qu’une critique de 2 lignes.
- Fréquence des critiques : un magazine qui fait des tests sur les sorties toutes les semaines aura plus de poids que celui qui se contente de faire 5 critiques mensuelles. Ce critère est souvent lié au critère de réputation.
Nous ne révélons pas publiquement ces coefficients ni la méthode de calcul, pour plusieurs raisons:
- Il serait absolument impossible de mettre tout le monde d’accord.
- Nous ne souhaitons pas subir de quelconques pressions de la part d’éditeurs ou magazines : ne pas révéler ces coefficients est une manière de se protéger et de vous garantir que nous sommes les seuls à décider, sans aucune intervention extérieure liée à un quelconque intérêt. En effet, nous n’avons aucune hiérarchie publique qualitative entre les sources, et aucun site n’a donc intérêt à nous contacter pour voir son coefficient augmenté.
Evidemment, ce système suppose que vous nous fassiez confiance sur quel site est une référence, quel site est sérieux et quel site l’est moins. Mais si vous surfez sur nos classements, nous sommes certains que vous serez convaincus de la pertinence de nos notes moyennes.
Qui me dit que vous êtes objectif dans cette hiérarchisation ?
Rien. Toutefois, nous sommes complètement indépendants et liés à aucun éditeur ou groupe de presse. Nous n’avons donc aucun intérêt à favoriser un site plutôt qu’un autre. Et ce d’autant plus que ces informations de hiérarchisation n’étant pas communiquées, l’intérêt pour un site d’être prépondérant est nul.
Est-ce le même système de calcul de note moyenne pour tous les produits ?
Oui évidemment, sinon le système de comparaison n’aurait aucun intérêt. La hiérarchisation est la même pour tous les jeux.
Pourquoi ne pas publier votre algorithme de calcul?
Parce que quel que soit ce mode de calcul, et à l’instar de la hiérarchisation des critiques, il trouvera des détracteurs. En outre, il serait alors assez simple de connaître le classement des sites en comparant note moyenne et note de chaque critique, et nous ne voulons pas polémiquer sur ce point.
La note d’un produit a changé depuis ma dernière visite, vous êtes des pourritures capitalistes payées par l’éditeur pour remonter/baisser la note !
Non, c’est juste que depuis votre dernière visite, nous avons référencé d’autres critiques, qui ont donc pesé dans la note moyenne et l’ont fait varier. Jamais nous n’ajouterons ou retirerons une note sous la pression d’un éditeur.
Comment est faite l’agrégation des critiques ?
L’agrégation des critiques sur Criticator est manuelle : notre équipe surfe sur les sites de tests et rentre tout manuellement : fiche, auteur, note, lien vers la critique.
L’auteur
Chaque auteur a sa fiche sur Criticator. S’il n’y a pas d’auteur référencé pour une critique, cela signifie qu’il n’a pas été indiqué sur le site de la critique au moment ou nous l’avons rentré dans notre base.
La note
La source peut avoir des unités de mesure très variables selon la méthode de notation choisie : note sur 10, sur 20, étoiles etc… En application de l’adage qui dit qu’on ne mélange pas des torchons avec des serviettes, notre algorithme, aussi puissant et formidable soit-il, ne sait pas calculer une note moyenne à partir d’unités de mesure si différentes. Nous convertissons donc chaque note donnée par une critique sur 100, afin de garder une unité de comparaison homogène.
Le lien vers la critique
Sous chaque critique agrégée, vous pouvez lirez la critique dans son intégralité, et nous vous encourageons à le faire car une courte citation ne se substituera jamais à un article complet et détaillé.
La plupart des sites internet ont des liens fixes, qui ne bougent pas dans le temps. Ce n’est malheureusement pas le cas de tous et il est possible qu’avec le temps, certains liens permettant de consulter le test ne fonctionnent plus.