Intervju

Metacritic/Adams Greenwood-Ericksen

– Problemet er ikke hva Metacritic gjør, men hva folk gjør med dataene de formidler

Vi har snakket med en akademiker som forsker på Metacritic og Gamerankings.

PARIS (Gamer.no) Metaanmeldelser av spill er både et spennende og kontroversielt tema. Nettsteder som samler anmeldelseskarakterer fra andre nettsteder og regner ut et totaltsnitt av dem, samler mange ulike perspektiver og meninger i en sentral database.

På den annen side har metaanmeldelser også hatt en markant påvirkning på spillbransjen. Spillveteran Warren Spector sa i 2013 at Metacritic belønner spill som er konvensjonelle og lettforståelige, og at Metacritic burde være irrelevant. Vi har også sett at utviklere fratas prestasjonsbonuser grunnet lav «metascore».

De ansatte i Obsidian Entertainment fikk ingen prestasjonsbonus fordi Fallout: New Vegas lå ett poeng for lavt på Metacritic.

Forskning på fritiden

Spørsmål vedrørende hvordan metaanmeldelser fungerer og hvorfor de har blitt så viktige i spillbransjen ble utgangspunktet for et forskningsprosjekt for spillforsker Adams Greenwood-Ericksen:

– Jeg ble interessert i metaanmeldelser fordi jeg så at mange spillfolk hadde veldig sterke meninger om hvordan Metacritic og lignende nettsteder påvirker bransjen. Jeg var ikke direkte enig med dem, men jeg var interessert i å finne ut av om de hadde rett. Dette virket veldig viktig. Så jeg tenkte det kunne være lurt å ta en titt, forteller han Gamer.no under Game Connection Europe i Paris.

Mannen i jeans og skinnjakke som sitter foran meg står i sterk kontrast til den dresskledde professoren som holdt foredrag om Metacritic dagen før. Selv om bekledningen er mer avslappet er den akademiske entusiasmen likevel til stedet idet jeg ber ham fortelle videre om hvordan prosjektet startet:

– Det ble veldig fort klart for meg at Metacritic er en skattekiste full av informasjon. Plutselig hadde jeg enorme mengder data jeg kunne leke med, så jeg spurte de som virkelig fulgte med på metaanmeldelser og Metacritic hva som var viktig for dem og tok utgangspunkt i det. Jeg bør påpeke at denne forskningen er noe jeg gjør fordi jeg synes det er interessant og moro. Prosjektet hadde også ikke kommet så langt som det har om det ikke hadde vært for de to studentene som jobber for meg som forskningsassistenter.

Hvordan metaanmeldelser fungerer og hvorfor de har blitt så viktige i spillbransjen ble utgangspunktet for forskningsprosjektet til Adams Greenwood-Ericksen.
Bungie tapte visstnok milioner på Destinys forholdsvis lave metascore.
Activision Blizzard

Flere måter å gå fram

I løpet av forskningsprosjektet kom det frem at de to største nettstedene for metaanmeldelser, Gamerankings og Metacritic, skaper sine rangeringer på forskjellige måter. Gamerankings samler inn karakterer fra alle de kjenner til og regner ut et gjennomsnitt av disse. Alle anmeldelser går inn i systemet og alle vektlegges likt. Metacritic på sin side operer med en algoritme som vektlegger visse nettsteder tyngre enn andre.

Greenwood-Ericksen påpeker at ingen av de to tilnærmingene er perfekte og at begge har sine styrker og svakheter:

– Gamerankings sier implisitt at alle ideer er av samme kvalitet. Det er en fin tanke, men litt for optimistisk. En filmkritiker for en lokalavis som innimellom skriver om et spill kan potensielt ikke ha like mye kunnskap i bakhånd som eksempelvis Jeff Gerstmann i Giant Bomb. Noen nettsteder har kanskje også et sterkt økonomisk forhold til en distributør eller utgiver.

– Metacritics system fjerner disse problemene, men har også sine ulemper. Noen må bestemme hvilke meninger som er mer verdt enn andre, og herfra kommer mye av angsten om gyldigheten i en metascore. Ingen vet hvordan de bestemmer hvem som «veier» mer enn andre.

Hvorfor bestige et fjell?

Hvorfor er denne forskningen viktig for deg?

– Akkurat for meg ble det viktig fordi metaanmeldelser fremstod som et mysterium og jeg hadde lyst til å finne ut av hvordan de fungerer. Det er litt sånn George Mallory-forklaringen: «Hvorfor bestiger man et fjell? Fordi det er der», ler Greenwood-Ericksen og fortsetter:

– Mange andre har en langt mer personlig interesse i dette og at det er mange sterke meninger rundt metaanmeldelser. Jeg har ingen sterke meninger om dem fra eller til. For meg er dette ren akademisk utfoldelse. Jeg kan sette pris på mange av fordelene et rangeringssystem som dette kan han når det gjelder hvordan det påvirker forbrukere og bransjen, samtidig som jeg også anerkjenner de åpenbare ulempene. Akkurat de nyansene tror jeg ofte går over hodene på de fleste.

Ville du være med på utviklingen av BioShock Infinite måtte du ha arbeidet på et spill med en metascore på minst 85.

– Denne forskningen er også viktig fordi metaanmeldelser generelt, og Metacritic spesielt, påvirker så mange. Folks levebrød står på spill. Det er ikke nødvendigvis en dårlig ting. Viktige og store økonomiske beslutninger blir ofte gjør basert på data bare en liten del av oss forstår. Det virkelige problemet er ikke hva Metacritic gjør, men hva folk gjør med dataene Metacritic formidler. Hvis du gjør beslutninger basert på data og ikke tar høyde for en del andre faktorer vil du ende opp med å gjøre noen dårlige beslutninger, forteller han i en alvorlig tone.

Fordeler og ulemper

Selv om metaanmeldelser kan gi mange en dårlig smak i munnen er det likevel viktig å påpeke at de også har visse fordeler, mener Greenwood-Ericksen. Nettsteder som Metacritic og Gamesrankings fører til at all informasjonen en gjennomsnittlig forbruker trenger er lett tilgjengelig på ett sted:

– Hadde vi ikke hatt Metacritic nå hadde vi likevel funnet opp noe som ligner fordi det er så mye informasjon om spill der ute. I teorien er en metaanmeldelse et verdifullt verktøy for de som ikke har mye tid til å lese om spill. De fleste har ikke det. Er du en del av spillbransjen får du betalt for å holde deg informert, men om du har en 9-17-jobb og en familie å ta deg av vil du heller bruke tiden din på å spille et spill enn å gjøre research. Å gi folk verktøy som enkelt lar dem bestemme om et spill er passende for dem er veldig viktig.

Telltale Games viste seg å ha jukset litt med brukeranmeldelsene av deres Jurassic Park-spill på Metacritic.

─ Når det er sagt er jeg ikke sikker på om det nåværende systemet er den beste måten å gjøre det på. Det finnes nok bedre måter, med et større fokus på individet. Alles spillpreferanser er forskjellige. De spillene med en høy poengkarakter er ikke nødvendigvis de beste for noen. Det spillet du elsker kan kjede meg halvt ihjel.

Én stor ulempe er at detaljer og nyanser faller bort til fordel for at informasjonen skal gjøres lett tilgjenglig og fordøyelig. Kompleksiteten i individuelle meninger forsvinner. Et tallbasert system som metaanmeldelser kan i tillegg påvirkes av utenforstående krefter. Det kan også være problematisk at kvalitative meninger blir omgjort til kvantitative poengsummer. At Metacritic er nyttig for mange mennesker er absolutt positivt, men det er også et produkt med negative konsekvenser:

– Jeg tror Metacritic genuint forsøker å levere et produkt som er verdifullt for deres brukere. På den annen side har systemet mange negative sider ved seg. Det største problemet, som overraskende få snakker om, er manipuleringen av poengsummer. Utgivere har fortalt meg at det kan være enkelt å manipulere en metascore og at de har retningslinjer for hvordan det kan gjøres. Hvis noen anmelderkopier går tapt i posten eller sendes ut sent kan man potensielt få en langt høyere poengkarakter tidlig i anmeldersyklusen.

–Hvis det allerede har blitt publisert anmeldelser av et spill tror jeg det er veldig vanskelig for en spilljournalist å ikke la sin mening bli påvirket av hva som allerede har blitt sagt. Jeg sier ikke at en journalist ikke vil forsøke å være uavhengig, men det er også sånn vi mennesker fungerer. Vi lar oss påvirke. Disse grepene gjelder ikke bare for Metacritic, men også andre nettsteder som for eksempel Gamerankings. Metacritic og Gamerankings er ikke ansvarlige for at dette skjer, men de er også til en viss grad en del av prosessen.

Gamer.nos reise til Game Connection og Paris Game Week ble betalt av messearrangøren.

Siste fra forsiden