Waarom DxOMark niet de heilige graal van mobiele cameratests is
Een hogere DxOMark-score duidt op een betere smartphonecamera…toch? Hier zijn drie redenen waarom je de score beter met een korreltje zout neemt.
Twee weken geleden lichtte Huawei het doek van de P30 Pro. Meteen sneeuwde het nieuwsberichten op allerlei media wereldwijd dat deze smartphone beschikt over de beste camera, hoewel er nog haast geen recensies verschenen waren. Reden? De P30 Pro behaalde met 109 punten de hoogste DxOMark-score ooit. Eerder konden onder meer de P20 Pro, Pixel 3 en HTC U11 dezelfde eer opstrijken. Maar wat is DxOMark eigenlijk? Waarom dragen fabrikanten en media hun scores zo hoog in het vaandel?
Een dag in het leven van een tech-blogger: de voorstelling van de Huawei P30 Pro
De DxOMark-score is de gouden standaard voor beeldkwaliteit. Niet alleen smartphonecamera’s, maar ook systeemcamera’s, DSLR’s en lenzen worden aan de strenge tests onderworpen. DxO Labs – de officiële naam van het Franse bedrijf – tracht de onderzoeken zo wetenschappelijk mogelijk uit te voeren. Daarvoor hebben ze allerlei indoor- en outdoor fotoscenario’s, zodat ze met elke camera dezelfde foto kunnen recreëren om herhaalbare resultaten te garanderen. Alle foto’s worden genomen in de automatische modus en nadien beoordeeld door een paneel van ‘imaging experts’, zo luidt het op hun website.
Met andere woorden, DxO Labs belooft een objectief oordeel te vellen over de beeldkwaliteit van een camera. Wie hoog scoort, kan de score dragen als een soort ‘badge of honour’. Maar is die score wel zo objectief als ze doet uitschijnen? Hier zijn drie redenen om de DxOMark-score in twijfel te trekken.
#1 – Eén cijfer vertelt niet het hele verhaal
Wat maakt een camera goed, of een foto mooi? Er zijn veel factoren die een rol spelen. Waar de ene camera betere resultaten voorlegt in lichtarme omstandigheden, zorgt een ander voor honingzachte bokeh in portretfoto’s. DxO Labs houdt hier rekening mee en deelt aan elke camera subscores uit. Denk daarbij aan (onder meer) kleurenaccuraatheid, autofocus en lichtsterkte van een camera, maar ook aan flash-kwaliteit, zoom en bokeh. Daarnaast wordt iedere camera beoordeeld op zijn videocapaciteiten.
Om die subscores te raadplegen, moet je surfen naar één van de cameratests op de website van DxOMark. En daar wringt het schoentje. Want hoewel DxOLabs maar liefst 16 subscores uitdeelt, wordt enkel het eindcijfer gedeeld op (social) media. En die score vertelt niet het hele verhaal. Een camera met een hogere score, is niet meteen een betere camera voor iedereen. Een truckchauffeur die vaak in nachtshifts werkt, hecht ongetwijfeld meer waarde aan de nachtmodus van een camera, dan hoe goed zijn bokeh is.
Vergis je trouwens niet: de DxOMark-score is géén gemiddelde. Het Franse testbureau bepaalt zelf welke criteria het meest doorwegen. Zo koos DxO Labs ervoor dat de flash, zoom en bokeh de minst belangrijke criteria zijn om de beeldkwaliteit van een camera te beoordelen. Ook de videocapaciteiten wegen veel minder door dan zijn fotokwaliteiten. In zekere zin voert DxO Labs dus een subjectief algoritme uit om zijn eindscores te destilleren.
#2 – Vele features worden niet in rekening genomen
Fan van ultra slowmotion-video’s? De nachtmodus op de P30 Pro? Triple shot op de LG V40? Helaas, DxO Labs houdt geen rekening met al deze camerasnufjes. Alle foto’s worden genomen in de automatische modus in de camera-app. Hoe uitgebreid de camera-software ook is, speelt absoluut geen rol.
De meeste camera-apps zijn overigens uitgerust met een resem aan cameramodi (zoals portret- en sportmodus) om een foto een andere look & feel te geven, in een bepaald scenario. Noch die modi, noch de gebruiksvriendelijkheid van de app zijn een testcriterium.
We kunnen daarom de vraag stellen hoe toekomstbestendig de tests zijn bij DxO Labs, dat al sinds 2011 smartphones op de pijnbank legt. In september 2017 voerde DxOLabs wel al een grondige update door aan zijn onderzoeksmethode. Sindsdien voert het twee nieuwe tests uit: een voor de zoom-prestaties van een smartphonecamera, een om de diepte-effecten te onderzoeken (zoals autofocus-snelheid en bokeh).
#3 – Er is een belangenconflict
Disclaimer: ik twijfel er niet aan dat DxO Labs zijn tests in eer en geweten uitvoert. Het Franse bedrijf is transparant in hoe ze te werk gaan, en het is duidelijk dat ze veel waarde hechten aan hun wetenschappelijke testmethodes.
Desondanks is er sprake van een ernstige conflict of interest. DxO Labs is immers niet enkel een onderzoekslabo, maar ook (en vooral) een consultancy bedrijf. Daar scheppen ze het meest poen mee. Met andere woorden, fabrikanten kloppen aan om advies en testmateriaal, of kunnen hun camera laten kalibreren, opdat ze een hogere DxOMark-score kunnen bemachtigen.
Dat heeft een aantal gevolgen. Kunnen we nog spreken van objectieve testresultaten? Bovendien kan DxOMark zo een rem zijn op de vooruitgang en innovatie van nieuwe camerasnufjes. Waarom zou een fabrikant inspelen op boterzachte bokeh of een kwalitatieve flash, als die criteria toch nauwelijks doorwegen in de tests van DxO Labs?
Conclusie: is DxOMark een betrouwbare bron?
Ja en nee. Wie een volledige, objectieve blik wil op de kwaliteit van smartphonecamera’s, komt bedrogen uit. Maar dat betekent niet dat DxOMark geen prima werk aflevert. Hun onderzoek vormt uitstekend bronmateriaal om na te kijken hoe goed een smartphone scoort op bepaalde criteria. Onze boodschap is dus om zich niet blind te staren op het eindcijfer. Wie op zoek is naar een smartphone met een goede camera, kijkt best verder dan een oppervlakkig cijfer.
