Geschummelt: Samsung & HTC aus Benchmark-Topliste geflogen
Benchmark-Schummel bei Samsung und HTC
Bild: Futuremark, Samsung, HTC
Die Firma Futuremark stellt Benchmark-Programme wie 3DMark und PCMark zur Verfügung,
mit der sich die Leistungsfähigkeit eines Gerätes messen lassen. Anhand der ausgegebenen Scores sollen
sich die verschiedenen Modelle der Hersteller dann beispielsweise untereinander vergleichen lassen. Doch
stehen viele Anwender solchen Tests skeptisch gegenüber, da immer wieder der Verdacht im Raum steht, die großen
Hersteller würden ihre Smartphones und Tablets so optimieren, dass die Geräte den Start eines Benchmark-Tests
erkennen und dann Ressourcen freischalten, die im normalen Betrieb nicht zur Verfügung stehen. Der dadurch entstehende
End-Score liegt weit über dem Wert, den die Geräte eigentlich erzielt hätten. Derartige Manipulationen hat
Futuremark nun aber abgestraft und die betroffenen Geräte aus
seiner Benchmark-Topliste entfernt.
Samsung und HTC: In der Liste ganz nach unten gerutscht
Benchmark-Schummel bei Samsung und HTC
Bild: Futuremark, Samsung, HTC
Unter den Herstellern, die ihre Werte durch kleine Optimierungen verschönert haben, befindet sich laut Futuremark
neben Samsung auch HTC. Betroffen sind dabei vor allem die Topmodelle,
die sich nun am unteren Ende der Liste befinden und statt eines Test-Scores lediglich noch den Vermerk "Delisted"
anzeigen. Bei Samsung wurde im Detail das Tablet Samsung Galaxy Note 10.1 2014 Edition sowohl in der
Variante mit Exynos- als auch mit Snapdragon-Prozessor entfernt, Ebenfalls getroffen hat es das Galaxy Note 3
mit Exynos- sowie Snapdragon-Prozessor. Bei HTC wurden das HTC One, das HTC One Max sowie das HTC One Mini
abgestraft.
Dass gerade die genannten Modelle von Samsung und HTC aus der Liste geworfen wurden, überrascht nicht besonders. Denn bereits im April fiel uns auf, das das HTC One in einer Vergleichstabelle von Futuremark mit einem deutlich höheren Score aufgeführt war als wir im Benchmark-Test unseres Testgerätes erreichen konnten. Auch Samsung machte bereits vor einigen Monaten mit Berichten über mögliche Manipulationen von sich Reden. So berichtete AnandTech, dass beim aktuellen Flaggschiff Galaxy S4 während eines Benchmark-Tests ein höherer GPU- und CPU-Takt abgerufen wurde als im normalen Betrieb. Die dadurch entstandenen Endwert waren für einen subjektiven Vergleich mit anderen Geräten daher nicht mehr zu gebrauchen.
Ähnlich wie bei Samsung scheinen auch andere Hersteller vorgegangen zu sein. Sobald das Betriebssystem, dass die Hersteller in der Regel mit ihrer eigenen Oberfläche versehen haben, erkennt, dass eine Benchmark-Anwendung gestartet wurde, wird beispielsweise ein höherer Takt freigegeben oder einige während des Tests nicht gebrauchte Funktionen wie Grafik-Optimierungen abgeschaltet, die im Regelbetrieb aber hohe Ansprüche an das System stellen.
teltarif.de und Benchmark-Scores
teltarif.de verwendet in den Tests von Smartphones und Tablets auch immer mal wieder Benchmark-Werte, um die jeweils getesteten Geräte einordnen oder miteinander vergleichen zu können. Dabei vergleichen wir aber stets nur die Scores, die wir innerhalb der Tests selbst ermittelt haben und ziehen diese auch nur als Referenz für deren Multimedia-Leistung heran. Hier sind beispielsweise die Frames per Second (FPS), also die Bilder, die pro Sekunde angezeigt werden, für eine Einschätzung wichtig. Mehr Gewicht legen wir jedoch auf die eigentliche Handhabung sowie die Reaktionen des Systems und der Hardware, die wir während praktischer Anwendungen beobachten konnten.