Topthemen

Benchmarks: Grundlage für Vergleichstests mit Lücken zum Schummeln

wikipit benchmarks2
© nextpit

Die Technikwelt entwickelt sich schnell, da braucht es natürlich Leistungsmaßstäbe, denn die reinen technischen Daten reichen zur Bewertung eines Geräts lange nicht mehr aus. Aus diesem Grund wurden die sogenannten Benchmarks entwickelt. Aber warum werden sie verwendet? Und geben sie zuverlässig Auskunft über die Leistung eines Geräts?

Springt direkt zum Abschnitt:

Was sind diese Benchmarks überhaupt?

Benchmarks sind Programme, die entwickelt wurden, um CPUs, GPUs, Speicher oder praktisch jeden Aspekt eines Smartphones oder eines Computers zu belasten und deren Leistung zu messen. Am Ende gibt es ein Resultat in Form einer Punktzahl, einer Zeit, einer Geschwindigkeit oder ähnliches. Es gibt auch sehr spezielle Tests, etwa von DxOMark für die Auswertung von Kamera-Fokuszeiten oder Testprogramme zur Bestimmung der Geschwindigkeit des Internet-Netzwerks. Diese fallen ebenfalls unter die Kategorie der Benchmarks. Bei uns kommen natürlich vor allem Smartphone-Benchmarks zu Einsatz, die wir nutzen, um Smartphones für unsere Performance-Tests zu bewerten.

Wir können Benchmarks in zwei grobe Kategorien einteilen:

  • Synthetische Benchmarks
  • Benchmarks aus dem Alltag

Die ersten und am häufigsten genutzten Benchmarks simulieren eine extreme Arbeitsbelastung und fordern die getesteten Komponenten mit ihrer vollen Kapazität. Damit können wir die maximale Leistung eines Gerätes feststellen.

Alltags-Benchmarks aus der realen Welt simulieren realistische (wenn auch immer noch sehr anspruchsvolle) Arbeitsbelastungen und sind nützlicher bei der Beurteilung der tatsächlichen Fähigkeiten eines Geräts für tägliche Zwecke und Anwendungen.

honor geekbench
Die Benchmark-App von Geekbench bewertet die CPU-Leistung eines Smartphones. / © NextPit

Was ist der Sinn von Benchmarks?

Benchmark-Anwendungen sind speziell für einen bestimmten Zweck konzipiert: die Leistung des Geräts, auf dem sie ausgeführt werden, zu messen, um sie mit anderen Modellen und deren Messwerten zu vergleichen. Das Wort Benchmark kann man als vergleichende Analyse übersetzen.

Da die Komplexität elektronischer Geräte zunimmt, wird es immer schwieriger, ihre Leistung anhand der Daten auf dem Papier zu vergleichen. Deshalb wurden und werden laufend neue Messprogramme entwickelt.

AndroidPIT AnTuTu benchmark nexus 5x
AnTuTu bewertet hingegen die Gesamtleistung eines Smartphones. / © NextPit

Können wir Benchmarks vertrauen?

Theoretisch ja. Die durch Benchmarks berechneten Werte werden immer durch die Durchführung der gleichen Operationen an jeder Maschine ermittelt, so dass es keinen Unterschied in der Behandlung der getesteten Geräte gibt. Ihr müsst jedoch auf den Zustand des Gerätes achten, bevor der Benchmark ausgeführt wird.

Ein praktisches Beispiel: Wenn auf einem Smartphone Apps während der Benchmark-Ausführung im Hintergrund laufen, ist das Ergebnis natürlich anders als auf einem zweiten Smartphone, auf dem einzig und allein der Smartphone-Benchmark läuft, ohne dass andere Apps geöffnet sind. Dies liegt daran, dass einige der Ressourcen des getesteten Geräts von anderen Programmen oder Anwendungen verwendet werden, was sich auf das Endergebnis auswirkt.

AndroidPIT qualcomm snapdragon 835 benchmark event 093544
3DMark testet die GPU-Leistung des Smartphones. / © NextPit

Es wurden aber auch schon Hersteller bei faulen Tricks erwischt. So wurde etwa festgestellt, dass OnePlus die Leistung seiner Smartphones erhöht, während die beliebtesten und meistgenutzten Android-Benchmarks ausgeführt werden. Durch die Erkennung der laufenden Anwendung können bestimmte Hersteller spezielle Verfahren einführen, um die Leistung der Hardware zu verbessern und höhere Werte zu erzielen. Wer genau weiß, wie diese Tests funktionieren, kann sein Produkt so optimieren, dass es bei Benchmarks hohe Werte erzielt werden, was sich jedoch nicht immer in einer besseren Leistung im wirklichen Leben niederschlägt.

Betrachtet Benchmark-Werte eher als Fingerzeig denn als Fakt

Benchmarks sind nur dann wirklich nützlich, wenn alle zum Vergleich verwendeten Geräte gleich behandelt werden. Wenn alle Tests unter den gleichen Bedingungen durchgeführt werden, kann man zumindest auf dem Papier beurteilen, welches Produkt objektiv besser ist. Warum nur “auf dem Papier”? Benchmarks lassen sich nicht nur leicht beeinflussen, sondern spiegeln in der Regel auch nicht den Einsatz eines Gerätes in der Praxis wider.

Manchmal können Smartphones erstaunliche Benchmark-Ergebnisse erzielen, aber keine akzeptable Performance im Alltag bieten. Denkt nur an Samsungs Galaxy S-Reihe, die das höchste Niveau an Hardware hat, aber manchmal wegen ihrer Software nicht so flüssig und reaktionsschnell ist wie Smartphones mit auf dem Papier geringerer Leistung wie Google's Pixel-Geräte.

Verlasst Ihr Euch bei der Auswahl eines neuen Geräts auf Benchmarks?

Das aktuelle iPhone-Line-up 2024

  Pro-Max-Modell 2023 Pro-Modell 2023 Plus-Modell 2023 Basismodell 2023 Plus-Modell 2022 Basismodell 2022 Basismodell 2021 SE-Modell
Produkt
Bild Apple iPhone 15 Pro Max Product Image Apple iPhone 15 Pro Product Image Apple iPhone 15 Plus Product Image Apple iPhone 15 Product Image Apple iPhone 14 Plus Product Image Apple iPhone 14 Product Image Apple iPhone 13 Product Image Apple iPhone SE (2022) Product Image
Bewertung
Zum Test: Apple iPhone 15 Pro Max
Zum Test: Apple iPhone 15 Pro
Zum Test: Apple iPhone 15 Plus
Zum Test: Apple iPhone 15
Zum Test: Apple iPhone 14 Plus
Zum Test: Apple iPhone 14
Zum Test: Apple iPhone 13
Zum Test: Apple iPhone SE (2022)
Preis (UVP)
  • ab 1.449 €
  • ab 1.299 €
  • ab 1.099 €
  • ab 949 €
  • ab 949 €
  • ab 849 €
  • ab 729 €
  • ab 529 €
Offers*

Mehr zum Thema:

Zu den Kommentaren (3)
Hat Dir der Artikel gefallen? Jetzt teilen!
Empfohlene Artikel
Neueste Artikel
Push-Benachrichtigungen Nächster Artikel
3 Kommentare
Neuen Kommentar schreiben:
Alle Änderungen werden gespeichert. Änderungen werden nicht gespeichert!
Neuen Kommentar schreiben:
Alle Änderungen werden gespeichert. Änderungen werden nicht gespeichert!

  • Daniel 35
    Daniel 04.08.2018 Link zum Kommentar

    Der Nutzer muss mit der Performance zufrieden sein. Es ist egal, ob mein Gerät 10.000 oder 12.000 Punkte schafft. Es muss in der Praxis überzeugen


  • C. F. 79
    C. F.
    • Admin
    04.08.2018 Link zum Kommentar

    "Die Technikwelt entwickelt sich schnell, da braucht es natürlich Leistungsmaßstäbe, denn die reinen technischen Daten reichen zur Bewertung eines Geräts lange nicht mehr aus. "

    Wofür benötige ich als daily-user diese Leistung überhaupt, die ich so nie abrufen werde? Solche benchmark-Tests machen für mich erst dann Sinn, wenn mein Gerät durch alltägliche Nutzung an die Obergrenze der Leistung kommt und ich mich nach Geräten umschauen muss, denen ich mehr abverlangen kann. Das ist aber im Moment wohl seltenst der Fall. Selbst zu Zeiten meines Sony Xperia Z3c waren die schnellsten Prozessorstufen kaum benutzt, eher das untere Viertel. Und da habe ich auch Videos gestreamt, Mails gelesen und beantwortet, RSS feeds gelesen, Bilder auf mein NAS hochgeladen, auf Webseiten gelesen oder in meinen Messengern geschrieben. Ach ja: telefoniert habe ich auch. Ein Top-Smartphone hat heutzutage mehr Leistung als das ganze Rechenzentrum der NASA für die erste Mondlandung.


  • Tim 121
    Tim 04.08.2018 Link zum Kommentar

    Ich fände gerade bei diesen ganzen Benchmark-Vergleichen mal schön, wenn nicht immer nur die gleichen Benchmarks genutzt werden. Egal wo, es werden im wesentlichen immer nur GeekBench, AnTuTu, 3DMark und in gewissermaßen auch DxO genutzt... Gerade GeekBench ist eigentlich so sinnlos und langweilig. Es kommen eh 90% der Flaggschiffe mit exakt dem gleichen Prozessor und kommen dementsprechend auf identische Werte (wenn mal ein Smartphone 100 Punkte weniger hat, ist es nicht langsamer - das ist eine gewisse Toleranz...)

    Wenn man schon unbedingt Benchmarks machen muss, fände ich Benchmarks praktischer, die bspw die Lese- und Schreibgeschw. des Speichers messen. Oder wie schnell eine SD beschrieben werden kann. Nur weil auf der SD steht, sie kann bis zu 90MB/s lesen, stimmt das noch lange nicht mit der Realität überein, da oftmals der Controller den Flaschenhals darstellt.

    Oder wie wäre es generell mal mit Angaben wie „Wie viel Speicher steht direkt nach dem Auspacken zur Verfügung“? Da kann es gigantische Unterschiede geben und wäre durchaus hilfreich zu wissen. Die Angaben der Hersteller mit 32, 64, 128 GB etc. sind nur die halbe Miete ^^ Kann man ja auch als „Benchmark“ zählen

    Oliver FixElvedin ČolakovićGianluca Di Maggio

Neuen Kommentar schreiben:
Alle Änderungen werden gespeichert. Änderungen werden nicht gespeichert!
VG Wort Zählerpixel