Topthemen

Wenig schockierend: Meizu und OnePlus zinken Benchmark-Ergebnisse

AndroidPIT Meizu Pro 6 Plus front
© nextpit

Das Credo "Benchmarks sagen nichts über die Performance eines Smartphones aus" erweist sich einmal mehr als wahr. Smartphones der Hersteller Meizu und OnePlus wurden dabei erwischt, ihre Smartphones nur auf bestimmte Apps hin zu optimieren; darunter insbesonere Benchmark-Apps. Damit suggerieren die Geräte eine Leistung, die sie in der realen Nutzung nicht bieten und ihre Hersteller verwirren Kaufinteressenten.

In Zusammenarbeit mit App-Entwicklern hat sich Steven Zimmerman von den XDA-Developers auf Spurensuche begeben. Mit einer getarnten Version von Geekbench wollte man nachsehen, ob unter anderem das OnePlus 3 oder weitere Smartphones Benchmark-Apps als solche erkennen und ihre Prozessorleistung für die Dauer des Tests unnatürlich aufdrehen.

Leider kamen dieser und weitere Tests beim OnePlus 3 und beim Meizu Pro 6 positiv zurück: Beide Hersteller optimieren insbesondere für Benchmarks. Zum Testzeitpunkt ließ sich dies nicht mit einem Google Pixel, einem Xiaomi Mi Note 2 oder anderen Geärten reproduzieren, heißt es in dem Bericht weiter.

AndroidPIT Meizu Pro 6 Plus front
Das Meizu Pro 6 Plus arbeitet eigentlich ganz sparsam. / © NextPit

Wie funktioniert die Optimierung?

OnePlus hat sogar zugegeben, dass es bestimmte "Mechanismen" gibt, nach denen der Proezssor "aggressiver" arbeitet. Erkennt er also eine bestimmte App, wird der Takt erhöht. Wird sie nicht erkannt, läuft der Prozessor sparsamer und erzielt eine mess- und fühlbar geringere Leistung. OnePlus hat gegenüber den Testern bestätigt, diese Praxis in kommenden Updates wieder zu entfernen.

Interessanterweise waren erste bei den Redaktionen eintreffende Testmuster nicht mit dieser Optimierung versehen. Somit war es weniger wahrscheinlich, dass OnePlus mit dieser Methode erwischt wird. Nach einigen Updates wurde dieses Software-Feature jedoch heimlich aufgespielt. Mögliche Gründe dafür erläutern wir unten.

Warum ist das für den Nutzer schlecht?

Viele potenzielle Käufer schauen genau auf die gemessene Leistung der Smartphones. Diese erfahren sie in großen Vergleichstabellen, die im Netz zu finden sind. Insbesondere die Datenbanken der Benchmark-Hersteller wie Geekbench oder AnTuTu werden dann aufgesucht. Anschließend vergleichen diese Interessenten die Preise der Top-Geräte. Und hier kommen wir schon zur Antwort auf die nächste Frage.

Warum machen die Hersteller das?

OnePlus hat sein Top-Modell schon immer als das günstigste Smartphone mit der schnellsten Hardware angepriesen. Wer Top-Hardware zum Mittelklasse-Preis bietet, fischt die meisten Kunden ab, die nach der zuvor genannten Methode ihr neues Gerät auswählen. Doch der Kampf um die ersten Plätze in den Tabellen wird immer härter.

Die Menge an unterschiedlichen Prozessoren auf dem Smartphone-Markt ist überschaubar. Prinzipiell sind nur zwei relevante Alternativen frei verfügbar; und das sind die jeweils aktuellen Spitzen-Modelle der Serien Qualcomm Snapdragon oder Samsung Exynos. Also liegen die Messergebnisse gleich ausgestatteter Geräte in solchen Vergleichstabellen denkbar nah beieinander.

Top Smartphone 2016 1
Typischer Vergleich der Balkenlänge in Android-Benchmarks. / © AnTuTu

Die Prozessoren lassen sich jedoch anhand von Treibern, also Kernel-Steuerungen oder Governors optimieren. Die neuen Berichte deuten jedoch darauf hin, dass diese Optimierungsmöglichkeiten ausgenutzt wurden, um zu bestimmten Zeitpunkten bessere Ergebnisse in bestimmten Benchmarks zu erzielen. Damit konnte man die Position in den Rankings erhöhen und einen Marketing-Erfolg erzielen. Dass man damit falsche Hoffnungen bei den Käufern schürt, nahm man offenbar billigend in Kauf.

Was Smartphone-Hersteller tun sollten

Es ist theoretisch mögich; und Meizu sowie Samsung tun das schon; dass der Nutzer die Kontrolle über das Leistungsprofil des Smartphones erhält. Der sogenannte Performance- oder Hochleistungs-Modus versetzt den Prozessor in einen weniger auf Sparsamkeit und mehr auf Arbeitstempo optimierten Zustand, der in Spielen für bessere Grafik, mehr FPS oder in Bildbearbeitungs-Apps für kürzere Wartezeiten sorgt.

Portale für Benchmark-Vergleiche sollten in ihren Tabellen markieren, welche Ergebnisse im Performance- und welche im Normal-Modus erstellt wurden. So ist für die Kaufinteressierten ersichtlich, wann sie diese Leistung zu erwarten haben. Und dann kann aus diesem kleinen Skandal ein großer Nutzen für alle User entstehen.

Quelle: XDA-Developers

Die besten Klapp-Smartphones im Test und Vergleich

  Bestes Klapp-Smartphone Beste Android-Alternative Bestes Clamshell-Smartphone Beste Foldable-Alternative Beste Clamshell-Alternative Preis-Tipp Das dünnste Klapp-Smartphone
Produkt
Bild OnePlus Open Product Image Samsung Galaxy Z Fold 5 Product Image Samsung Galaxy Z Flip 5 Product Image Google Pixel Fold Product Image Motorola Razr 40 Ultra Product Image Motorola Razr 40 Product Image Honor Magic V2 Product Image
Test
Test: OnePlus Open
Test: Samsung Galaxy Z Fold 5
Test: Samsung Galaxy Z Flip 5
Test: Google Pixel Fold
Test: Motorola Razr 40 Ultra
Test: Motorola Razr 40
Test: Honor Magic V2
Preis (UVP)
  • 1.799 €
  • ab 1.899 €
  • ab 1.199 €
  • ab 1.899 €
  • 1.199 €
  • 899,99 €
  • 1.999 €
Angebote
Zu den Kommentaren (34)
Eric Ferrari-Herrmann

Eric Ferrari-Herrmann
Senior Editor

Eric ist seit 2014 bei AndroidPIT. Seine alte Tech-Leidenschaft wird allmählich unterwandert von der Liebe zu mehr Nachhaltigkeit, Privatsphäre und dem Wunsch nach einer Zukunft für alle.

Zeige alle Artikel
Hat Dir der Artikel gefallen? Jetzt teilen!
Empfohlene Artikel
Neueste Artikel
Push-Benachrichtigungen Nächster Artikel
34 Kommentare
Neuen Kommentar schreiben:
Alle Änderungen werden gespeichert. Änderungen werden nicht gespeichert!
Neuen Kommentar schreiben:
Alle Änderungen werden gespeichert. Änderungen werden nicht gespeichert!

  • Thom 23
    Thom 04.02.2017 Link zum Kommentar

    Willkommen in der heutigen Zeit! Alltag nennt man das. Leider !


  • Conjo Man 52
    Conjo Man 04.02.2017 Link zum Kommentar

    In der Wirtschaft wird überall "übers Ohr gehauen" mal mehr, mal weniger. Die dokumentierten Ereignisse der Vergangenheit zeigen es auf.
    Also...wen schert es wirklich?!


  • 10
    Martin Reinisch 02.02.2017 Link zum Kommentar

    Schockschwerenot


  • 24
    Chris BS 02.02.2017 Link zum Kommentar

    Also ich habe mal gerade einen Blick auf die Benchmarkergebnisse geworfen. Die Unterschiede lagen bei 1-1,5%. Ok, es wurde optimiert, aber bei 1-1,5% besseren Werten ist das in meinen Augen weder ein Drama noch ein großer Skandal. Eigentlich eher ein Indiz dafür, das es leistungsmäßig selbst mit dem Standardprofil schon fast ausgereizt ist.


  • 90
    Gelöschter Account 02.02.2017 Link zum Kommentar

    Benchmarks wird viel zu viel Bedeutung zugemessen. Deshalb lohnt es sich für die Hersteller, möglichst gut darin abzuschneiden. Für Otto Normal sollte nur entscheidend sein, ob ein Gerät flüssig läuft. EIn Snapdraggon 6xx mit 2 GB als Untergrenze sollte dazu jedem reichen. Wer mehr Ansprüche stellt, geht halt höher. Ob es aber ein 810 oder 820 ist, ist so egal wie 400 oder 500 PS beim Auto. Es nutzt nur dem Ego.


  • 75
    Gelöschter Account 02.02.2017 Link zum Kommentar

    Wer weiß, vielleicht ist das auch bewusst so gemacht worden. Auch negative Werbung ist schlussendlich Werbung.


  • Leon R. 39
    Leon R. 01.02.2017 Link zum Kommentar

    Also mir ist die Performance eines Gerätes mittlerweile echt nicht mehr so wichtig. Klar war es vor ein paar Jahren noch wichtig zu wissen, ob die CPU nun 200Mhz höher taktet oder nicht, einfach weil es damals noch ein riesen Unterschied zu Folge hatte. Aber in Zeiten von genug Leistung halte ich es für wichtiger, dass der Speicher schnell ist, und die Software vernünftig programmiert ist. Das sind heutzutage einfach die größten "Performance"-Lieferanten.
    Nichts desto trotz ist es natürlich nicht okay, wenn man die Leistung die im Benchmark angezeigt bekommt, in keinem anderen Szenario abrufen kann.

    Voltapaletto34Gelöschter AccountGelöschter AccountGelöschter Account


  • 26
    DieselHERZ 01.02.2017 Link zum Kommentar

    Hier wird nicht gezinkt hat ein gewisser Autohersteller auch gesagt!

    aXeL


    • 19
      aXeL 02.02.2017 Link zum Kommentar

      wie das bei einem Volks(wagen) Produkt nur passieren kann...


  • Mr. Android 52
    Mr. Android 01.02.2017 Link zum Kommentar

    Ich glaube mich erinnern zu können, dass HTC die erste Firma war die eine Art Performance Modus inoffiziell ins System eingefügt hatte, danach Samsung und jetzt auch die Chinesen...

    Wenn bald alle abschreiben, dann schreibt keiner in der Smartphone-Klasse ab 😅😂

    Es wäre aber für die Zukunft cool, die Performance wie mit Custom Kernels als User selber einzustellen!!! Mal mehr Power, mal mehr Akkulaufzeit und mal mixed Modus...

    Denn der Akkusparmodus der bisher angewandt wird, ist gefühlt nichts Halbes, nichts Ganzes 😕😬


  • 21
    Frank Black 01.02.2017 Link zum Kommentar

    In einer Zeit, in der jede Hinterhof-Butze ein Smartphone zusammenklöppeln kann, wird es immer schwieriger sich von der Konkurrenz abzugrenzen. Wenn nicht genügend Ressourcen vorhanden sind, dann schummelt man halt ein wenig. Nur blöd, wenn man erwischt wird. Traurig, aber wenig schockierend.


  • Jörg W. 64
    Jörg W. 01.02.2017 Link zum Kommentar

    1. Ist doch wohl klar das die uns veäppeln.
    2.ist mir das echt egal.
    3.Hauptsache das Gerät läuft flüssig und ist für meine Bedürfnisse geeignet.

    aXeL


  • Holger Kropp 34
    Holger Kropp 01.02.2017 Link zum Kommentar

    VW læsst gruessen. Ich glaub ich bin abgestumpft. Ich rechne einfach damit, dass Firmen schummeln. Ein Artikel ueber ehrliche Menschen / Firmen wuerde mich glaub ich mehr erschuettern als die neueste Enthuellung ueber Schummelsoftware, Panamapapire, Lebensmittelskandal etc.


  • 27
    Gelöschter Account 01.02.2017 Link zum Kommentar

    "Viele potenzielle Käufer schauen genau auf die gemessene Leistung der Smartphones"

    eine Hand voll Geeks, aber die breite Masse interessiert das nicht.

    Mr. AndroidFrkGelöschter AccountFred


    • 56
      Gelöschter Account 01.02.2017 Link zum Kommentar

      Das dachten einige Autohersteller wohl auch ;-)

      Tenten


    • 75
      Gelöschter Account 02.02.2017 Link zum Kommentar

      "Viele" ist da ein sehr dehnbarer Begriff. Gemessen an der gesamten Zahl der Käufer wohl gering, aber wenn es sagen wir 200000 sind, die genau auf Benchmarks schauen ist diese Zahl allein auch wieder viel. Und wahrscheinlich 200000 potentiellen Kunden mehr die Geld einbringen.


  • 11
    oyobacke 01.02.2017 Link zum Kommentar

    Viele Nutzer schauen auf diese Werte ganz genau? Hmmm würde behaupten, dass die wenigsten darauf schauen, ich kenne niemanden der das tut, seien es nun Freaks oder unbedarfte Nutzer...

    Marius HoffmannDiDaDoFred


    • 75
      Gelöschter Account 01.02.2017 Link zum Kommentar

      Es sind auch gemessen an der Zahl aller Käufer wohl nicht sehr viele. Aber immerhin ein gewisser Prozentsatz an Käufern die denen Benchmarks wichtig sind oder zumindest in den hohen Werten einen weiteren Kaufgrund sehen. Und schon hat man wieder 3% mehr Smartphones verkauft.


    • 9
      Richard Teytor 05.02.2017 Link zum Kommentar

      Falsche Ecke. Wichtiger ist, dass die Forenbetreiber darauf reinfallen und die Geräte dann an Toppositionen einordnen. Und DANN hat das sehr wohl Einfluss auf das Urteil der potentiellen Käufer. Denn auf die Ranglisten der Fachforen schauen die Kunden fast immer ...


  • 17
    Micha 01.02.2017 Link zum Kommentar

    Verbrecherpack! Das ist arglistige Täuschung!!!

    Shaw La


  • 54
    Gelöschter Account 01.02.2017 Link zum Kommentar

    Das Verhalten von Meizu und OnePlus ist nicht die feine englische Art... 😨 👎😱

    Shaw La


    • 103
      Tenten 01.02.2017 Link zum Kommentar

      Nun, es sind ja auch keine Engländer ;)

      Shaw Laerik peter


  • 2
    Doktore Manschare 01.02.2017 Link zum Kommentar

    Was für ein Artikel. Wo sind Belege? Links?

    Ich finde übrigens dass es ok ist, Smartphones für bestimmte App so zu optimieren. Schließlich will doch die Antutu App auch wissen, wie viel Vollgas so ein Smartphone auch hat.
    Bei Cyanogenmod/lineage gibt es solche (sinnvollen!) Optimierungen schon lange:
    Unter "Accu / Battersaver & performance" kann man Leistungsprofile auswählen sowie eine "automatische Optimierung" wählen. So können zB Benchmarks App die volle leistung abbekommen während ein alternativer Dialer nur minimal Saft bekommt. Finde ich logisch und sinnvoll?!

    Gelöschter AccountSimon S.


    • Simon S. 9
      Simon S. 01.02.2017 Link zum Kommentar

      Die Belege sind im Artikel verlinkt (sieht man nur nicht auf Anhieb).

      Die ursprüngliche Meldung kommt von XDA.

      TentenEric Ferrari-Herrmann


  • Der alte Fischer 36
    Der alte Fischer 01.02.2017 Link zum Kommentar

    War ja klar das die lügen, was anderes können die eh nicht um paar ahnungslosen das Geld aus der Tasche zu ziehen.
    Diese ahnungslosen versuchen uns weiß zu machen wie toll ihre China Phones sind während sie abgehört werden :).

    aXeL


    • 22
      Gelöschter Account 01.02.2017 Link zum Kommentar

      Also mein Bruder hat ein OP 3T und ist bisher sehr zufrieden damit. Habs auch mal ne Weile Ausprobiert: Display ist gut, schöne Farbdarstellung, guter Schwarzwert. Akku ist super, System läuft flüssig, Nougat war schnell da. Kamera ist auch gut und Mobilfunknetze machen auch keine Probleme. Ich kann es nicht direkt mit einem Google Pixel oder einem S7 vergleichen, für mich hat das ganze Gerät einen sehr soliden Eindruck gemacht. Auch wenn der Preis mit 440€ bei weitem nicht mehr so niedrig ist wie das immer angepriesen wird, ist er immernoch weit unter anderen Telefonen.
      Zu dem Thema abhören, Android ist um Google Apps gebaut. Google ist auch nicht gerade für seine zimperlichkeit im Thema persönliche Daten erfassen bekannt.


  • Simon S. 9
    Simon S. 01.02.2017 Link zum Kommentar

    Hier wird nicht gezinkt, hier geht es darum, dass manche Hersteller eben ein besseres automatisches CPU-Management haben als Andere - es ist doch vollkommen legitim, wenn die Leistung nur gebracht wird, wenn sie wirklich gefordert wird. Und wenn sie nun Benchmark-Apps als High-Performance Apps erkennen und dementsprechend steuern, dann sollen sie das doch meinetwegen (wenn juckts?).

    Nochmal: Die Leistung ist trotzdem da - sie muss auch nicht im Ruhezustand, oder bei trivialen Aufgaben konstant abgerufen werden (im Umkehrschluss wäre die Batterie schneller leer, als ihr bis Drei zählen könnt).

    Hotplug und Governor sind da zwei Schlagworte die mir dazu einfallen. Allein der interactive Governor hat viel Optimierungspotential - und wird von vielen Herstellern mit den gängigen Standardeinstellungen betrieben. Solche Feinheiten machen eben einen riesen Unterschied aus. Am besten merkt man das, wenn man sich ein paar hochwertige Custom-Kernels (wohlgemerkt, davon gibt es nicht soviele) anschaut, die eben genau das machen und im Resultat das System um einiges flüssiger machen und/oder Batterie sparen und/oder Wärme reduzieren.

    Wenn jetzt Hersteller hergehen, und dieses Management manuell anpassbar machen, gibt es zwei essentielle Probleme:

    Sie haben doppelte Arbeit, wenn sie mit vordefinierten Profilen arbeiten und müssen diese entsprechend optimieren (so dass den Leuten das Smartphone im schlimmsten Fall nicht das brennen anfängt oder im Bootloop festhängen bleibt).

    Und die zweite Alternative wäre der manuelle Zugriff auf Kernel-Parameter wie Core-Frequenzen und Governor-Einstellungen. Kernel Finetuning ist eine Kunst, die nicht mal von vielen Entwicklern beherscht wird - ich kann mir nicht vorstellen, dass das besonders zielführend wäre. Höchstens über Profil Import/Export und Communityunterstützung.

    So oder so - so einfach wie ihr euch das vorstellt, wird es nicht funktionieren.

    Man denke nur mal an die Ganzen Garantieprobleme die daraus resultieren würden und führe sich das Debakel mit dem Note 7 und den Ganzen daraus resultierenden Shitstorms diesbezüglich (beispielsweise das allgemeine Verbot von Note 2 Geräten bei einer Fluglinie in den USA).

    Klaus RheydtBaki GülerMr. AndroidDan DanielFrkPaul F.Michael SchindlerFredAl Bundy II.Dominik H.


    • Eric Ferrari-Herrmann 44
      Eric Ferrari-Herrmann 01.02.2017 Link zum Kommentar

      Samsung und Meizu haben das Feature "Performance Modus" jetzt in ihren aktuellen Geräten. Da braucht es keinen Konjunktiv.


      • Simon S. 9
        Simon S. 01.02.2017 Link zum Kommentar

        LeEco, Moto, Xiaomi, Asus, ZTE, Google und unzählige Andere Hersteller haben einen solchen Modus allerdings nicht (oder selten im Angebot).

        Eben aus den Oben genannten Gründen. Samsung und Meizu haben wohl schon genügend Arbeit in eben jenen Modus gesteckt (oder werden die Früchte ihrer Saat noch ernten, falls nicht).

        Wobei man hier auch unterstellen könnte "zinkt" dann Samsung nicht auch ... mit ihrem High Performance Modus? Samsung hat ja auch Gaming-Profile, die automatisch aktiviert werden können soweit ich mich Recht entsinne (bin mir allerdings nicht mehr sicher).

        Ciao! ;)


      • 38
        Gelöschter Account 01.02.2017 Link zum Kommentar

        Mindestens LeEco und Xiaomi benötigen diesen Modus nicht - wenn Leistung benötigt wird, ist sie da. Mein Xiaomi Mi5S hat AnTuTu Werte bis zu 153.000 Punkten und ist damit - was deutlich wichtiger ist - in allen Situationen flott unterwegs. Samsung wurde ja bereits vor einiger Zeit beim "Zinken" von Benchmarks erwischt und hat diesen Modus nun hinterhergeschoben.

        Letztlich ist es natürlich eine Entscheidungshilfe, zu wissen, dass das Gerät ausreichend schnell ist und man damit eine Weile in die Zukunft investiert. Mir ist bereits aufgefallen, dass gerade der sichtbare Benchmarkteil von AnTuTu bei einigen auf dem Papier sehr schnellen Geräten phasenweise ruckelig vonstatten geht. Das habe ich beim Mi5S noch nicht erlebt, dort läuft er ohne Stottern ab. Ich teste jeweils nach einem Update die Werte, um einen Vergleich zum letzten Rom zu haben.


    • 31
      Michael P 01.02.2017 Link zum Kommentar

      Ich hätte die News aber so verstanden, dass bei der offiziellen Version von Geekbench der Prozessor "aufgedreht" wurde und somit bessere Meßergebnisse lieferte als bei der getarnten. Die getarnte dürfte aber, damit sie die Prozessorleistung vergleichbar mit der offiziellen Version beurteilen kann, in etwa gleichermaßen "Leistung fordern" wie jene.

      Wenn der Prozessor aber nun trotz in etwa gleichem Ressourcenbedarf nur bei der offiziellen Geekbench-Version "aufgedreht" wurde, jedoch nicht aber bei der getarnten, dann ist eben die Leistungshungrigkeit einer App kein (oder zumindest kein alleiniges) Kriterium dafür, wie stark der Prozessor aufgedreht oder gedrosselt wird. Was dann aber wiederum ein Indiz dafür ist, dass die maximale Leistung nicht gemäß Deiner These "wenn sie gebraucht wird" zu Verfügung gestellt wird (denn "gebraucht" hätte sie auch die getarnte Geekbench-Version).

      Womit dann die Vermutung nahe liegt, dass bei bestimmten bekannten Apps die Leistung ganz gezielt nochmal extra gesteigert wird (zu Lasten von Akkuverbrauch, Wärmeerzeugung, ...) - und da wären sie halt nicht die ersten Hersteller, die ganz speziell bekannten Benchmark-Apps nochmal etwas extra Leistung gönnen... unplausibel ist die These als Folge des Experiments also nicht.

      Mark BirknerMichael K.


  • 17
    Dominik H. 01.02.2017 Link zum Kommentar

    Ich hatte jetzt auf die Information gehofft, wie groß die Unterschiede zwischen den Testergebnissen der getarnten und der ungetarnten Geekbench-Version sind.

    Doktore Manschare

Neuen Kommentar schreiben:
Alle Änderungen werden gespeichert. Änderungen werden nicht gespeichert!
VG Wort Zählerpixel