So testen wir die Leistung von Smartphones
Lange haben wir uns gestritten und gerangelt und nun kamen wir zu einer Einigung: Das sind unsere Testkriterien für die Leistung von Smartphones. Das ist der AndroidPIT-Testparcours.
Bei der Bewertung von Smartphone-Performance haben wir in der Redaktion nun einen Standard geeinigt, den wir künftig bei allen Smartphone-Tests anwenden werden. Dieser setzt sich aus einer Mischung aus synthetischen Prozessor-Benchmarks und praktischen Tests zusammen.
Die synthetischen Benchmarks, die wir verwenden, sind die folgenden Play-Store-Apps:
Wir notieren akribisch die Versionen der Apps und der Smartphone-Firmware. Wenn ein Smartphone eine neue Firmware erhält, testen wir neu.
Die Benchmarks Vellamo Metal, Vellamo Multicore, AnTuTu, Geekbench 3 (beide Ergebnisse) und Basemark (Medium und High) lassen wir je dreimal durchlaufen. So läuft das Smartphone ordentlich heiß. Dann setzt thermische Drosselung ein und genau das wollen wir. Denn so zeigt sich, ob das Smartphone zuverlässig schnell ist.
Wir notieren die durchschnittlichen Ergebnisse und vergleichen das Ergebnis mit dem Referenzgerät. Jenes ist das, was im Schnitt aller Tests das höchste Ergebnis erzielt.
Punktabzug gibt es, wenn das Smartphone sich in der Praxis schlechter verhält als es aus den Benchmarks hervorgeht. Beim Galaxy S6 Edge+ etwa laden Apps super-langsam, weil das RAM-Management sie im Hintergrund ständig schließt. Andere Smartphones wie das Gigaset ME stürzen ständig ab.
Wie testet Ihr Eure Smartphones? Welches sind Eure Tests des Vertrauens? Habt Ihr Verbesserungsvorschläge?
Hallo liebes AndroidPIT Team. Ich will jetzt gar nichts über diesen Beitrag im speziellen schreiben, aber eure Rechtschreibung lässt des öfteren zu wünschen übrig. Ihr seid doch Redakteure oder?
"Bei der Bewertung von Smartphone-Performance haben wir in der Redaktion nun einen Standard geeinigt, den wir..."
Sollte vielleicht heißen:
"Bei der Bewertung von Smartphone-Performance haben wir UNS in der Redaktion nun AUF einen Standard geeinigt, den wir..."
"Wie teste Ihr Eure Smartphones?"
Könnte man auch so schreiben:
"Wie testeT Ihr Eure Smartphones?"
Ich nehme nicht an, dass es sich hier um Redaktuere der klassischen Art handelt.
Benchmarks und und reale Praxisorientierte Erfahrungen.
Siehe altes nexus5. Es steckt die neuen in die Tasche.
Haha, nein
Aber sicher. Dutzende Videos auf YouTube.
Liegt an der Verschlüsselung die am n5 nicht aktiviert ist. n6 n5x 6p n9 sind ab Werk verschlüsselt.
Und wie schneller das alte performt
Im Benchmarks verliert es haushoch.
Haha guckst du.
Benchmarks und reale Power sind zwei verschiedene Dinge.
Ich sehe Benchmarks nicht als sinnlos an, aber sie sind begrenzt in ihrer Aussagekraft und mitunter schwierig zu interpretieren. Aber warum das so ist, können andere viel besser erklären:
http://www.techstage.de/ratgeber/Was-taugen-Benchmarks-Und-wie-wertet-man-Smartphones-2035727.html
dass hier gerne mal ein wenig "geschönigt" wird, war schon aus der PC-Welt bekannt, dass es bei Smartphones nicht unbedingt besser ist, kann man hier (in verschiedenen Artikeln) nachlesen. Die dort angewandten Tricks erinnern schon stark an den "Dieselgate"-Skandal, aber das hat auch schon ein anderer Kommentator geschrieben. So erkennt die Software der Geräte mitunter, dass ein Benchmark gerade läuft:
http://www.techstage.de/thema/Benchmark
Die Praxistests sind allerdings auch nicht unproblematisch, da sie mitunter sehr von subjektiven Eindrücken geprägt sind.
Wann läuft ein Smartphone "flüssig"? Wann ruckelt eine Videowiedergabe, oder besser gesagt, wer nimmt dieses Ruckeln noch war, und wer nicht mehr? Wann ist Audiowiedergabe verzerrt oder zu leise?
Das sind Schwächen der Praxistests, die die Benchmarktests eigentlich vermeiden sollten:
Eine definierte Testumgebung, die reproduzierbare Ergebnisse liefert, unabhängig davon, wer den Test durchführt.
Kameratests sind dabei nochmal ein ganz eigenes Kapitel, ein Faß, dass ich an dieser Stelle lieber erst gar nicht öffne.
Was ich an diesem Artikel sehr vermisse, der die Praxistests nicht weiter beschreibt, was aber eine große Chance der Praxistests wäre:
Würden auch die Praxistests in einer definierten Form immer gleich, und detailliert beschrieben durchgeführt, so könnten die Leser die Tests selber nachvollziehen und überprüfen (soweit die Möglichkeiten dafür vorhanden sind, bei ganz neuen Geräten z.B. eher nicht, wenn diese später aber erworben werden, nachträglich) oder mit anderen Geräten vergleichen. Sie könnten auch selber beurteilen, ob die subjektiven Anteile überhaupt relevant für sie selber sind, so ähnlich wie in dem oben verklinkten Video ja auch zum Ausdruck gebracht wird.
Eine Möglichkeit, die Praxistests für den Leser transparent zu machen wäre, wie weiter unten in den Kommentaren vorgeschlagen, ihre Durchführung in Videos zu dokumentieren.
Möglich, dass die Tests im Lauf der Zeit angepasst werden müssen (die Geräte gewinnen an Performance, Features usw.). Dann werden diese Anpassungen eben durchgeführt und dokumentiert, aber die Vergleichbarkeit mit den älteren Tests geht verloren. Darauf wird hingewiesen, und das wars dann.
Der Charme solcher Praxistests könnte in einem weiteren Schritt sogar darin bestehen, die Community aktiv in die Tests einzubeziehen, ihre Testergebnisse (auch gegen andere Geräte) zu berücksichtigen, und in den Kommentaren Vergleiche mit den AP-Tests zu ermöglichen.
Quelle: www.techstage.de
Es gibt wirklich Momente in denen Kritik wirklich angebracht ist,hier Geschmackssache.
Ich persönlich finde es gut von AP das sie uns mal etwas aufklären wie sie denn zu ihren Ergebnissen kommen,Daumen hoch!
Welche Benchmarks sie verwenden, schreiben sie doch sowieso in jeden Testbericht lang und breit.
Deshalb ist dieser Artikel ziemlich sinnlos ^^
Nimm' dir irgendeinen Testbericht, unter dem Punkt "Performance" steht nichts anderes als plumpe Benchmarkergebnisse
Beide Daumen hoch für die Entscheidung, dass ihr neue Geräte in Zukunft doch testen wollt :)
die Frage ist nur, was ein paar dämliche Benchmarkwerte mit "testen" zu tun hat... Da kann man auch in den nächsten Mediamarkt rennen, 5min mit den Geräten rumspielen und hat mehr in Erfahrung gebracht, als mit den hier zu veröffentlichten "Tests", was nun nicht gerade Sinn der Sache ist...
Da macht sogar Computerbild bessere Smartphone-Tests ^^
Leider hast du die beissende Ironie in meinem Kommentar nicht bemerkt :)
Unverständlich das man den wichtigsten Benchmark für Gamer und die GPU nicht nutzt.
Die machen das doch alle bei den Benchmarks wie VW! :-D
@Matze
VW Abgas Benchmark - daran kann man erkennen, dass Benchmarks nur Schall und Rauch sind. 🏭🎶
Ich bin nur hier um mir die unnötigen Kommentare der Hater durchzulesen.
und um selber einen unnötigen Kommentar dazulassen
Ich auch. Die Hater Kommis sind immer besser wie der eigentliche Artikel...
👆Dappischer geht's wohl nicht?
Kurzum:
Eure "Testverfahren" zur Bestimmung der Performance sind einfach nur jämmerlich.
Der einzige Benchmark, der evtl. im Ansatz einen Nutzen besitzt, ist der GFX-Bench, da dieser neben stumpfen Zahlen auch einen anderen Wert zeigt und das ist die thermische Entwicklung.
Was bringen mir solche sinnfreien Benchmarkwerte, wenn die allgemeine Software nicht stimmt. Das haben Samsung und LG bis letztes Jahr eindrucksvoll gezeigt: Absolute Top-Ergebnisse in den Benchmarks aber die Alltags-Performance war schwach.
Ich meine klar, bei einem einfachen Blog braucht man wirklich keine super-HIgh-End-Equip, wie es irgendwelche Labore besitzen, aber es gibt andere Wege herauszufinden, ob ein Gerät gut läuft...
Zum Beispiel:
Macht Gaming-Videos mit einer kleinen zur Schaustellung der Oberfläche, indem man einfach ein paar Menüs durchklickt, Multitasking und Co. nutzt und zeigt, ob es flüssig läuft, Am besten natürlich mit 60fps gefilmt.
Aber hier einfach nur 5 Benchmarks aufzulisten und das allen ernstes in die "Bewertung von Smartphone-Performance" einfließen zu lassen, ist dumm.
Und wie ich meine Geräte teste? GAR NICHT. Ich kaufe sehe mir ordentliche Reviews an und lese mehrere Tests bevor ich dazu eine Entscheidung fälle. So ein Schrott mit Benchmarks tue ich keinem Gerät an, weil es absolut sinnlos ist. Wenn ich mein Smartphone benutze, sehe ich, ob es flüssig läuft oder nicht, dafür braucht es keine Benchmarks, die meistens nicht einmal im Ansatz widerspiegeln, wie die alltägliche Performance ist.
Vor 1-2 Jahren etwa habe ich mal AnTuTu auf dem LG G2 gehabt. Reines Interesse an der App. Zwei mal laufen lassen. Danach wieder deinstalliert. Seit dem keine Benchmark-Apps mehr benutzt. Finde ich ziemlich langweilig und die Ergebnisse stehen eh in jedem Testbericht.