CHDK Benchmark Testergebnisse zu SD/SDHC Karten

Kamera-Hardware, Selbstbaufernbedienung und sonstige Hardware-Erweiterungen

CHDK Benchmark Testergebnisse zu SD/SDHC Karten

Beitragvon Werner_O » 11.09.2011, 23:07

Hallo zuzusammen,

vor einiger Zeit hatte ich mal den "Benchmark-Test" im CHDK-Menü gefunden (unter > Verschiedenes > Debugging-Einstellungen > Benchmark).
Da ich momentan fünf verschiedene SD/SDHC-Karten von verschiedenen Herstellern und mit unterschiedlichen Geschwindigkeitsklassen für meine SX20 IS habe lag es für mich nahe, diese jetzt endlich einmal mit diesem Tool zu testen. Zudem werden ja auch nur wenige hier ebenfalls soviele verschiedene Speicherkarten für vergleichende Tests zur Verfügung haben.
Diese Tests habe ich heute endlich mal gemacht und ich möchte euch meine Ergebnisse nicht vorenthalten.

Testbedingungen:
1) Kamera: Meine Canon Powershot SX20 IS 1.02d (mindestens Class 4 Karten sind für die laut Handbuch nötig)
2) CHDK: die aktuelle Version CHDK-DE 1.1.0 v799 auf SÄMTLICHEN Speicherkarten
3) Speicherkarten: Fünf Modelle von 2 bis 32 GB in den Geschwindigkeitsklassen Class 4, Class 6 und Class 10:
...a) Samsung 2GB Class4
...b) Panasonic 4GB Class4
...c) extrememory 16GB Class6
...d) Transcend 8GB Class10
...e) extrememory 32GB Class10
4) Testumfang: Jeweils fünf Benchmarks (pro Karte) hintereinander mit anschließender Mittelwert-Bildung je Testergebnis

Die Grundeinstellungen für meine SX20 IS waren dabei jeweils identisch (ISO fest auf "80"; speichere RAW als DNG "an"; erstelle JPGs als "superfine" uvam.). Das war aber nur zur "Sicherheit", weil das bei diesen Benchmarks wahrscheinlich sowieso vollkommen irrelevant ist.

Die Testergebnisse könnt ihr hier von meiner eigenen Homepage als PDF herunterladen.

Kommentation zu diesen Ergebnissen von mir:

1) Test Bildschirm
Hier liegen alle Karten dicht beieinander bei max. 5% Abweichung, was in der Praxis völlig irrelevant ist.
Gewinner ist hier die kleine "Samsung 2GB Class4" - aber nur, weil die bei "Test 3" einen besonderen "Ausrutscher nach oben" hatte.
Das sollte man keinesfalls überbewerten.

2) Test Speicher
Auch hier liegen alle Karten dicht beieinander bei max. 6% Abweichung, was ebenfalls in der Praxis völlig irrelevant ist.
Durch den "Ausrutscher nach oben bei Test 3" liegt auch hier die kleine "Samsung 2GB Class4" offiziell leicht vorne.

3) Test Speicherkarte

Jetzt treten deutliche Differenzen von bis zu 82% auf:

a) Bei "Schreiben RAW" führen die beiden Class10-Karten (zunächst die 8 GB und danach die 32 GB), wobei die Class6-Karte (16 GB) aber fast ebenso schnell wie die 32 GB Karte Class10 ist.
Die beiden Class4-Karten (2 GB und 4 GB) fallen hier deutlich ab.

b) Bei "Schreiben Mem" wird es kurios in der Reihenfolge: Zunächst die 8 GB Class10, dann die 16 GB Class6, dann die 4 GB Class4, erst jetzt die 32 GB Class10 und als Schlußlicht die 2 GB Class4.

c+d) Bei "Schreiben 64k" und "Lesen 64" ändert sich wieder alles: Die bisher so schnelle 8 GB Class10 wird zum "Schlußlicht" aller Karten, und die 16 GB Class6 gewinnt hier mit klarem Vorsprung. Die 32 GB Class10 kann dabei den zweiten Platz behaupten gefolgt von den beiden Class4 Karten mit 2GB und 4GB auf den Rängen 3 und 4.

Mein Fazit:
1) Zunächst muß ich hier erst einmal anmerken, daß die Benchmark-Tests "Bildschirm - Lesen" und "Speicher - Lesen" zumindest an meiner SX20 IS nicht funktionieren und keine Ergebnisse liefern - die sind in meinem PDF mit n/a (not available) bezeichnet. Diesbezüglich sehe ich noch Verbesserungsbedarf durch die CHDK-Entwickler-Familie, weil diese Benchmarks in der bisherigen Form nicht zu gebrauchen sind.
2) Bezüglich "Test Bildschirm" und "Test Speicher" sind die Unterschiede bei den Speicherkarten erwartungsgemäß nur minimal und zu vernachlässigen.
3) Die Testergebnisse bezüglich "Test Speicherkarte" mit den verschiedenen getesteten Speicherkarten sind aber beileibe nicht so, wie ich mir die vorher selber "rein theoretisch" vorgestellt hätte - die Ergebnisse sind für mich schon überraschend!
Insbesondere bei "Schreiben 64k" ist die 16GB Class6 Karte (mit FAT32) um 82% schneller als die 8GB Class10 Karte (mit FAT16), allerdings ist die 32GB Class10 Karte (ebenfalls mit FAT32) auch deutlich langsamer als die 16GB Class6 Karte. Dazu habe ich keine Erklärung.
4) Immerhin machen die beiden Class10 Karten bezüglich "Schreibe RAW/DNG" eine deutlich bessere Figur als die beiden Class4 Karten und ermöglichen in der Praxis schnellere Bildfolgen.

Soviel zunächst von mir zur Info,
liebe Grüße,
Werner_O
Benutzeravatar
Werner_O
CHDK-Legende
CHDK-Legende
 
Beiträge: 1027
Registriert: 22.10.2010, 13:12
Wohnort: Köln
Kamera(s): SX20 1.02d
SX240 1.01a
S100 1.01a
S3 1.00a

Re: CHDK Benchmark Testergebnisse zu SD/SDHC Karten

Beitragvon TobiMarg » 07.10.2011, 14:01

Hallo

Gut, dass es mal so eine Auflistung gibt. Ich werde es mit meiner Karte (Transcend, 16GB class 10) auch einmal testen,
habe aber die Debugging-Sachen nicht mit compilliert und kann es darum nicht gleich machen.

Gruss
TobiMarg
TobiMarg
CHDK-Begeisterter
CHDK-Begeisterter
 
Beiträge: 102
Registriert: 24.09.2011, 15:17
Kamera(s): SX230HS 1.01c

Re: CHDK Benchmark Testergebnisse zu SD/SDHC Karten

Beitragvon Werner_O » 28.07.2013, 17:23

Hallo zusammen,

leider ist dieses Thema hier sehr eingeschlafen, obwohl es durchaus wichtig ist.

Aktuelle neue Tests von mir ergeben dabei signifikante Unterschiede zu alten Tests von mir (siehe erstes Posting) zu neuen Tests mit einem aktuellen CHDK DE 1.2 v2980.
In meiner neuen Testdatei werden die alten Ergebnisse für die "extrememory HYPERPERFORMANCE 32 GB" zwar mit angezeigt (pink hinterlegt) aber nicht für die Auswertung verwertet. Diese alten Ergebnisse sind nur als Info gedacht, um die Benchmark-Unterschiede zwischen diesen CHDK-Versionen aufzuzeigen.

Auch habe ich nicht mehr alle diese SD-Karten aus den früheren Tests sondern kann nur aktuell meine betagte (aus 2011) "extrememory HYPERPERFORMANCE 32 GB" mit einer aktuellen "SanDisk Extreme x300 32 GB" vergleichen.

Die neue "SanDisk Extreme x300 32 GB" punktet hier vor allem bzgl. der Speichergeschwindigkeit zu RAW/DNG-Dateien sowie "Schreiben (Mem; in Kb/s)" und ist dabei etwa doppelt so schnell wie die ältere SDHC-Karte "extrememory HYPERPERFORMANCE 32 GB".
Dieser Unterschied ist beim Aufnehmen mit RAW/DNG bereits deutlich spürbar ohne dafür extra eine Stoppuhr bemühen zu müssen.
Bei den anderen Benchmarkwerten ergeben sich nur kleinere Differenzen, welche für die Praxis im Grunde irrelevant sein sollten.

Wichtig:
Es würde mich freuen, wenn auch andere hier im Forum mal Benchmark-Ergebnisse zu ihren verwendeten SD-Karten veröffentlich würden!
Insbesondere zur doppelt teuren "SanDisk Extreme Pro" wäre ich auf Ergebnisse gespannt um abschätzen zu können, ob sich das Geld dafür auch lohnt.

Info:
Ich bin auch gerne bereit, Tests von anderen hier im Forum mit jeweiligen anderen Speicherkarten in meine Testergebnisdatei mit einfliessen zu lassen.

1. Dafür erwarte ich aber jeweils sämtliche Ergebnisse von sozusagen genormt 6 Benchmarks, um da analog zu meinen eigenen Tests über Mittelwertberechnungen zu aussagekräftigen Werten gelangen zu können.
Die Ergebnisse des ersten Benchmarks sollten dabei komplett ignoriert werden, siehe dazu Seite 76 des aktuellen CHDK-Handbuchs hb12018.pdf.
2. Die insgesamt fünf zu ermittelnden Benchmarks sind deswegen nötig, weil einzelne Test an der identischen Speicherkarte an gleicher Kamera bei gewissen Test zu unterschiedlichen Ergebnissen mit nahezu 100% Differenz bei gewissen Einzelbenchs führen können! Ein einzelner Test ist deshalb quasi wertlos weil nicht wirklich aussagekräftig. Eine Mittelung der Ergebnisse von Benchmark 2 bis 6 ist da deutlich aussagekräftiger.
3. Angesichts der enormen Typenvielfalt angebotener Speicherkarten diverser Hersteller sind unbedingt sehr genaue Angaben zur verwendeten Speicherkarte nötig. Neben dem offiziellen Namen ist eine genaue Typenbezeichnung (etwa "SDSDX-032G-X46" für meine "Sandisk Extreme 300x 32 GB") unerlässlich. Nur so können andere User hier genau etwa bspw. diese SD-Karte im www eindeutig identifizieren.
4. Es sollte zudem nur mit einem halbwegs aktuellen CHDK DE 1.2 getestet werden und die verwendete CHDK Revisionsnummer mit angegeben werden.
5. Auch die verwendete Test-Kamera muss unbedingt mit angegeben werden. Insbesondere die Ergebnisse zu "Test Bildschirm" werden sonst völlig wertlos. Zudem spielen der ältere Digic-4 und der neuere Digic-5 Prozessor da anscheinend in anderen Ligen, was das dann aber nicht der Speicherkarte angelastet darf.

Nachtrag:
bei Chip Online de gibt es übrigens einen interessanten Vergleich zu SDHC-Karten.
Die besten Ergebnisse bekommen dabei sündhaft teure SDHC-Karten und es stellt sich die Frage, inwieweit diese noch wirtschaftlich zu vertreten sind, abhängig von den eigenen Vorlieben.
Meine eigene neue "SanDisk Extreme x300 32 GB" im Preisbereich 30-35 EUR schlägt sich da schon recht wacker und es stellt sich die Frage, welchen Sinn noch deutlich teurere Karten überhaupt machen.
Ich selber war jedenfalls nicht bereit, über 60 EUR in eine SanDisk Extreme Pro mit 32 GB zu investieren.

Hier der link zu neuen Testdatei:
http://www.studio4all.de/foren/chdk/Tes ... sse_01.pdf

Liebe Grüße
Werner_O
Zuletzt geändert von Werner_O am 29.07.2013, 20:01, insgesamt 1-mal geändert.
Benutzeravatar
Werner_O
CHDK-Legende
CHDK-Legende
 
Beiträge: 1027
Registriert: 22.10.2010, 13:12
Wohnort: Köln
Kamera(s): SX20 1.02d
SX240 1.01a
S100 1.01a
S3 1.00a

Re: CHDK Benchmark Testergebnisse zu SD/SDHC Karten

Beitragvon erfi00 » 28.07.2013, 19:13

Hier das Ergebnis des 2. Durchlaufs meiner SX230HS mit einer 16GB Speicherkarte SanDisk Extreme 45 MB/s. Läuft tadellos und gibt es für unter 20EUR zu kaufen. Getestet mit CHDK 1.2 Version 2974.
Gruß Jens
Dateianhänge
SX230HS Benchmark - Sandisk Extreme 45Mbs 16GB.jpg
erfi00
CHDK-Begeisterter
CHDK-Begeisterter
 
Beiträge: 123
Registriert: 18.03.2012, 12:48
Kamera(s): Canon Power Shot SX230HS (100c)


Zurück zu Technik-Ecke

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 10 Gäste

cron