RAW und badpixel.bin

Benutzung und Hintergrundinformationen von CHDK-RAW/DNG-Dateien

RAW und badpixel.bin

Beitragvon claus47 » 28.01.2013, 19:05

Hallo Freunde,
ich bin neu hier. Zuerst einmal, danke! Der Spitzohrige hätte sicher gesagt: "Faszinierend". Dem schließe ich mich an.
Meine Daten: Powershot SX260 HS
CHDK-Version: CHDK_DE_sx260hs-100c-1.2.0_ALPHA_rev_2519
Läuft einwandfrei. Ich mache z.B. gern Belichtungsserien meist mit Script für HDR-Bearbeitungen und RAW-Bilder.

Nun zu RAW: Einstellung: DNG-Version = 1.1, DNG-Format... Es werden ganz schöne RAW-Bilder erzeugt.

Problem 1: Aus dem CHDK- Menü lässt sich badpixel.bin erzeugen, aber auch nach vielen Versuchen immer mit der Meldung badpixel count: 0
Ich denke, das kann eigentlich nicht sein. Was lässt sich dagegen tun?

Problem 2: Es ist mir bisher nicht gelungen die Datei badpixel (ohne .bin) zu erzeugen. Nach längerem Suchen habe ich die Datei show_bad.exe gefunden, die aber die erzeugte Bilddatei nicht bearbeitet.
Irgendwo habe ich dann den Satz gefunden: Leider ist die dazu notwendige Erstellungssoftware (das ist wohl show_bad.exe) veraltet und kann bei neuen Kameras nicht angewendet werden.
Mir stellen sich die Fragen:
a) Gibt es eine funktionierende Erstellungssoftware?
b) Wie sinnvoll ist badpixel überhaupt? Bringt das noch eine Qualitätsverbesserung?

Ich wäre euch für eine Antwort dankbar.
Herzliche Grüße
Claus
claus47
CHDK-Einsteiger
CHDK-Einsteiger
 
Beiträge: 6
Registriert: 28.01.2013, 18:27
Kamera(s): Canon SX260HS

Re: RAW und badpixel.bin

Beitragvon Knarf » 28.01.2013, 20:55

Wenn du Null Badpixel hast. Was bei neueren Kameras scheinbar häufiger vorkommt. Brauchst du keine Badpixel.bin, was soll denn da drin stehen? Scheinbar interpolieren die neueren Firmwares selbständig die Badpixel oder ähnliches!? so das 0 Badpixel angegeben werden.

Wen die RAW Bilder keine Pixelfehler zeigen, 100 % Größe und mal mit dem Auge suchen. Dann werden keine Badpixel im Bild mehr sein. Wie auch immer das geht.

Gruß Knarf
Knarf
CHDK-Begeisterter
CHDK-Begeisterter
 
Beiträge: 468
Bilder: 2
Registriert: 28.12.2011, 18:42
Kamera(s): SX130IS 101c
CHDK-DE-Modulversion

Re: RAW und badpixel.bin

Beitragvon claus47 » 29.01.2013, 20:32

Danke Knarf!
Das wäre eine gute Erklärung für diese neuere Kamera. Ich werde ein RAW-Bild auf Bad Pixel prüfen.

An die Besitzer der Powershot SX260HS und vielleicht auch der 220HS:
Zeigen alle diese Kameras Badpixel count=0 an?
Habt ihr ein RAW-Bild mal auf Pixelfehler überprüft?

Gruß, Claus
claus47
CHDK-Einsteiger
CHDK-Einsteiger
 
Beiträge: 6
Registriert: 28.01.2013, 18:27
Kamera(s): Canon SX260HS

Re: RAW und badpixel.bin

Beitragvon Martin_badPixel » 02.02.2013, 09:37

Also ich habe die PowerShot sx220HS
Die Badpixel-Datei zeigt immer ein paar 1000 badpixel an - also nicht immer gleich, wenn man eine neue Datei erstellen lässt!
RAW-Dateien mit DNG 1.1 ergeben mit Pixelfehlerkorrektur gute Ergebnisse.
RAW-Dateien mit DNG 1.3 zeigen viele markierte Pixelfehler an - die Verwendung der kameraeigenen Pixelfehlertabelle gelingt anscheinend nur mit neueren Adobe-Produkten.

Das Problem bei der Weiterverarbeitung sind für mich weniger die Pixelfehler als eher das deutliche Rauschen bei schwachem Licht.
Das kann die Nachbearbeitung der Kamera sehr gut korrigieren.
Martin_badPixel
CHDK-Einsteiger
CHDK-Einsteiger
 
Beiträge: 14
Bilder: 1
Registriert: 03.12.2012, 19:01
Kamera(s): Canon PowerShot sx220HS
Firmwareversion 101e

Re: RAW und badpixel.bin

Beitragvon Knarf » 02.02.2013, 10:20

Das Bild mit der Suche nach denn Bad Pixel sollte:
1. 2 Bilder mit gutem Tageslicht sein.
2. 1 Bild weis.
3. 1 Bild schwarz.

Rappel, Wiederholung:
DNG 1.3 markiert nur die Badpixel und sagt in eineem Steuerteil wie sie am besten von Programmen behandelt werden müsste.
Vorteil Rechenaufwand der Kamera ist weniger. -> Schneller Bereitschaft der Kamera.
DNG Version 1.3 geht nut mit Hilfe von bisher neueren Adobe Produkten. Siehe Handbuch

download/file.php?id=197


Gruß Knarf viel Spaß beim suchen. Hoffentlich bestätigt ihr die 0 Badpixel.
Knarf
CHDK-Begeisterter
CHDK-Begeisterter
 
Beiträge: 468
Bilder: 2
Registriert: 28.12.2011, 18:42
Kamera(s): SX130IS 101c
CHDK-DE-Modulversion

Re: RAW und badpixel.bin

Beitragvon claus47 » 04.02.2013, 20:11

Hallo Knarf und andere CHDK-Enhusiasten!
Ich habe RAW-Dateien erzeugt, wie oben empfohlen, Landschaft, ganz hell und ganz dunkel.

DNG Version 1.1, die Option "Pixelfehler entfernen" auf OFF und dann auch auf MITTELWERT, dann Begutachtung mit Rawtherapee mit Vergrößerung, bis die Pixel sichtbar wurden.
Ergebnis: In allen Fällen sind keine Pixelbilder erkennbar!!

Dasselbe dann auch noch mit DNG Version 1.3. (Übrigens, diese RAWs lassen ich mit Rawtherapee zumindest auch betrachten.)
Ergebnis: Keine Pixelbilder erkennbar!!

Das legt den Schluss nahe, dass die Kamera SX260HS Pixelfehler intern korrigiert. (Ich kann mir schlecht vorstellen, dass der Kamerachip keine Pixelfehler erzeugt.)
Damit bin ich erst einmal zufrieden, da ich somit gute RAW-Fotos erhalte.
Allerdings würde mich doch interessieren, ob andere SX260HS-Besitzer das bestätigen können.
Vielleicht findet jemand den Grund für dieses Verhalten der Kamera heraus, das von den bisherig bekannten Kameratypen abzuweichen scheint.
claus47
CHDK-Einsteiger
CHDK-Einsteiger
 
Beiträge: 6
Registriert: 28.01.2013, 18:27
Kamera(s): Canon SX260HS

Re: RAW und badpixel.bin

Beitragvon Werner_O » 05.02.2013, 01:42

Hallo claus47,

an plausiblen Antworten dazu wäre auch ich interessiert, da mein bester Kumpel die SX240 (quasi eine SX260 ohne GPS) hat.

Außerdem werden etwa bei manchen (wenn nicht sogar allen?) SX40 bei der Erzeugung der Datei badpixel.bin via CHDK 0 Badpixel angezeigt, was noch niemand hier wirklich plausibel erklären konnte, da völlig fehlerfreise 12 MP CMOS-Sensoren eher unwahrscheinlich sind. Bei den Vorgängerkameras mit ebenfalls bereits 12 MP CMOS-Sensoren waren etwa 30.000 Badpixel jedenfalls noch ein üblicher und ein auch als realistisch anzunehmender Wert.

Insofern bin ich gespannt, wie das hier weitergeht. Keine sichtbare Badpixel mit DNG 1.1 und Pixelfehler entfernen = Off (wie Du es beschrieben hast) machen jedenfalls schon durchaus nachdenklich und legen den Schluß nahe, daß das aktuelle CHDK die neueren Kameras noch nicht vollständig richtig bzgl. Sensordaten interpretieren kann.

Es bleibt also spannend,
liebe Grüße
Werner_O
Benutzeravatar
Werner_O
CHDK-Legende
CHDK-Legende
 
Beiträge: 1011
Registriert: 22.10.2010, 14:12
Wohnort: Köln
Kamera(s): SX20 1.02d
SX240 1.01a
S100 1.01a
S3 1.00a

Re: RAW und badpixel.bin

Beitragvon erfi00 » 05.11.2013, 18:19

Hallo CHDK-Freunde,
ich habe wieder eine Frage. Erstelle ich eine badpixel.bin mit gewöhnlichen Alltags-Kameraeinstellungen, habe ich mittlerweile 36462 Fehlpixel (als die Kamera neu war, waren es etwas über 24600). Wähle ich an der Kamera fest ISO3200 und erstelle dann eine badpixel.bin, komme ich auf stolze 124316 Fehlpixel. Also gut das Dreifache! Hat die manuelle ISO-Einstellung Einfluß auf das Ergebnis bei der Erstellung einer badpixel.bin? Welche der beiden badpixel.bin sollte ich sinnvollerweise auf der SD-Karte lassen?
Viele Grüße
Jens
erfi00
CHDK-Begeisterter
CHDK-Begeisterter
 
Beiträge: 121
Registriert: 18.03.2012, 13:48
Kamera(s): Canon Power Shot SX230HS (100c)

Re: RAW und badpixel.bin

Beitragvon msl » 05.11.2013, 20:27

Hallo Jens,

deine Kamera besitzt mehrere Badpixel-Tabellen, die für unterschiedliche Belichtungswerte vorgesehen sind. Deshalb können je nach Einstellung unterschiedliche badpixel.bin erzeugt werden. Was nun für dich die optimale Datei ist, musst du selbst entscheiden. Das hängt von deinen durchschnittlichen fototechnischen Werten ab.

Bei Verwendung der DNG-Version 1.3 wird immer die richtige Tabelle für die Verrechnung der Fehlpixel verwendet. Das hilft natürlich bei Verwendung von RawTherapee nur bedingt. Wenn ich richtig informiert bin, kann man für dieses Programm auch Textdateien mit Informationen zu Fehlpixeln hinterlegen. Per chdkptp lassen sich neuerdings solche Dateien erstellen. => viewtopic.php?f=6&t=3219&p=28532#p28532

Gruß msl
■ "Hey you, don't tell me there's no hope at all. Together we stand, divided we fall."CHDK inside FAQCHDK-Neuigkeiten auf Twitter
Benutzeravatar
msl
Super-Mod
Super-Mod
 
Beiträge: 4507
Bilder: 271
Registriert: 22.02.2008, 12:47
Wohnort: Leipzig
Kamera(s): A720 1.00c
SX220 1.01a

Re: RAW und badpixel.bin

Beitragvon erfi00 » 05.11.2013, 20:59

Hallo msl, danke für Deine schnelle Antwort! Das mit der Fehlpixel-Textdatei habe ich gemacht, allerdings komme ich da wieder auf einen anderen Wert. 12188 Fehlpixel sicher ein bisschen wenig. RAW-Therapee hat einige Fehlpixel im Foto korrigiert, aber längst nicht alle. Die verschwanden dann aber durch die RT-Impulsrauschminderung. Das Darkframe hatte ich auch mit ISO3200 gemacht. Vielleicht habe ich aber auch irgendetwas falsch gemacht...
Viele Grüße
Jens
Dateianhänge
Screenshot (7).jpg
erfi00
CHDK-Begeisterter
CHDK-Begeisterter
 
Beiträge: 121
Registriert: 18.03.2012, 13:48
Kamera(s): Canon Power Shot SX230HS (100c)

Re: RAW und badpixel.bin

Beitragvon Werner_O » 05.11.2013, 21:10

Hallo Jens,

laut diesem Forumsbeitrag von msl werden für die Erstellung der badpixel.bin Kamerainformationen zu den nach der Produktion bekannten vorhandenen fehlerhaften Sensorzellen ausgewertet. Später dazu gekommene "Hot Pixel" werden dabei gar nicht beachtet.

Insofern sollte auch eigentlich die ISO-Einstellung völlig egal sein und keinen Unterschied machen. Ich habe das eben auch an meiner SX20 im P-Modus bei ISO 80 und 1600 getestet und die Anzahl der badpixel war jeweils identisch 7.505 (älterer CCD-Sensor). Neuere CMOS-Sensoren wie bei der SX260 liegen da üblicherweise bei etwa 20.000 bis 30.000.

Möglicherweise liegt es bei Dir eher an unvorteilhaften Kameraeinstellungen. I-Contrast und auch die Rückschaufunktion sollten bspw. im Canon-Menü für die Erstellung der badpixel.bin normalerweise deaktiviert werden. Sie dazu auch die weiteren Angaben bzgl. badpixel.bin-Erstellung im CHDK-Handbuch.

EDIT 20:16
Sorry, kam jetzt leider etwas zu spät wegen zwei wichtigen Telefongesprächen während des Schreibens...

Liebe Grüße
Werner_O
Zuletzt geändert von Werner_O am 05.11.2013, 23:14, insgesamt 1-mal geändert.
Benutzeravatar
Werner_O
CHDK-Legende
CHDK-Legende
 
Beiträge: 1011
Registriert: 22.10.2010, 14:12
Wohnort: Köln
Kamera(s): SX20 1.02d
SX240 1.01a
S100 1.01a
S3 1.00a

Re: RAW und badpixel.bin

Beitragvon erfi00 » 05.11.2013, 21:46

Hallo Werner,
bei mir bleiben auch die Badpixel-Werte von ISO100 bis ISO1600 konstant. Nur bei dem Versuch mit ISO3200 gab's die Überraschung. Ich hatte die Idee dazu, weil ich bei meinen ISO3200 DNG's diese hässlichen Störpixel entdeckte. Bisher hatte ich ja RAW's immer in .crw aufgenommen. DNG funktioniert gut bis ISO1600, darüber habe ich Probleme.
Also werde ich bei Aufnahmen über ISO1600 die .dng-Ausgabe deaktivieren und die .crw's mit DNG4PS-2 umwandeln. So ging es bisher immer ohne Störpixel.
Viele Grüße
Jens
erfi00
CHDK-Begeisterter
CHDK-Begeisterter
 
Beiträge: 121
Registriert: 18.03.2012, 13:48
Kamera(s): Canon Power Shot SX230HS (100c)

Re: RAW und badpixel.bin

Beitragvon Werner_O » 05.11.2013, 23:13

Hallo Jens,

bei mir bleiben auch die Badpixel-Werte von ISO100 bis ISO1600 konstant.

Davon würde ich an Deiner Stelle erst mal ausgehen. Eine so erstellte badpixel.bin ist dann für ISO 100-1600 gültig, und die so gemachten DNGs können bei Verwendung von DNG v1.1 auch von Rawtherapee korrekt geladen werden.
Ich konnte mir auch kaum vorstellen, dass eine SX260 dafür verschiedene badpixel-Tabellen hat, wie msl geschrieben hatte.

Der ISO-Wert 3200 ist sowieso sehr problematisch angesichts des kleines Sensors von nur 1/2,3 Zoll. Wegen des zu erwartendem sehr hohen Rauschens im Bild sollte man diesen ISO-Wert möglichst ganz meiden. Bereits ISO 1600 sollte man falls möglich bereits gar nicht verwenden wegen der Rauschproblematik.
Für rauscharme Aufnahmen solltest Du Dich mit Deinem CMOS-Sensor üblicherweise auf max. ISO 800 beschränken. Bei meiner eigenen älteren SX20 mit noch CCD-Sensor ist bereits bei ISO 400 Schluss.

Sinnvoll ist es also für Dich, den max. Auto-ISO-Wert bei Einstellung Auto-ISO via CHDK auf max. 1600 zu beschränken, damit die erstellte badpixel.bin immer korrekt arbeiten kann. Etwa um 1 bis 2 EV unterbelichtete DNGs kann etwa Rawtherapee durch die m.W. 12Bit Farbtiefe Deines Sensors durchaus korrigieren in den 8Bit Farbraum von JPGs, sodaß am Ende korrekt belichtete JPGs möglich werden.

Manuell ISO 3200 vorzugeben ist wie gesagt sowieso sehr problematisch bei einem so kleinen Sensor. Dann lieber mit ISO 1600 mit -1 EV unterbelichten und die DNGs dann nachträglich aufhellen, wenn eine längere Belichtungszeit nicht infrage kommen kann.

Liebe Grüße
Werner_O
Benutzeravatar
Werner_O
CHDK-Legende
CHDK-Legende
 
Beiträge: 1011
Registriert: 22.10.2010, 14:12
Wohnort: Köln
Kamera(s): SX20 1.02d
SX240 1.01a
S100 1.01a
S3 1.00a

Re: RAW und badpixel.bin

Beitragvon erfi00 » 06.11.2013, 00:38

Hallo Werner,
hehe, das ist mir bewusst. Das waren Testaufnahmen, ansonsten nutze ich auch nicht ISO3200. Dabei fiel mir oben Beschriebenes auf. AutoISO ist bei mir standardmäßig auf ISO640 beschränkt, für höhere ISO-Werte kann ich über das Benutzermenü schnell einen anderen Wert eingeben oder auch im Canon-Menü einen festen ISO-Wert einstellen. Bis ISO1600 ist die SX230 dank CHDK-RAW recht gut nutzbar, darüber wird es kritisch. Hier eines der ISO3200-Testfotos, aufgenommen freihand, das ist wirklich eine sehr dunkle Straße (Lichtwert EV1 !):
Ooc (auf 6 MP verkleinert): http://www.datenkeule.de/dl.php?file=fi ... G_8151.JPG
CHDK-RAW (auch 6 MP): http://www.datenkeule.de/dl.php?file=fi ... 1_TEST.jpg
Sicher beides kein Augenschmaus, dennoch finde ich den Unterschied zum OoC beachtlich. Farblich entspricht das RAW exakt der Realität, eine halbe Blende weniger wäre sicher realistischer, ...mir dann aber doch zu dunkel. :lol:
Viele Grüße
Jens
erfi00
CHDK-Begeisterter
CHDK-Begeisterter
 
Beiträge: 121
Registriert: 18.03.2012, 13:48
Kamera(s): Canon Power Shot SX230HS (100c)

Re: RAW und badpixel.bin

Beitragvon erfi00 » 08.11.2013, 01:49

Zur Veranschaulichung 100%-ige RAW-Crop-Ausschnitte ohne jegliche Bearbeitung, alle Werte auf Null, sozusagen OoC-Raw's. :D
AutoISO212, badpixel.bin mit Normaleinstellungen erstellt (96kb): http://www.datenkeule.de/dl.php?file=fi ... t_crop.jpg
ISO1600, badpixel.bin mit Normaleinstellungen erstellt (96kb): http://www.datenkeule.de/dl.php?file=fi ... 9_crop.jpg
ISO3200, badpixel.bin mit Normaleinstellungen erstellt (96kb): http://www.datenkeule.de/dl.php?file=fi ... 1_crop.jpg
ISO3200, badpixel.bin mit ISO3200 erstellt (272kb): http://www.datenkeule.de/dl.php?file=fi ... 2_crop.jpg
Bis ISO1600 funktioniert die unter Normaleinstellungen erstellte badpixel.bin. Ich nutze weiter die 96kb-Version, da ich gewöhnlich ISO-Werte über ISO1600 nicht nutze. Wenn doch mal, deaktiviere ich die .DNG-Ausgabe und wandle die .CRW's am PC um.
Eine Frage ergibt sich mir: Wie funktioniert das bei DNGforPowerShot? Da hatte ich noch nie Probleme mit den Badpixeln, egal bei welcher ISO-Einstellung.
Zur Info: Bei Nutzung der sehr großen 272kb badpixel.bin funktionierte mein TwilightLiveOSD nur bei abgeschalteter .DNG -Ausgabe. Es erschien sonst die Meldung, dass nicht genug Speicher verfügbar ist. Ich vermute, dass bei aktivierter DNG-Ausgabe die badpixel.bin in den Arbeitspeicher geladen wird, was ja sinnvoll ist, damit es flott geht.
erfi00
CHDK-Begeisterter
CHDK-Begeisterter
 
Beiträge: 121
Registriert: 18.03.2012, 13:48
Kamera(s): Canon Power Shot SX230HS (100c)

Nächste

Zurück zu RAW und DNG

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast