SX100, DEAD Pixel, HOT Pixel und CHDK

[Savini]

Hallo!

Vor ein paar Tagen entdeckte ich auf neuen Bildern meiner SX100 immer an derselben Stelle einen roten Punkt. Recherche im Netz führte mich zu dem Ergebnis, dass es sich dabei um einen oder mehrere HOT Pixel handelt und CHDK eine Möglichkeit ist, diese zu beseitigen.

Ich habe also ein Bild mit ISO 80 und 1/10s Belichtungszeit mit abgedecktem Objektiv im Dunkeln gemacht und dieses im RAW Format speichern lassen. Dann hab ich die Programme Show_bad und Show_bad_b sowie Bad Pixel Pro auf dieses File losgelassen. So hab ich erfahren, dass ich 3 HOT Pixel habe, von denen 2 nebeneinander liegen. Diese beiden scheinen der rote Punkt zu sein, den ich sehe, der dritte defekte Pixel ist mir nicht aufgefallen. Kopiere ich die mit Show_Bad erstellte Badpixel Datei in den CHDK Ordner, taucht der rote Punkt in meinen Bildern nicht mehr auf. Soweit so gut.

Allerdings teilen mir die Programme auch mit, dass ich über 7000 (!) DEAD Pixel habe. Dazu folgende Fragen:

1) Wie kann ein Programm anhand eines SCHWARZEN Bildes DEAD Pixel finden? Dass man so HOT Pixel findet, ist klar. Aber DEAD Pixel?

2) Show_Bad erzeugt ja nur eine Datei mit den Koordinaten der HOT Pixel. Wie werde ich die DEAD Pixel los?

3) Wie muss ich vorgehen, wenn ich Bilder in einer anderen Auflösung oder Format machen
will? Dann liegen die HOT Pixel ja an anderen Koordinaten. Muss ich dann wieder wie oben beschrieben vorgehen und eine neue badpixel Datei erzeugen? Da aber immer nur eine badpixel Darei auf der SD Karte sein kann, könnte ich dann ja die Auflösung nur wechseln, wenn ich parallel dazu die jeweils passende badpixel datei auf die SD Karte kopiere. Oder rechnet sich die Kamera das Ganze selber aus und es ist egal mit welcher Auflösung man das schwarze RAW Bild erzeugt, womit später show_bad gefüttert wird?

4) Selbe Frage wie 3), nun aber für längere Belichtungszeiten. Da tauchen natürlich mehr HOT Pixel auf. Hier kommt man um eine neue badpixel Datei nicht herum, oder? Kann man vielleicht eine Datei erstellen, die die HOT Pixel für unterschiedliche Belichtungszeiten enthält?

5) Betrachte ich das Display meiner Kamera, sehe ich den roten Punkt zunächst nicht. Er erscheint erst, wenn ich den Auslöser halb drücke. Wie kommt das? Das Bild auf dem Display wird ja immer vom Sensor geliefert, also müsste man den roten Punkt doch immer sehen und nicht nur beim halbdrücken des Auslösers. Rausgerechnet wird er ja auch erst, nachdem das Bild gemacht wurde und die Umwandlung von RAW zu JPEG erfolgt.

6) In Videoclips ist der rote Punkt leider weiter zu sehen. Abhilfe?

7) Wegen 6): Wie sieht es diesbezüglich eigentlich mit Garantie/Gewährleistung bei Canon aus? Innerhalb welchen Zeitraumes kann man da wegen HOT Pixeln eine Reparatur erhalten? Die Kamera ist knapp ein Jahr alt.

Vielen Dank für jegliche Hinweise und Tipps!

[fe50]

Hallo Savini, herzlich willkommen im CHDK Forum !

eigentlich ist alles bezüglich der "bösen" Pixel ja schon hier im Forum beschrieben & diskutiert worden, lies Dich mal hier rein:
-> Sensorfehler ?
-> Grundsatzfrage zu Badpixel

1) Wie kann ein Programm anhand eines SCHWARZEN Bildes DEAD Pixel finden? Dass man so HOT Pixel findet, ist klar. Aber DEAD Pixel?

Anhand der starken Farbwert-Abweichung zu den Nachbarpixeln...

2) Show_Bad erzeugt ja nur eine Datei mit den Koordinaten der HOT Pixel. Wie werde ich die DEAD Pixel los?

siehe o.g. Links & CHDK Handbuch

3) Wie muss ich vorgehen, wenn ich Bilder in einer anderen Auflösung oder Format machen
will? Dann liegen die HOT Pixel ja an anderen Koordinaten. Muss ich dann wieder wie oben beschrieben vorgehen und eine neue badpixel Datei erzeugen? Da aber immer nur eine badpixel Darei auf der SD Karte sein kann, könnte ich dann ja die Auflösung nur wechseln, wenn ich parallel dazu die jeweils passende badpixel datei auf die SD Karte kopiere. Oder rechnet sich die Kamera das Ganze selber aus und es ist egal mit welcher Auflösung man das schwarze RAW Bild erzeugt, womit später show_bad gefüttert wird?

Letzteres, immer RAW, somit ist die Auflösung, die die Kamera später erzeugt oder besser herunterrechnet egal.

4) Selbe Frage wie 3), nun aber für längere Belichtungszeiten. Da tauchen natürlich mehr HOT Pixel auf. Hier kommt man um eine neue badpixel Datei nicht herum, oder? Kann man vielleicht eine Datei erstellen, die die HOT Pixel für unterschiedliche Belichtungszeiten enthält?

Im regulären CHDK gibt's nur eine; es gibt einen alten Patch, der belichtungszeitabhängig arbeitet, der wurde aber nicht übernommen; das Ganze ist eine Wissenschaft für sich (siehe o.g. Diskussions-Thread mit gehtnis), die User sind derzeit mit den vorhandenen 2 Varianten (normal & DNG) schon überfordert.
Im Zweifelsfall also die für längere Zeiten nehmen, alternativ kannst Du mehrere badpixel Dateien auf der SD-Karte halten und bei Bedarf mittels CHDK umkopieren (anschliessend die Kamera neu starten).

5) Betrachte ich das Display meiner Kamera, sehe ich den roten Punkt zunächst nicht. Er erscheint erst, wenn ich den Auslöser halb drücke. Wie kommt das? Das Bild auf dem Display wird ja immer vom Sensor geliefert, also müsste man den roten Punkt doch immer sehen und nicht nur beim halbdrücken des Auslösers. Rausgerechnet wird er ja auch erst, nachdem das Bild gemacht wurde und die Umwandlung von RAW zu JPEG erfolgt.

Beim fokusieren (halb durchdrücken) stellt die Kamera im Lifeview andere Werte ein, Du siehts dann das Bild mit der gewählten Belichtung etc.; sonst werden die Werte für den Lifeview von der Kamera dynamisch eingestellt, gur sichtbar bei dunkler Umgebung...

6) In Videoclips ist der rote Punkt leider weiter zu sehen. Abhilfe?

Nein, derzeit nicht; der CHDK Mechanismus greift nur für Bilder.

7) Wegen 6): Wie sieht es diesbezüglich eigentlich mit Garantie/Gewährleistung bei Canon aus? Innerhalb welchen Zeitraumes kann man da wegen HOT Pixeln eine Reparatur erhalten? Die Kamera ist knapp ein Jahr alt.

Jeder Hersteller bezeichnet Fehlpixel als "konstuktionsbedingt" und akzeptiert sie erst ab einer bestimmten Anzahl/Auffälligkeit als Fehler (steht auch in Deinem Handbuch)...
Also könntest Du Kontakt zum Canon Support aufnehmen & nachfragen - die müssen wohl nicht, aus Kulanz können sie aber sehr wohl...
Eventuell kannst Du die Kamera einschicken, die werden dann vermutlich Deinen "Punkt" in die interen Fehlpixel-Firmwareliste aufnehmen & somit "ausblenden".

[Savini]

Danke für die schnelle Antwort. Es bleiben noch folgende Fragen:

zu 1) Wieso Farbwertabweichungen zu den Nachbarpixeln? Ein DEAD Pixel zeigt immer schwarz. Und bei einem Bild mit abgedecktem Objektiv sind doch auch die gesunden Pixel alle schwarz. Eine Abweichung könnte es allenfalls durch Rauschen geben, von welchem die gesunden, aber nicht die DEAD Pixel betroffen sind. Sinnvollerweise müßte man doch, um DEAD Pixel zu finden, eine weiße Fläche fotografiren. Dann könnte ein Programm schwarze Pixel in dem weiß suchen.

zu 2) In den Links finde ich nur Infos zu den Programmen, die auch ich benutzt habe, wie z.B. Show_Bad. Und diese erstellen eine badpixel Datei mit den Koordinaten der HOT Pixel. DEAD Pixel kommen da doch gar nicht vor. Hab jetzt auch das Handbuch gefunden. Aber dort fallen unter BAD Pixel auch immer nur die Hot Pixel. Von Dead Pixeln ist da auch nicht die Rede. Stehe hier irgendwie auf dem Schlauch. Es heißt im Handbuch ja auch "Diese Anleitung demonstriert, wie mit CHDK Fehlpixel (=ständig leuchtende oder falschfarbene Pixel, auch "Badpixel" oder "Hotpixel" genannt) aus den Bildern entfernt werden können."

zu 3) OK, dann reicht es also bei einer beliebigen Auflösung ein schwarzes RAW Bild zu machen.

zu 4) Naja, wenn ich nur eine badpixel datei verwende und diese aus einem Schwarzbild mit längerer Belichtung erzeugt wurde, korrigiere ich bei Bildern mit kurzer Belichtung ja unnötig viel. Du sagst "alternativ kannst Du mehrere badpixel Dateien auf der SD-Karte halten und bei Bedarf mittels CHDK umkopieren" Kann ich auf der Kamera Kopieraktionen durchführen???


Zu 6) Mist!

zu 7) Werd Canon mal eine Mail schreiben. Ein leuchtender Punkt in jedem Videoclip ist schon doof.

[fe50]

Ich sach' ja, eine Wissenschaft...

Also die Unterscheidung der "Fehlpixel" ist für das Endergebnis nicht so wichtig, es wird meist alles zusammengewürfelt, wir richten uns nicht zwingend nach ISO 13406-2 oder so...

...schwierig zu formulieren, ich hoff' mal das kommt so rüber wie ich will...

Die Variante mit der Datei "badpixel.bin", erzeugt mit dem badpixel.lua Script, ist eine recht einfache Sache: die Kamera hat die "Fehlpixel" (welcher Art auch immer) bereits anhand ihrer internen, im Werk mitgegebener Liste ausmaskiert, also im Sensorpuffer (Sensor-Rohdatenals Bayer-Array)mit Wert 0 gekennzeichnet. Wir schauen nur, welche das sind und schreiben die Koordinaten in die Datei; bei der DNG-Erzeugung werden die nun rausgerechnet - so wie Canon das bei seinen JPGs auch macht. Eigentlich könnte man die maskierten Fehlpixel auch drin lassen, die meisten RAW-Bildbearbeitungsprogramme können damit umgehen; leider aber nicht alle - um den Usern Bilder mit hunderten oder tausenden schwarzen Punkten zu ersparen rechnen wir die eben raus.
Du kannst auch eine badpixel.bin - Dummy-Datei verwenden, einfach eine Datei mit 0000 - dann siehts Du im DNG Bild die Pixel.

Die 2. Variante mit den "neuen" Fehlpixeln ist schon schwieriger...
Es wird immer mit den reinen Sensordaten gearbeitet (Bayer), die Werte sind auch bei "schwarzen" Aufnahme nicht einheitlich schwarz; es gibt einen Blacklevel, der Wert für "Schwarz" ist normalerweise > 0...
Deine "DEAD" Pixel, also nach Deiner Defi ausgefallene, also ständig schwarze Pixel (was denn eigentlich - einzelnes Element RGGB oder "angezeigter" Pixel bestehend aus den "Sub-Pixeln" ???) sollten dann bei einer "weißen" Aufnahme (hmmm - wieder schwierig, wir ham' keine weißen Pixel/Sub-Pixel, Weiß ist 'ne Kombo...) sichtbar sein, ausser sie erscheinen mit einem Nullwert, dann würden sie duch den anderen Mechanismus wie maskierte Pixel behandelt...

...heut' hab' ich keine Lust, mich d weiter reinzudenken

Zu 4.) Ja, Du erzeugst an der Stelle durch die Mittelung mit den Nachbarpixeln einen etwas ungenaueren Pixel ('ne Mikosingularität, Vorsicht damit !), was aber kaum auffällt - Fabunterschiede/Helligkeitsverläufe machen auf Pixelebene keine großen Sprünge...

Ja, klar kann man mit CHDK kopieren/löschen/verschieben, mit dem Filebrowser aus'm Misc Menü (wie war das nochmal bei der D Sprachdatei...Datei-Brause)

Zu 7.: halt' uns auf dem Laufenden !

[Savini]

Die 2. Variante mit den "neuen" Fehlpixeln ist schon schwieriger...
Es wird immer mit den reinen Sensordaten gearbeitet (Bayer), die Werte sind auch bei "schwarzen" Aufnahme nicht einheitlich schwarz; es gibt einen Blacklevel, der Wert für "Schwarz" ist normalerweise > 0...
Deine "DEAD" Pixel, also nach Deiner Defi ausgefallene, also ständig schwarze Pixel (was denn eigentlich - einzelnes Element RGGB oder "angezeigter" Pixel bestehend aus den "Sub-Pixeln" ???) sollten dann bei einer "weißen" Aufnahme (hmmm - wieder schwierig, wir ham' keine weißen Pixel/Sub-Pixel, Weiß ist 'ne Kombo...) sichtbar sein, ausser sie erscheinen mit einem Nullwert, dann würden sie duch den anderen Mechanismus wie maskierte Pixel behandelt...

!

Sorry, wenn ich nerve, aber ich verstehe nicht, wieso das Programm bad_show bei mir lediglich drei Koordinatenpaare von 3 Hotpixeln in die Badpixel Datei schreibt, wo ich doch angeblich zusätzlich über 7000 Dead Pixel habe. Oder sind das alles Dead Pixel, die bereits in der Firmware berücksichtigt sind? In allen Dokus zu bad_show ist explizit immer nur von Hot Pixeln die Rede. Daher ging ich davon aus, dass man mit show_bad nur die Hot Pixel kurieren kann.

[fe50]

Die 2. Variante mit den "neuen" Fehlpixeln ist schon schwieriger...
Es wird immer mit den reinen Sensordaten gearbeitet (Bayer), die Werte sind auch bei "schwarzen" Aufnahme nicht einheitlich schwarz; es gibt einen Blacklevel, der Wert für "Schwarz" ist normalerweise > 0...
Deine "DEAD" Pixel, also nach Deiner Defi ausgefallene, also ständig schwarze Pixel (was denn eigentlich - einzelnes Element RGGB oder "angezeigter" Pixel bestehend aus den "Sub-Pixeln" ???) sollten dann bei einer "weißen" Aufnahme (hmmm - wieder schwierig, wir ham' keine weißen Pixel/Sub-Pixel, Weiß ist 'ne Kombo...) sichtbar sein, ausser sie erscheinen mit einem Nullwert, dann würden sie duch den anderen Mechanismus wie maskierte Pixel behandelt...
!

Sorry, wenn ich nerve, aber ich verstehe nicht, wieso das Programm bad_show bei mir lediglich drei Koordinatenpaare von 3 Hotpixeln in die Badpixel Datei schreibt, wo ich doch angeblich zusätzlich über 7000 Dead Pixel habe. Oder sind das alles Dead Pixel, die bereits in der Firmware berücksichtigt sind? In allen Dokus zu bad_show ist explizit immer nur von Hot Pixeln die Rede. Daher ging ich davon aus, dass man mit show_bad nur die Hot Pixel kurieren kann.

Verwechsle bzw. vermische nicht
badpixel (zur Korrektur nachträglich auftretender Fehlpixel, Schwellwertabhängig, am PC ermittelt) mit
badpixel.bin (nur für die DNG-Erzeugung verwendet, Pixel welche bereits vom Hersteller ausmaskiert wurden) !

Show_bad zeigt "Fehlpixel" anhand einer Wert-Abweichung im Verhältnis zu den Nachbarpixeln/Subpixeln an, abhängig vom Schwellwert (Threshold) kann die "Empfindlichkeit" (also die Stärke der Abweichung) gesteuert werden.
Show_bad zeigt also abhängig vom Schwellwert Fehlpixel an, die Koordinaten der ermittelten Pixel/Subpixel werden als Datei badpixel ("badpixel.txt" wird auch akzeptiert) dann direkt nach der Aufnahme im RAW-Puffer von CHDK herausgerechnet, noch vor dem Schreiben auf die SD-Karte.

Wie kommst Du zu der Zahl 7000 ? Falls das die Ausgabe von badpixel.lua ist: ja - badpixel.lua meldet die Fehlpixel, die Canon laut der kamerainternen Liste ausmaskiert (auf Wert 0 setzt).

Wie gesagt wird nicht zwischen den diversen Fehlerarten unterschieden, ob es jetzt dead, hot oder fehl heisst ist in diesem Kontext unrelevant, ich persönlich benenne das am einfachsten mit FEHLPixel...

Zu dem neuen BadPixel Pro kann ich derzeit nichts sagen, das wurde vor ein paar Tagen von "MEISSE" veröffentlicht & in den Wiki-Artikel eingebaut; ich hab' mir das Programm noch nicht genauer angeschaut. Ich hab' dem Autor einen Hinweis auf seine Wikia-Userseite gestellt, vielleicht äussert er sich noch dazu bzw. gibt noch Erläuterungen...

[Savini]

Wie kommst Du zu der Zahl 7000 ? Falls das die Ausgabe von badpixel.lua ist: ja - badpixel.lua meldet die Fehlpixel, die Canon laut der kamerainternen Liste ausmaskiert (auf Wert 0 setzt).

Wie gesagt wird nicht zwischen den diversen Fehlerarten unterschieden, ob es jetzt dead, hot oder fehl heisst ist in diesem Kontext unrelevant, ich persönlich benenne das am einfachsten mit FEHLPixel...

Die Zahl 7000 gibt mir das Programm show_bad_b aus. Sie deckt sich mit dem, was mir Badpixel pro ausgibt. Anscheinend ist das nur eine Info über die kamerainterne Liste.

Eigentlich müßte man bei jeder Kamera neue Fehlpixel in die Liste eintragen lassen können, ohne dass jemand ein Drittprogramm dafür schreibt. Könnte man die kamerainterne Liste vergrößern, würden so auch die Fehlpixel in den Videoclips verschwinden. Es kann doch wohl nicht sein, dass man, wenn man z.B. 10 rote Pixel übers Bild verteilt hätte, deswegen eine neue Kamera kauft, nur weil einem der Hersteller nicht die Möglichkeit gibt, diese 10 Pixel zu den ohnehin vorhandenen paar Tausend Fehlpixeln hinzuzufügen. Wieso hat das noch kein Hersteller implementiert und wirbt damit?

[fe50]

Wie kommst Du zu der Zahl 7000 ? Falls das die Ausgabe von badpixel.lua ist: ja - badpixel.lua meldet die Fehlpixel, die Canon laut der kamerainternen Liste ausmaskiert (auf Wert 0 setzt).
Wie gesagt wird nicht zwischen den diversen Fehlerarten unterschieden, ob es jetzt dead, hot oder fehl heisst ist in diesem Kontext unrelevant, ich persönlich benenne das am einfachsten mit FEHLPixel...

Die Zahl 7000 gibt mir das Programm show_bad_b aus. Sie deckt sich mit dem, was mir Badpixel pro ausgibt. Anscheinend ist das nur eine Info über die kamerainterne Liste.

Ja, show_bad_b ist die PC-basierte Anwendung, badpixel.lua mach das Selbe in der Kamera - die Ausgabe von beiden ist identisch, es handelt sich um die ausmaskierten Pixel die auf dem beschriebenen Weg indirekt aus der internen Firmwareliste ermittelt werden.

Eigentlich müßte man bei jeder Kamera neue Fehlpixel in die Liste eintragen lassen können, ohne dass jemand ein Drittprogramm dafür schreibt. Könnte man die kamerainterne Liste vergrößern, würden so auch die Fehlpixel in den Videoclips verschwinden. Es kann doch wohl nicht sein, dass man, wenn man z.B. 10 rote Pixel übers Bild verteilt hätte, deswegen eine neue Kamera kauft, nur weil einem der Hersteller nicht die Möglichkeit gibt, diese 10 Pixel zu den ohnehin vorhandenen paar Tausend Fehlpixeln hinzuzufügen. Wieso hat das noch kein Hersteller implementiert und wirbt damit?

Tja, und eigentlich ist die Erde eine Kartoffel...
CHDK hat keinen direkten Zugriff auf die Herstellerliste; rein theoretisch wäre eine Bearbeitung der Liste sicher möglich, das würde aber mit hoher Wahrscheinlichkeit nicht in einer öffentlich zugänglichen CHDK Version bereitgestellt - dazu muss schliesslich aktiv die Kamera-FW manipuliert werden (Stichwort Garantieverlust)...
Für die nachträgliche Pixelretusche bei Digitalfotos gibt es ja haufenweise Software, jedes bessere Bildbearbeitungsprogramm bietet da was; einen eleganten Weg geht DCRAW, da können Fehlpixel mit Auftrittsdatum verwaltet werden, clever im Batch-Betrieb bei unterschiedlich alten Aufnahmen...

Meines Wissens nach haben einige Kamerahersteller zumindest bei ihren besseren DSLR's entsprechende Funktionen, z.B. als Automatik-Funktion oder per Service-Menü.
Canon hat dies wohl überhaupt nicht; man kann die Kamera vom Canon-Service "erweitern" lassen, was sich bei den Billigcams aber kaum lohnt; während der Garantiezeit macht Canon das wohl, nicht als Service sondern zwecks Mängelbehebung - mit etwas Pech spielen die dann aber eine neue, von CHDK noch nicht unterstützte Firmwareversion drauf

Bei Videos bleibt Dir dann wohl sonst nur noch die nachträgliche "Entfernung" per Software, am PC...