Dark, bias a przenoszenie szumu?

[Grzegorz Czernecki]

Temat przeniesiony z http://www.forumastronomiczne.pl/index.php?/topic/4241-m42/

 

biasów, flatów i darków wystarczy 10. 
A to ciekawe? bo wszędzie piszą, że darków powinno być conajmniej tyle co light-ów ?!

[jolo]

Kalibrację master darkiem i biasem robisz na każdej klatce i w ten sposób przenosisz z nich szum na swój materiał (bo ani bias ani dark nie służy do niwelowania szumu wbrew pozorom). Wystarczy porównać ile szumu ma nasz master dark a ile pojedyncza klatka. Przykładowa klatka 5min z Zatomia ma szum tła około 45, a master dark z 5 klatek u mnie ma szum 16. Szum się sumuje geometrycznie i po kalibracji takiej klatki darkiem mam w wyniku szum tła 48. Przy 10 klatkach dark ten szum po kalibracji będzie wynosił  nieco ponad 47, przy 100 klatkach nieco ponad 45. Czy warto? Każdy musi sobie sam odpowiedzieć.

 

@satlan - jak będziesz jeszcze raz podchodził to możesz kolorki pozmieniać trochę - tło u mnie na monitorze wpada w fiolet, a mgławica chyba ma ciut za dużo zielonego.

[FunkyKoval35]

Kalibrację master darkiem i biasem robisz na każdej klatce i w ten sposób przenosisz z nich szum na swój materiał (bo ani bias ani dark nie służy do niwelowania szumu wbrew pozorom). Wystarczy porównać ile szumu ma nasz master dark a ile pojedyncza klatka. Przykładowa klatka 5min z Zatomia ma szum tła około 45, a master dark z 5 klatek u mnie ma szum 16. Szum się sumuje geometrycznie i po kalibracji takiej klatki darkiem mam w wyniku szum tła 48. Przy 10 klatkach dark ten szum po kalibracji będzie wynosił  nieco ponad 47, przy 100 klatkach nieco ponad 45. Czy warto? Każdy musi sobie sam odpowiedzieć.

 

@satlan - jak będziesz jeszcze raz podchodził to możesz kolorki pozmieniać trochę - tło u mnie na monitorze wpada w fiolet, a mgławica chyba ma ciut za dużo zielonego.

Przyznam, ze jestem troche zdziwiony tym co napisales.  Co masz na mysli ze "przenosisz z nich szum na swój materiał" ? Mam sztucznie "zaszumiac" sobie zdjecie, zeby potem z nim walczyc w obrobce?

I jak to  bias i dark nie sluzy do niwelowania szumu? Przeciez wlasnie po to sie je robi...

Nie wiem, moze zle Cie zrozumialem, moze po prostu nie rozumiem Twojej nomenklatury, ale cos to nie tak jest z tym co napisales.

[jolo]

Przyznam, ze jestem troche zdziwiony tym co napisales.  Co masz na mysli ze "przenosisz z nich szum na swój materiał" ? Mam sztucznie "zaszumiac" sobie zdjecie, zeby potem z nim walczyc w obrobce?

I jak to  bias i dark nie sluzy do niwelowania szumu? Przeciez wlasnie po to sie je robi...

Nie wiem, moze zle Cie zrozumialem, moze po prostu nie rozumiem Twojej nomenklatury, ale cos to nie tak jest z tym co napisales.

Szum (termiczny czy z tła nieba) na każdej klatce jest losowy i odejmując od siebie różne klatki nie można usunąć ani redukować szumu (nie dotyczy to hot pikseli).

Klatki dark służą do usuwania powtarzalnych wzorów z materiału wynikających z niedoskonałości matrycy i jeśli są dopasowane w czasie i temperaturze sensora dodatkowo do usuwania hot pikseli, ale te ostatnie można usuwać na inne sposoby również. Gorące i martwe piksele nie są częścią losowego szumu, tylko powtarzalnym wzorem i z nimi klatki dark sobie radzą dobrze. W kamerach z niewielką ilością hot pikseli i równomiernym tłem (Atik314L czy 460EX) wiele osób w ogóle nie używa klatek dark, a jedynie usuwa hot piksele programowo albo stosując dithering w czasie zbierania materiału. 

Popatrz na takie zdjęcia:

Po lewej zdjęcie przed a po prawej po kalibracji bias+dark. Zdjęcie po prawej wygląda dużo lepiej, a jednak szum tła w zaznaczonym fragmencie po lewej wynosi 37.5 a po prawej 38.5. 

[FunkyKoval35]

Po lewej zdjęcie przed a po prawej po kalibracji bias+dark. Zdjęcie po prawej wygląda dużo lepiej, a jednak szum tła w zaznaczonym fragmencie po lewej wynosi 37.5 a po prawej 38.5. 

Nie wiem jaki masz monitor(ja mam 6 miesieczny, skalibrowany), ale u mnie wlasnie jest odwrotnie. Klatka po lewej wyglada lepiej niz po prawej. Co jest oczywiscie wynikiem nieprawidlowym. Wyglada to tak jakbys od poskladanego zdjecia odejmowal pojedynczy dark, co jest czestym bledem - stad wzrost poziomu szumu po kalibracji.

 

A co do losowosci szumu, to masz racje. Dlatego przy kalibracji operuje sie srednimi darkami.

[jolo]

Nie wiem jaki masz monitor(ja mam 6 miesieczny, skalibrowany), ale u mnie wlasnie jest odwrotnie. Klatka po lewej wyglada lepiej niz po prawej. Co jest oczywiscie wynikiem nieprawidlowym. Wyglada to tak jakbys od poskladanego zdjecia odejmowal pojedynczy dark, co jest czestym bledem - stad wzrost poziomu szumu po kalibracji.

 

A co do losowosci szumu, to masz racje. Dlatego przy kalibracji operuje sie srednimi darkami.

No mi jednak osobiście ho piksele po lewej dużo bardziej przeszkadzają, niż ich brak po prawej ;) Tak czy siak jest tak jak napisałem wcześniej a teraz Ty napisałeś - odejmowanie darka powoduje wzrost szumu w kalibrowanej klatce. Jeśli uśrednisz 5, 10 czy 100 darków to szum w master darku się zmniejszy, ale po odjęciu takiego master darka w klatce po kalibracji zawsze będzie większy sum tła niż przed - odejmowanie darka nie oznacza odejmowania szumu, nie ma czegoś takiego jak 'ujemny szum', może być mały albo duży ale każde operacje arytmetyczne na zaszumionych klatkach powodują jego zwiększenie. Z resztą dokładnie tak samo jest ponownie wbrew pozorom przy stackowaniu klatek z materiałem :) Po dodaniu dwóch klatek w wynikowej szum zwiększa się o 1.41x ale sygnał użyteczny 2x, stąd otrzymujemy lepszy SNR.

Kwestia kompromisu. W przypadku powyżej na fotce szum po kalibracji zwiększył się o 0.7 - ja nie widzę różnicy na FITSach, może JPG po wklejeniu na forum coś z tym zrobił. To przy stosowaniu 10 klatek kalibracyjnych. Przy 50 szum po kalibracji zwiększyłby się pewnie o 0.4. 38.5 vs 38.2 - wg mnie nie warto naświetlać 4h darków żeby zmniejszyć szum na jednej klatce po kalibracji o 1% - ten sam efekt uzyskam naświetlając np 20 minut więcej materiału.

[FunkyKoval35]

Szum przed kalibracja masz mniejszy niz po - mozna to stwiedzic patrzac na to, jak i z twoich odczytow w tych prostokontach. Co jest absurdem. Dla mnie wniosek jest jeden - cos zle robisz ;) Bo w takim razie, wychodzi na to, ze nie powinienes robic darkow i biasow, jak i kalibracji w ogole bo sobie pogarszasz tym sprawe... hmm...?

Nie bede sie juz sprzeczal... Kazdy robi jak chce i ma efekty takie jak sobie wypracuje. Pogodnego nieba zycze ;)

[jolo]

Poczytaj do czego tak naprawdę służy kalibracja obrazów klatkami bias i dark, np w manualach do DSS czy Maxima: 

http://deepskystacker.free.fr/english/theory.htm#Calibration

http://www.cyanogen.com/help/maximdl/Dark_Frame_Calibration.htm

Zasada jest bardzo prosta - losowego szumu nie usuniesz przez kalibrację. Możesz jedynie go ograniczać stosując odpowiednie procesy w odpowiedniej kolejności.

[FunkyKoval35]

Przyklad:

 

Tak wyglada fotka przed kalibracja - cos podobnego jak u Ciebie:

 

A tak powinna wygladac po kalibracji(z flatem) - Jesli sie ja wykona POPRAWNIE:

 

Jak widzisz u Ciebie to wyglada zupelnie inaczej. U Ciebie po kalibracji masz wiekszy szum niz przed. 

[jolo]

Naprawdę nie widzisz na wklejonym przeze mnie wcześniej zdjęciu tego samego co sam pokazujesz? U mnie na zdjęciu po lewej (przed kalibracją) jest cała masa hot pikseli, po prawej (po kalibracji) ich nie ma. To co pokazałeś na wklejonych zdjęciach to dokładnie to samo - usunięcie hot pikseli. Hot piksele to nie jest szum losowy - to powtarzalny wzór, który usuwają klatki kalibracyjne. Bardziej poglądowo:

hot piksele - powtarzalny wzór, usuwasz klatkami kalibracyjnymi

szum tła - szum losowy, nie usuniesz klatkami kalibracyjnymi

[FunkyKoval35]

Ech.. a mialem juz nie dyskutowac ;)

 

Wiem co to sa hot pixele i szum(termiczny) ktory jest losowy. Oczywiscie ze usuniesz ten szum. - bo na tym, miedzy innymi, polega cala idea robienia darkow, biasow i flatow. Operujac, jak pisalem wczesniej, medianowymi(srednimi) darkami, biasami i flatami usuniesz ten szum mimo, ze jest on losowy - bo w procesie kalibracji, podczas stackowania, szum na zdjeciach tez bedziesz mial usredniony, wiec ostatecznie odejmiesz od siebie dwa usrednione szumy.

 

Co do Twoich fotek to ta ostania wyglada lepiej, ale te dwa pierwsze ewidentnie pokazuja, ze cos jest nie tak. Owszem hot pixele zniknely, ale przeciez ciezko bylo je wypatrzec w tym ziarnie - ktore po kalibracji u ciebie sie nasililo. Popatrz na zdjecia, po kalibracji, kolegow na forum. Widzisz tam takie ziarno jak u ciebie?

[jolo]

Mam taką propozycję - weź surową pojedynczą klatkę i zrób na niej kalibrację swoimi klatkami kalibracyjnymi (bias + dark, bez flata bo flat to nie operacja globalna i zmienia wartość piksela w zależności od położenia w kadrze). Zmierz szum tła przed i po kalibracji w takim miejscu gdzie nie ma/nie było hot pikseli. Jeśli po kalibracji wyjdzie Ci mniejszy szum tła, to możemy dalej dyskutować, choć proponuję w osobnym wątku.

[FunkyKoval35]

Juz teraz widze gdzie tkwi problem. Kolego nie mozesz oczekiwac ze usuniesz szum dokonujac kalibracji na pojedynczej klatce - wrecz przeciwnie zwiekszysz go, co sam potwierdzasz. Owszem, medianowe klatki kalibracyjne odejmujesz od pojedynczych ekspozycji, ale przeciez to nie koniec procesu kalibracji. Aby uzyskac pozadany efekt musisz jeszcze zestackowac zdjecia, co w efekce usunie ci szum poprzez odjecie sredniego szumu z klatek kalibracyjnych od srednego szumu na zdjeciach.  Oczywiscie koncowy efekt zalezy od tego jak zbizone sa do siebie te dwie srednie. Dlatego wazne jest by wykonac odpowiednia ilosc klatek kalibracyjnych z odpowiednimi parametrami wykonania(czes, temp., itd.).

[jolo]

Dokładnie tak jak piszesz - kalibracja nie ma na celu usuwania szumów. Jedyna różnica w moim zrozumieniu jest taka, że samo stackowanie nie jest już dla mnie procesem kalibracji. W zależności od wybranego algorytmu stackowania skalibrowane klatki są uśredniane, sumowane i dodatkowo stosowane są różne algorytmy do odrzucania pikseli o błędnych wartościach. W tym procesie składania pojedynczych klatek wzrasta zarówno szum jak i sygnał użyteczny, ale szum rośnie wolniej, dlatego w końcowym efekcie stosunek SNR się polepsza. W uproszczeniu nazywa się to uśrednianiem szumu, choć tak jak już wcześniej pisałem - tak naprawdę sygnał się sumuje. Możemy zrobić prosty eksperyment - wziąć dwie skalibrowane klatki i zmierzyć na jednej z nich sygnał z jakiejś gwiazdy i szum tła. Po prostym zsumowaniu obu klatek okaże się, że sygnał z gwiazdy wzrósł dwukrotnie, natomiast szum zwiększył się jedynie o 1.41x  i wzrósł nam stosunek sygnału do szumu. Po podzieleniu takiej klatki przez 2 otrzymamy średnią klatkę i okaże się że sygnał z gwiazdy pozostał taki sam, natomiast szum zmalał do około 70% wartości z pojedynczej klatki - stąd pojęcie 'zmniejszania szumu przez uśrednianie'.

[Alien]

Proces kalibracyjny jest przeprowadzany przed procesem stackowania. Samo stackowanie nie jest procesem kalibracyjnym tu są składane już skalibrowane klatki i jak pisze Łukasz efekt końcowy teraz jest uzależniony od wyboru algorytmu składania. Proces kalibracji ( dark, bias, flat ) jest przeprowadzany na każdej pojedynczej klatce przed stackowaniem.