O kalibracji w teorii i praktyce

[AstroAllanoEU]

Wydzielone z wątku http://www.forumastronomiczne.pl/index.php?/topic/5040-biblioteka-klatek-kalibracyjnych/

 

Z poważaniem - moderator

************************************************************************************************

 

w kamerach nowego typu ponoć darków się już nie robi, a programy same je usuwają ( metody nie znam, chociaż jest takie narzędzie w maximie )

na 2000XCM próbowałem to zrobić, ale u nas darki są konieczne :P

 

Biasów też aż tak nie trzeba, i tak większość się odszumia później. Flaty - raz zrobione, byleby wyrównały pole, kurze itp można usunąć stemplem w PS.

[g.b.]

To mam pytanie laika. Jest sens robić wszystkie trzy rodzaje klatek kalibracyjnych kompaktem który po zrobieniu zdjęcia z czasem "x" drugi tyle je obrabia - zapisuje?

[jolo]

w kamerach nowego typu ponoć darków się już nie robi, a programy same je usuwają ( metody nie znam, chociaż jest takie narzędzie w maximie )

na 2000XCM próbowałem to zrobić, ale u nas darki są konieczne :P

 

Biasów też aż tak nie trzeba, i tak większość się odszumia później. Flaty - raz zrobione, byleby wyrównały pole, kurze itp można usunąć stemplem w PS.

Programy (Maxim -> Filter -> Kernel filters -> Hot pixel albo mapa hot pikseli, PixInsight -> Process -> Cosmetic correction) usuwają hot piksele z materiału. Nowe sensory mają na tyle niewielki i równomierny prąd ciemny matrycy, że faktycznie nie ma sensu odejmowanie darków, a jedynie usunięcie hot pikseli. Odejmowanie biasów ma sens jeśli wykazują one powtarzalne nierównomierności i zazwyczaj tak jest.

Odejmowanie biasów ani darków nie usuwa szumu z materiału. Dobrze zrobione darki usuną nam hot piksele, ale można je też usunąć w inny sposób. Kalibracja biasami i darkami ma na celu usunięcie powtarzalnych zakłóceń i niejednorodności dodawanych przez sensor do każdej klatki. Zabrzmi to może dziwnie, ale kalibracja biasem i darkiem zwiększa nam ilość szumu w materiale (jeśli pominiemy hot piksele) dlatego warto mieć sporo klatek kalibracyjnych, żeby dodatkowo dodany szum kalibracyjny był jak najmniejszy. Biasów można mieć kilkadziesiąt (jeśli używamy również flaty szum z klatek master bias jest dodawany dwukrotnie, dlatego warto mieć sporo biasów). Darków tym więcej im więcej mamy klatek z materiałem, minimum 10, lepiej więcej, a najlepiej w ogóle nie używać darków. Jeśli nasz master dark wygląda jednolicie i ma tylko hot piksele, to najlepiej je usunąć programowo, albo w trakcie zbierania materiału stosując dithering.

 

To mam pytanie laika. Jest sens robić wszystkie trzy rodzaje klatek kalibracyjnych kompaktem który po zrobieniu zdjęcia z czasem "x" drugi tyle je obrabia - zapisuje?

Nie bardzo, z tego co piszesz wynika, że aparat sam naświetla 'darka' po zrobieniu zdjęcia i odszumia materiał. Jeśli się tego nie da wyłączyć, to dodatkowa kalibracja nic nie da już.

[szdom1]

To mam pytanie laika. Jest sens robić wszystkie trzy rodzaje klatek kalibracyjnych kompaktem który po zrobieniu zdjęcia z czasem "x" drugi tyle je obrabia - zapisuje?

To o czym piszesz to robienie darka oraz odszumianie. Wystarczy jeszcze tylko zrobić flata. Nie musisz robić dodatkowych darków.

 

Większość nie uznaje tej metody ze względu na marnowanie czasu, który można by wykorzystać na naświetlanie obiektu. Ale wbrew wszystkiemu ja stosuję tą metodę. Działa.

[g.b.]

Nie można tego wyłączyć w moim aparacie do fotografowania dzieci. Jednak ostatnio więcej zdjęć z nieba niż dzieci. Bias odjąć id każdej klatki czy od składanej wynikowej?

[Jacek E.]

......Bias odjąć id każdej klatki czy od składanej wynikowej?

Tyle biasów co klatek i wychodzi master bias i odejmujesz od klatek light - choć są różne szkoły....

[Gość]

Zabrzmi to może dziwnie, ale kalibracja biasem i darkiem zwiększa nam ilość szumu w materiale (jeśli pominiemy hot piksele)

 

 

Chwileczkę - poproszę o konkretne dane wykres lub pomiar, że poprawna kalibracja "zwiększa szum" co w praktyce powinno znaczyć że zmniejsza stosunek sygnału do szumu. Zwracam Wam również uwagę, że to właśnie stosowanie filtrów kernelowych które usuwają hot-y może powodować, wrażenie zwiększenia szumu na wynikowych stackach a to z kolej wynika z tego w jaki sposób one działają. Bzdurą jest też, że wystarczy kilka biasów. Niezwykle popularne jest teraz stosowanie tzw. SuperBias czyli uśrednionych biasów z setek lub tysięcy pojedynczych biasów, no chyba że dysponuje się kamerą klasy Andor lub zbliżoną?. 

 

Poza latem nawet ze starszymi sensorami wystarczy dithering + seria biasów ale na poziomie 100-200 szt. Ja używam darków kiedy kamera pracuje powyżej -25st. C, i zwykle mam ich około 30-50szt.

[Jacek E.]

 

Poza latem nawet ze starszymi sensorami wystarczy dithering + seria biasów ale na poziomie 100-200 szt. Ja używam darków kiedy kamera pracuje powyżej -25st. C, i zwykle mam ich około 30-50szt.

 

Czyli jeśli kamerki nie schłodziłem poniżej 25 (zatarła by sie tak było ostatnio gorąco w Ustce a pompka mi padła) wystarczą poniżej -25  biaski i ditchering tak ???

Ale tych biasków aż tak dużo - 100-200  ??? Bo darków w banku mam 40 ale biasów też....

[jolo]

 

(...)

Chwileczkę - poproszę o konkretne dane wykres lub pomiar, że poprawna kalibracja "zwiększa szum" co w praktyce powinno znaczyć że zmniejsza stosunek sygnału do szumu. (...)

To jest akurat dość oczywiste - każda klatka kalibracyjna zawiera losowy szum. Master klatki kalibracyjne też zawierają szum, tylko mniej. Sumowanie dwóch losowych szumów nigdy nie da w wyniku szumu o mniejszej wartości. 

 

 

To fragment klatki 600s Ha - w okienku wartość przed kalibracją. Po kalibracji master biasem złożonym z 50 biasów Std dev. wzrasta do 32.837 - jest to suma geometryczna szumu tła klatki z materiałem i szumu tła klatki master bias (około 4 w moim przypadku). Kalibracja nie służy do zmniejszania losowego szumu w materiale - losowego szumu pochodzącego od promieniowania tła, czy prądu termicznego nie da się zmniejszać, bo w żaden sposób nie da się określić jego dokładnego rozkładu w obrazie. 

Z resztą sam poniżej piszesz o tym samym - setki albo tysiące klatek bias właśnie się po to stosuje, żeby ograniczyć wprowadzanie szumu kalibracyjnego do materiału. 

[Gość]

Po pierwsze masz rację. Jeżeli odejmiemy klatkę od klatki (jeden dark / jeden bias / jedna klatka L) szum wzrośnie choć o ile zależy od kamery i jej charakterystyki.

Użyłem sformułowania poprawna kalibracja bo:

1. Wiele osób popełnia błędy przy jej wykonaniu.

2. Wiele osób nie rozumie podstawowych pojęć takich jak to czym jest szum odczytu, szum termiczny a jedyny rodzaj szumu jaki wszyscy znają to tzw. hot pixele (bo te są po prostu najbardziej widoczne).

3. Rzadko kto mierzy i sprawdza jak działa jego kamera w zależności od temperatury, długości naświetlania i tego ile potrzeba do tego klatek kalibracyjnych.

Wszystko to powoduje, że wokół kalibracji narasta masa mitów i błędnych przekonań a jednym z nich jest to że po kalibracji szum rośnie.

 

 

Masz rację również co do random noise, ale matematyka jest w pewnym sensie podstawą astrofotografii i o ile Twoje stwierdzenie ma sens do pojedynczych klatek to suma kilkudziesięciu darków/biasów temu stwierdzeniu już przeczy. Dlatego właśnie klatek kalibracyjnych zawsze powinno być co najmniej powyżej 20 szt. bo po uśrednieniu bez normalizacji ten rodzaj szumu zostaje zminimalizowany a tym samym stopień w jakim wpływa czy to na pojedynczą klatkę czy na stack po kalibracji jest statystycznie pomijalny.

 

Co do Twojego pomiaru to zgadza się, ale czy to poprawna kalibracja? Nie, bo wykorzystałeś same biasy a przy ostatnio panujących temperaturach same bias-y to za mało.

Pomierzyłem swoją ostatnią sesję gdzie temperatura kamery wynosiła -21 stopni a czasy naświetlania wynosiły 600 sekund i wyniki są zgodne z Twoimi przy założeniu, że odejmujesz wyłącznie Mbias i tak:

1. Klatka bez kalibracji

   Pomiar Pixinsight.

   - stdDev    1737,0
   - avgDev    247,8

  Pomiar Maxim (area)

  - stvDev     3478,209

  - avgDev     105,682

 

2. Klatka po kalibracji wyłącznie bias (Pixinsight)

  Pomiar Pixinsight

  - stdDev    1737,9

  - avgDev   249,782

 

3. Klatka po pełnej kalibracji Pixinsight (20xdark / 50/2000 bias( norm/Sbias)

  Pomiar Pixinsigt

  - stdDev    1719,905

  - avgDev   240,844

 

4. Klatka po kalibracji Maxim DL
  Pomiar Pixinsight

  - stdDev   1719,9

  - avgDev   241,0

  Pomiar Maxim (area)

  - stdDev 2536,096

  - avgDev 94,582

 

Zdaję sobie również sprawę tego jak zwykle wygląda kalibracji, często ludzie składają na pałę bez klatek albo ze złymi bo później przecież można dorobić, ale zwykle do zdjęć obrobionych nawet bez kalibracji większość już nie wraca. O ile posiadacze kamer mają względnie łatwo czyli kamery działają liniowo i czasami klatki kalibracyjne będą użyteczne nawet kilak lat, to osobom używającym DSLR ciężko wbić się w podobne warunki i albo nie kalibrują, bo przecież można potem odszumić do bólu, zresajzować i na koniec wyostrzyć albo używają po kilka darków co faktycznie w finalnym stacku może generować brzydki niejednorodny szum tła. Dobra biblioteka darków to lepsze rezultaty zawsze, więc pamiętajcie o tym. Zachęcam również do prób i analiz we własnym zakresie, bo im lepiej poznacie sprzęt którym pracujecie tym łatwiej będzie Wam finalnie uzyskać z niego maksimum jego możliwości (stąd np. to co napisałem wyżej, że poniżej pewnej temperatury różnica po kalibracji u mnie jest praktycznie pomijalną stąd wyłącznie używam bias-ów, ditheringu oraz stakuje stosując sigma clipp).

 

Pozdrawiam!

[jolo]

Czy te pomiary robiłeś dla całej klatki? Jeśli tak, to zmniejszenie stdDev wynika z usunięcia/zredukowania hot pikseli, które nie są szumem losowym, tylko powtarzalnym wzorem, który można usunąć. Kiedy testowałem jedynie obszar tła, w którym nie było hot pikseli, nie udało mi się w żadnym etapie kalibracji (50x bias, 20x dark, 15x flat) zmniejszyć szumu tła w obszarze, w którym nie było hot pikseli. Na obrazku w moim poprzednim poście mierzę tło próbnikiem w miejscu, w którym ma hot pikseli (a przynajmniej ich nie widzę).

Ale tak jak piszesz - wpływ szumu master klatki kalibracyjnej jest pomijalny na materiał, o ile złożona jest z odpowiedniej ilości pojedynczych klatek, a flaty są dobrze naświetlone. Jednak wg mnie nawet master klatki kalibracyjne złożone z nieskończonej ilości ekspozycji nie zmniejszą szumu tła naszego materiału - zostanie on po prostu taki sam (z wyłączeniem hot pikseli, ale wg mnie nie są one częścią szumu losowego, bo to powtarzalny wzór).

[Gość]

W przypadku maxim pomiar area w obrębie bez gwiazd i hotów. W Pix crop 128x128 bez gwiazd i hotów. Wydaje mi się, że średnia random noise nie powinien przekraczać poziomu tła w przypadku LRGB i Ha (sensownie nasyconego) w przypadku siarki i tlenu może tworzyć poziom tła, a u mnie w klatkach 900s/21-22 st. C.  jest na poziomie około 250 ADU. Być może tak działa sensor 8300, choć wydaje mi się, że wyniki powinny być zbieżne. 

[jolo]

Ok, spróbuję powtórzyć te testy u siebie, tylko muszę dorobić klatek dark do biblioteki, bo ostatnio ich nie używam już wcale.

[jolo]

Zebrałem 15 darków 15 minut i zrobiłem znowu testy w Maximie na 15min klatce Ha:

 

 

 - fragment przed kalibracją std dev. 31.18

 - po kalibracji 50x bias 31.41

 - po kalibracji 15x dark  32.21

 - po kalibracji 50x bias + 15x dark  32.16

 - 15x dark std dev. 9.8

 - 50x bias std dev. 3.4

 

A więc za każdym razem klatki kalibracyjne dodają swoje szumy, co się zgadza z teorią. Jedyne co mi przychodzi do głowy w Twoim przypadku, to jakiś szczątkowy wzór obecny na klatkach dark.  Taki wzór jest potem usuwany master darkiem i "szum" się zmniejsza. Możesz spróbować z master darka usunąć filtrem hot piksele i puścić na tym FFT i zobaczyć czy coś wykaże. U mnie po usunięciu hot pikseli  transformata master darka jest gładka. 

[Gość]

Dokładnie zgodnie z teorią zawsze ta wartość powinna wyjść powyżej jeden a przy odjęciu pojedynczego darka określa się, że szum rośnie o 41% (średnio). Niemniej jednak każde podwojenie ilości darków (uśrednienie ich) powoduje zmniejszenie tej wartości o połowę. Stąd za wartość graniczną zwykle podaje się 16 sztuk darków a za optymalną od 32 wzwyż. Być może jakieś znaczenie ma to, że pix używa grubszej matematyki do sumowania a ja od jakiegoś czasu z dobrym skutkiem używam superbias, który to jest po jakimś przekształceniu wielkoskalowym i losowy szum jest w nim równy zero. Być może znaczenie też ma to, że Ty sprawdzasz na klatkach Ha (?) a ja na L gdzie losowy szum jest przykryty sygnałem, być może w takim przypadku wartości te są inne a ja na pewno postaram się sprawdzić z jakimś dobrym materiałem w Ha bo sprawa jest co najmniej intrygująca.
Z ciekawości napisz mi czy używasz "normalnie" kalibracji czyli z automatu w maximie i która to wersja programu.

 

Pozdrawiam!

[jolo]

Te pomiary robiłem w Maximie 6.0.8, władowałem klatki kalibracyjne do biblioteki, zrobiłem master klatki i potem zahaczałem te, których chciałem używać.

A jak robiłeś Twoje pomiary w Pixie to przy kalibracji darkami miałeś zahaczone pole "Optimize"? Wtedy master dark jest tak skalowany, żeby w wynikowym materiale był jak najmniejszy szum i to może zniekształcać wyniki.

[Gość]

Po przebiciu się przez masę materiałów, wyników wykresów i teorii nie ma jednoznacznej odpowiedzi poza tym, że nasze wyniki nie będą identyczne bo to różne przetworniki. Owszem teoria jest taka, że podczas kalibracji faktycznie dodajemy nieco szumu do kalibrowanych klatek. Niemniej jednak ze statystycznego punktu widzenia przy prawidłowej ilości darków i biasów różnica pomiędzy klatkami skalibrowanymi i gołymi w zasadzie nie powinna być większa niż 0,5-1,5ADU i co ciekawe może być zarówno na "+" jak i na "-" . Co ma wpływ na te wyniki (bo okazuje się, że dużo więcej niż sam początkowo sądziłem) oczywiście najistotniejsza jest temperatura w której kamera pracuje (czyli do jakiej jest schłodzona), duże znaczenie ma fizyczna dynamika ale ta jak wiadoma też po części zależy od szumu (czyli od temperatury) a im dalej sięgamy w tych rozważaniach tym ilość zmiennych które mogą powodować różnice w naszych wynikach rośnie. Może to być zależne od wzmocnienia jakie ustawił producent w kamerze, mogą to być ustawienia parametrów kalibracji (które to na dobrą sprawę powinny być dopasowane do każdej kamery oddzielnie), może to być na dobrą sprawę nawet wilgotność w której w danym momencie  pracuje elektronika. 

 

Jeżeli masz czas i ochotę to czysto eksperymentalnie zrób nieco więcej darków (w tym przypadku 15szt. to trochę mało, choć przy klatkach 900s. więcej to szaleństwo czasowe), ja za to postaram się zapuścić w obserwatorium znacząco większą ilość klatek kalibracyjnych (pewnie do 128) i postaram się zrobić jakiś szybki materiał na którym można by zbadać te zależności. Może uda się wypracować jakąś sensowną konkluzję dla szerszego ogółu. Na teraz nie zmieniam zdania choć nie wiem czy nie zrewiduję swoich przyzwyczajeń co do nie stosowania darków przy niższych temp. Bo w większości tego co przeczytałem stosowanie kalibracji jednak jest zdecydowanie zalecane.

Pozdrawiam!
 

[MaPa]

Z praktyki posiadania linii ST...: ST2000, ST8300, STL11000 - kalibracja ZAWSZE dla lepszych rezultatów ! ( flaty i darki ).

 

Flaty odswierzam co jakiś czas np co 6 mies. Darki co roku.

Flatów robię 30, darki 10-12.

Takie wyniosłem doświadczenie i takim się dzielę.

 

Można więc robić skróty przy kamerkach ale trzeba wiedzieć jakich i potwierdzić z innymi posiadaczami którzy się przebili przez konkretny model.

[dziki]

NA tyle często padło słowo flat, że podpytam :)

Jeśli nic nie pokręciłem, to flat ma być na poziomie 2/3 max ADU kamery Czyli dla QHY8L to będzie jakieś 40000 ADU.

 

Pytanie (jeśli nic nie pomieszałem): dla flatów dla Ha muszę dawać czas 240 sek albo i dłużej, żeby osiągnąć taki poziom. Wyłazi wtedy masa hotpixeli na takim pojedynczym flacie - czy to jest normalne?

[jolo]

Do tak długo naświetlanych flatów (z chłodzeniem je naświetlasz?) powinno już się stosować odpowiednie darki - wtedy można takie flaty skalibrować. Ewentualnie daj więcej mocy do flatownicy :) 

[dziki]

Tak tak z chłodzeniem. Moja flatownica nie ma możliwości dodania więcej mocy. A jak się robi darki do takich flatów?

[Alien]

Jak dobrze pamiętam tak jak zwykły tylko czasy takie jak flaty z zakrytym obiektywem. I w tych samych warunkach.

;)

[jolo]

Tak jak do klatek light - musisz zachować taki sam czas naświetlania i temperaturę. Potem to już w zależności od softu jaki stosujesz do kalibracji, jak Maxima to jak wrzucisz te wszystkie klatki do biblioteki to sam sobie wybierze odpowiednie i skalibruje (w okienku Set Calibration, przycisk Advanced musisz mieć zaznaczone pola Dark substract flats i Bias substract flats, domyślnie są).

[wessel]

Z praktyki posiadania linii ST...: ST2000, ST8300, STL11000 - kalibracja ZAWSZE dla lepszych rezultatów ! ( flaty i darki ).

Flaty odswierzam co jakiś czas np co 6 mies. Darki co roku.

Flatów robię 30, darki 10-12.

Takie wyniosłem doświadczenie i takim się dzielę.

Można więc robić skróty przy kamerkach ale trzeba wiedzieć jakich i potwierdzić z innymi posiadaczami którzy się przebili przez konkretny model.

Ta sama stara szkola. :) postepuję od lat dokładnie tak samo jak Marcin. Z ta samą linią kamer. Ostatnio przeniosłem ten zwyczaj na ATIKA i też działa.

Flaty odświeżam w zasadzie przy zmianie setupu, chyba że coś mnie niepokoi na obrazku.