Skocz do zawartości

PixInsight - szum vs kalibracja


RadekK

Rekomendowane odpowiedzi

Mam to wyjątkowe (nie)szczęście fotografować niebo pod zaświetlonym miejskim niebem (Warszawa). Taka lokalizacja ogranicza z pewnymi wyjątkami do fotografii wąskopasmowej w palecie HST (HaOIIISII). RGB to nieprawdopodobne wyzwanie. W tym ostatnim pomóc mogą filtry interferencyjne IDAS, ale jak wiemy czarów nie ma więc szum tła pozostaje na wysokim poziomie. Ostatnimi czasu ekperymentując trochę zauważyłem istotną różnicę poziomu szumu pomiędzy stackiem niekalibrowanym i kalibrowanym (dark, flat, bias). Materiał zbieram gównie za pomocą Atik 460ex mono, a 95% całego procesu obróbki wykonuję w PixInsight 1.8. Wczoraj wykonałem test i porównanie poziomu szumów na stacku 40x900s Ha:

  1. bez żadnych klatek kalibracyjnych
  2. kalibracja tylko dark
  3. kalibracja tylko flat (nie kalibrowane darkiem)
  4. kalibracja pełna - dark, flat, bias

Wynik takiego porównania widać na poniższym obrazku. Pytanie skąd taki szum po kalibracji. Ciekawostka jest taka, że poziom szumu (pomiar w PixInsight) jest taki sam na każdym stacku i wynosi ok 29%

calibation_test.png

  • Like 1
Odnośnik do komentarza
Udostępnij na innych stronach

50 minut temu, RadekK napisał:

Ciekawostka jest taka, że poziom szumu (pomiar w PixInsight) jest taki sam na każdym stacku i wynosi ok 29%

Te zdjęcia są chyba trochę inaczej wyciągnięte (pierwsze jest ciemniejsze). Zrób w każdym jakiś niewielki Preview w mniej więcej tym samym obszarze i pomierz tam szum tła. Żeby wizualnie porównać, to (z tego co pamiętam), możesz zrobić Linear Fit na każdym z obrazków a potem wyciągnąć tą samą krzywą w Histogram Transformation. Jak na każdym zdjęciu zaaplikujesz STF, to algorytm dobierze różne współczynniki w zależności od poziomów sygnału w obrazie.

Do materiału 40x900 z Ha warto by mieć z 20 darków, ale różnica wg mnie nie będzie zbyt duża. Wyjdzie w pomiarach, ale wizualnie raczej nie. Biasów - wiadomo, ile wlezie, z 50 albo 100. 

jolo-astrojolo.png

Odnośnik do komentarza
Udostępnij na innych stronach

Dzięki za kierunek Łukasz. Wszystkie zdjęcia są zaraz po stackowaniu wyciągnięte STF->Histogram Transformation, celowo nie wyrównywałem stacków (różnicując) żeby mieć surowe porównanie. Biasów robię równe 50 i w pixie generuję superbias.

Zastanawia mnie natomiast różnica w wynikach stackowania w Pix i innych programach. @Nowok76 wczoraj zestackował moją surówkę w Maximie i dostał super gładki materiał z szumem na poziomie 5%. Ja stackuję używając average and sigma clipping albo windsorized sigma clipping. Klatki kalibracyjne stackuję zgodnie z dokumentacją Pixa. Zadziwiające...

Odnośnik do komentarza
Udostępnij na innych stronach

Ja nie potrafiłem dojść do porządku z kalibracją w Pixie i zarzuciłem ten temat dość dawno temu. Zazwyczaj flaty mi nie działały jak powinny, a czasami też miałem za dużo szumu. Kalibruję w Maximie, a wyrównuję i składam potem w Pixie. 

Jak masz darki dopasowane do lightów i flatów (czas, temperatura, w CMOSach jeszcze gain i offset), to możesz zrezygnować z biasów - one są tylko do skalowania. Tylko że z tego co pamiętam Batch Processing w Pixie nie przejdzie kiedy nie ma biasów i trzeba kalibrować ręcznie :( 

PS - kalibracja zawsze dodaje nieco szumu do klatek, ale za to usuwa hot piksele, amp glow, padnięte kolumny, usuwa winietę i paprochy. Im więcej klatek kalibracyjnych, tym mniej szumu zostanie dodane. Na pewno klatka po kalibracji nie powinna zawierać wizualnie więcej szumu, niż przed 

 

  • Like 1

jolo-astrojolo.png

Odnośnik do komentarza
Udostępnij na innych stronach

7 minut temu, jolo napisał:

 Tylko że z tego co pamiętam Batch Processing w Pixie nie przejdzie kiedy nie ma biasów i trzeba kalibrować ręcznie :(

Ale biaski to tylko mignięcie :)

Serdecznie pozdrawiam i kryształowego nieba życzę - Jacek  ?
TS T APO 90/600 z TSFLAT2 + Samyang 135 f2 ED z QHY183C + AS 60/240 z RC IMX290M + Canon 550D - sadzane na ZEQ25GT + Nikon 12x50 EX do podglądania.

Odnośnik do komentarza
Udostępnij na innych stronach

12 minut temu, jolo napisał:

Jak masz darki dopasowane do lightów i flatów (czas, temperatura, w CMOSach jeszcze gain i offset), to możesz zrezygnować z biasów - one są tylko do skalowania. Tylko że z tego co pamiętam Batch Processing w Pixie nie przejdzie kiedy nie ma biasów i trzeba kalibrować ręcznie :(

 

Kalibruję ręcznie. Jakoś nie wierzę automatom ? Biasy faktycznie można sobie odpuścić, tym bardziej że w bardzo niewielkim stopniu wpływają na wynik końcowy.

Odnośnik do komentarza
Udostępnij na innych stronach

Ja też kalibruję wyłącznie w Maximie. To w końcu jest natywne zajęcie dla tego softu i po to był pisany. Dodatkowo Pix od pewnego czasu nie optymalizuje procedur pod format fits - c wyraźnie jest powiedziane- natomiast wymuszą zapis w xsif - potem trzeba robić konwersję. A więc Pix tak - ale do alignacji, histogramu, krzywych, maski,przekształceń nielinowych - ale nie do kalibracji

Odnośnik do komentarza
Udostępnij na innych stronach

Dzięki panowie. To zaskakujące odkrycie i ważna informacja dla wielu astroamatorów. Od pewnego czasu miałem podejrzenia, że coś jest nie tak z kalibracją w Pixie, ale dopiero ostatnio zacząłem się temu przyglądać bliżej. Wczorajsze porównania zupełnie mnie zaskoczyły. Wniosek taki, że Pix nie robi swojej roboty jest chodzi o kalibrację klatek. Przy okazji ciekawostka z innego źródła, najlepiej w porównaniach jakości stackowania wychodzi linuksowy Siril.

PS. A może jakiś wspólny projekt porównujący jakość stackowania za pomocą różnych pakietów oprogramowania?

 

Odnośnik do komentarza
Udostępnij na innych stronach

Godzinę temu, RadekK napisał:

PS. A może jakiś wspólny projekt porównujący jakość stackowania za pomocą różnych pakietów oprogramowania?

Jasna sprawa - ja jestem chętny. Możemy wykorzystać materiał np stąd https://www.forumastronomiczne.pl/index.php?/topic/14818-surówki-i-półsurówki-do-zabawy/ . 

Ciemna mgławica TGU H469 P2 w IC1318 - są tam skalibrowane klatki, a w kadrze sporo jasnych i ciemnych partii do próbkowania szumu. Klatek jest z tego co pamiętam 60, to można też oprócz algorytmów przetestować też różne ilości klatek. 

jolo-astrojolo.png

Odnośnik do komentarza
Udostępnij na innych stronach

13 godzin temu, jolo napisał:

Jasna sprawa - ja jestem chętny. Możemy wykorzystać materiał np stąd https://www.forumastronomiczne.pl/index.php?/topic/14818-surówki-i-półsurówki-do-zabawy/ . 

Ciemna mgławica TGU H469 P2 w IC1318 - są tam skalibrowane klatki, a w kadrze sporo jasnych i ciemnych partii do próbkowania szumu. Klatek jest z tego co pamiętam 60, to można też oprócz algorytmów przetestować też różne ilości klatek. 

Pobrałem materiał do testów. Przydałyby się do tego klatki niekalibrowane i klatki kalibracyjne, tak żeby złapać różnicę nie tylko w stackowaniu ale również w kalibracji. Masz gdzieś jeszcze w swoich archiwach?

Odnośnik do komentarza
Udostępnij na innych stronach

2 godziny temu, RadekK napisał:

Pobrałem materiał do testów. Przydałyby się do tego klatki niekalibrowane i klatki kalibracyjne, tak żeby złapać różnicę nie tylko w stackowaniu ale również w kalibracji. Masz gdzieś jeszcze w swoich archiwach?

Nie mam niestety surowych klatek i odpowiednich kalibracyjnych do tego materiału. Jak się odrobię, to przygotuję coś z bieżących materiałów. 

13 godzin temu, tayson.82 napisał:

Dla klatek kalibracyjnych w maximie pierwsze okienko po lewej po środku wybierz none. Nie będzie Ci temperaturowo skalowal klatek kalibracyjnych. 

Maxim domyślnie nie skaluje darków z temperaturą. Przy domyślnym ustawieniu Auto-Scale skalowany jest tylko czas ekspozycji (potrzebne są biasy). Przy Auto-Optimize program iteracyjnie próbuje znaleźć najlepsze skalowanie darka tak, żeby uzyskać jak najmniejszy szum. 

jolo-astrojolo.png

Odnośnik do komentarza
Udostępnij na innych stronach

Ciekawa sprawa, którą zauważyłem przechodząc kolejny raz przez kalibrację, jest taka że w nagłówku pliku xisf (domyślny format w PixInsight) po stackowaniu nie ma informacji ani o temperaturze ani o czasie ekspozycji. Rodzi się pytanie, w jakis sposób Pix skaluje darki przy kalibracji flatów. Przy braku informacji o czasie ekspozycji i temperaturze to jest awykonalne albo flaty musiałyby być robione z czasem darków (co jest oczywiście absurdalne). @jolo możesz to sprawdzić na drugą parę oczu?

Odnośnik do komentarza
Udostępnij na innych stronach

Też nie widzę tych informacji w stacku z Pixa. Chyba nie ma takiej opcji, żeby podczas kalibracji klatek light w Pixie skalibrować prawidłowo flaty zaznaczając po prostu pole Calibrate. Trzeba odpowiednio przygotować master flata wcześniej, żeby nie trzeba było używać pola Calibrate. 

  • Like 1

jolo-astrojolo.png

Odnośnik do komentarza
Udostępnij na innych stronach

1 godzinę temu, jolo napisał:

Trzeba odpowiednio przygotować master flata wcześniej, żeby nie trzeba było używać pola Calibrate. 

Robię ręczną kalibrację flatów, ale... jak mają się skalibrować 1s flaty masterdarkiem stackowanym z klatek 900s. W masterdarku nie ma informacji o czasie, we flatach jest bo to fitsy - w takiej sytuacji kalibracja flatów jest nieprawidłowa, i prawdopodobnie to wprowadza jakiś szum do stacku lightów. Teoretycznie można nie kalibrować flatów i w pierszej kolejności skalibrować lighty niekalibrowanymi flatami (dzielenie), a następnie skalibrować darkami i biasami (odejmowanie). Wydaje się, że ta kolejność ma znaczenie, żeby drugi krok odjął szum odczytu i temperatury w sposób prawidłowy.

Odnośnik do komentarza
Udostępnij na innych stronach

No to nie ma prawa zadziałać :)  Do przeskalowania darków potrzebny jest czas ekspozycji i masterbias - bo skaluje się jedynie prąd ciemny. Przy skalowaniu darka (z czasem ekspozycji) od masterdarka odejmowany jest masterbias, następnie wynik jest skalowany i ponownie dodawany jest offset.

Ale też flaty muszą być skalibrowane, żeby prawidłowo działały - to było dla mnie jakiś czas temu odkrycie. Działanie flata polega na podzieleniu sygnału z klatki light przez sygnał z klatki flat (plus normalizacja potem):

S = SL / SF

Ale w klatce zarówno flat jak i light nie mamy zawartego tylko sygnału, ale sumę sygnału, prądu ciemnego i offset. Dopóki ich nie skalibrujemy (nie odejmiemy darków) to dzielenie nie da prawidłowego wyniku, bo dzielić musimy tylko sygnał bez pozostałych składników. Gdy nie kalibrowałem flatów często miałem po kalibracji materiału różne nadkorekcje - pączki wychodziły zbyt jasne, podobnie winieta z pociemnienia stawała się pojaśnieniem. To był też ten moment, kiedy przerzuciłem się z kalibracją z Pixa na Maxima. 

Obecnie nie używam w ogóle biasów. Kalibruję materiał jedynie odpowiednimi darkami i flatami z odpowiednimi dark flatami. 

  • Like 1

jolo-astrojolo.png

Odnośnik do komentarza
Udostępnij na innych stronach

Tak więc mamy wstępnie ciekawe odkrycie dotyczące Pixa - kalibracja flatów może zachodzić nieprawidłowo z darkami. Rozwiązaniem faktycznie są dark flaty, które mają czas flatów więc nie muszą być skalowane przy kalibracji (tak jak darki o czasie różnym od flatów). Potwierdzę to jeszcze ekperymentalnie, ale wygląda na to, że w PixInsight kalibracja flatów jest błędnie zaimplementowana.

Odnośnik do komentarza
Udostępnij na innych stronach

  • 2 tygodnie później...
W dniu 23.09.2018 o 11:26, RadekK napisał:

Tak więc mamy wstępnie ciekawe odkrycie dotyczące Pixa - kalibracja flatów może zachodzić nieprawidłowo z darkami. Rozwiązaniem faktycznie są dark flaty, które mają czas flatów więc nie muszą być skalowane przy kalibracji (tak jak darki o czasie różnym od flatów). Potwierdzę to jeszcze ekperymentalnie, ale wygląda na to, że w PixInsight kalibracja flatów jest błędnie zaimplementowana.

czy aby nie są to zbyt pochopne wnioski?
proponowałbym prześledzić proces wprowadzania "dark frame optimalization" w PI, było to chyba w okolicach wersji 1.6. Wtedy to po raz pojawiło się stwierdzenie "nie marnuj czasu na flat darki" i dość szeroka dyskusja na ten temat. Mi już to wyleciało z pamięci i nie czuję się na siłach aby to szerzej opisywać (szukanie jakichś min/max jakichś funkcji tam chyba było, na pewno nie zależność od exposure time). Zapewne pojawiły się do obecnej wersji jakieś udoskonalenia w algorytmie optymalizacji darków, od początku wzbudzało to kontrowersje, ale było promowanym rozwiązaniem autorów PI. Tak też interpretuję BP, w którym nie mamy zakładki flat darks. Razem z algorytmem były chyba także jakieś zalecenia do akwizycji.
niemniej z przyjemnością zapoznam się z aktualnymi wynikami testów:
a. kalibracja innymi narzędziami
b. kalibracja w PI za pomocą narzędzi IC i II z wykorzystaniem  flat darków  (tylko trzeba uważać na różne ustawienia w IC i II na poszczególnych etapach! )
c. kalibracja w PI za pomocą BP (bez flat darków)

ps. ja pkt. b) uznawałem za zbyt pracochłonny (i błędogenny bo łatwo było przeoczyć jakieś ustawienie) i do czasu pojawienia się BP wykorzystywałem starego dobrego DSS, ale od czasu gdy się pojawił  wszytko robię już w PI (zaznaczam "calibrate only" ale to już inna sprawa)

Odnośnik do komentarza
Udostępnij na innych stronach

Znam wątek "dark frame optimization". Ba, od kiedy istnieje ta opcja to z niej korzystam. Ostatnio jednak przyjrzałem się nagłowkom dark stacków i... nie ma w nich żadnego parametru, który umożliwiałby kalibrację flat z uwzględnieniem różnicy ekspozycji dark. Chyba, że coś przeoczyłem. Zawsze przyda się druga para oczu więc spójrz po swojej stronie.

PS. rozwiń BP, bo nie wiem o czy mowa ;)

Odnośnik do komentarza
Udostępnij na innych stronach

Dzięki za rozwinięcie BP. Nie używam, stackuję ręcznie za pomocą ImageIntegration.

Tak, o tym pisałem. Z tą różnicą, że w stacku robionym za pomocą ImageIntegration nie ma w nagłówku paramteru EXPTIME i to mnie skłoniło do wniosków jak wyżej. Sprawdź, jeśli możesz, po swojej stronie. Za to wyraźnie (co widać na Twoim screenshot) skrypt BatchProcessing taki nagłówek dodaje i w efekcie optymalizacja darków do kalibracji flatów ma punkt odniesienia. Bardzo ciekawe... Spróbuje odpalić całość z wykorzystaniem BP i porównam wyniki.

Odnośnik do komentarza
Udostępnij na innych stronach

Dołącz do dyskusji

Możesz dodać zawartość już teraz a zarejestrować się później. Jeśli posiadasz już konto, zaloguj się aby dodać zawartość za jego pomocą.

Gość
Dodaj odpowiedź do tematu...

×   Wklejono zawartość z formatowaniem.   Usuń formatowanie

  Dozwolonych jest tylko 75 emoji.

×   Odnośnik został automatycznie osadzony.   Przywróć wyświetlanie jako odnośnik

×   Przywrócono poprzednią zawartość.   Wyczyść edytor

×   Nie możesz bezpośrednio wkleić obrazków. Dodaj lub załącz obrazki z adresu URL.

  • Ostatnio przeglądający   0 użytkowników

    • Brak zarejestrowanych użytkowników przeglądających tę stronę.
×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Umieściliśmy na Twoim urządzeniu pliki cookie, aby pomóc Ci usprawnić przeglądanie strony. Możesz dostosować ustawienia plików cookie, w przeciwnym wypadku zakładamy, że wyrażasz na to zgodę.

© Robert Twarogal * forumastronomiczne.pl * (2010-2023)