Fast photometry tests


Punkt odniesienia - fotometria zrobiona programem daophot
  1. Normalna szybka fotometria
  2. Apertury kolowe
  3. Apertury typu kluster of any shape
  4. Inna gwiazda
  5. Gdzie robilem testy
  6. Chlodzenie kamery do -20

1. Normalna szyba fotometria ( CPiPhotometry::ExecPhotometryBase )

Na danych 20061127 z flara wykonalem standardowa szybka fotometrie. Normalne katalogowanie uzywa sredniej mangitude z 3 apertur. Wyszlo
to dla flary dosc marnie :
             Standard fast photometry - srednia z 3 apertur
                                                                                                            x
                                                                                                          xxx
Te 3 apertury to 3x3 +3 max of neighbours , 3x3 oraz 3x3 + 4 =   xxxxx                
                                                                                                          xxx
                                                                                                            x

Natomiast pozniej skatalogowalem oddzielne 3 apertury uzyskujac :

2. Apertury kolowe  ( CPiPhotometry::ExecPhotometryBaseTEST )

Zrobilem testy apertur kolowych o roznych promieniach :


3. Apertury typu - cluster of any shape ( CPiPhotometry::ExecPhotometryBaseTEST )


Czyli uzywajace N maxymalnych pixeli wokol pixela o najwiekszej jasnosci , ale o dowolnym ksztalce w przeciwienstwie do 3x3 + 3 max.
Dla roznych N otrzymalem :


4. Inna gwiazda :


daophot , 3x3+3 , kolowa r=3 , max_12_pixels

5. Gdzie robilo sie testy

heplx43 :
    cd /pi20/msok/badania/piphoto/
    /scratch/pi_fits2004a/results/fast/20061127/
piphoto - -dark=dark1.fit -dir=../mag1/ -flat=flat1.fit -list=list_to_process -flip -tresh=3.5 -outlist=../mag1/mag_list

Katalogowanie innych apertur niz srednia ze wszystkich : opcja -apert=0 - czyli apertura numer 0

Jeszcze troche testow na pojedynczej klatce : heplx43:/pi20/msok/badania/fast_photo/20061127/


6. Chlodzenie kamery do -20

Test z mocniejszym chlodzeniem zostal wykonany w nocy 20070117, byla to noc z nowiem. W pliku ccd.cfg dla tej nocy na poczatku wstawilem nastepujace ustawienia :

            # testing strong cooling :
            CCD_ACTION_ON_TEMP_WAIT_FAIL=0
            CCD_TEMPERATURE=-20
            CCD_WAIT_FOR_DESIRED_TEMP_IN_SEC=900

co pozwolilo chlodzic ja caly czas ( action on failed = 0 - kontynuacja chlodzenia )
Oprocz tego zeby za duzo nie jezdzic po niebie ustawilem w $NDIR/cfg/ccd.cfg :

           CCD_AUTOPOINT_SWIFT=0
           CCD_AUTOPOINT_INTEGRAL=0

niestety nie ustawilem tego :
           CCD_POINT_IO=0
przez co jezdzilismy do obiektow GTN , zamiast jezdzic tylko za polem RESERVED.
Ale i tak wyszlo pare ciekawych obserwacji , po pierwsze jak kamera chlodzi to daje stabilniejsze odczyty , dla darkow tak wygladaja srednie z pojedynczych klatek :
       [11:09:44][pi@pi2:/data2/results/20070117/DARK]$  for fits in `ls *fitc`; do getstat $fits | grep Average; done
        Average = 2106.123058
        Average = 2097.528884
        Average = 2085.486661
        Average = 2085.080188
        Average = 2082.613167
        Average = 2082.412161
        Average = 2083.629555
        Average = 2083.927764
        Average = 2084.615059
        Average = 2083.746407
        Average = 2084.073490
        Average = 2082.601885
        Average = 2082.877441
        Average = 2081.136584
        Average = 2081.317529
        Average = 2079.858264
        Average = 2079.424855
        Average = 2077.437225
        Average = 2076.856011
        Average = 2074.780158
        Average = 2073.953519

Wazne jest to ze temperatura chipu wynosila -10 , bo kamera nie zdarzyla sie nizej chlodzic, ale to ze chlodzila caly czas wyraznie ja stabilizuje ...
Pozniej zeszla maxymalnie do -17 i zostala przelaczona na reszte nocy na -10 zeby miec porownanie , niestety pozniej zmienilismy pole co moze
zaciemnic analize, moze trzeba by ten test powtorzyc !

Data aver20 is copied on heplx48:/disk03/results/PI_PIPELINE/20070117 and cataloged to database 20070117@heplx48
Katalogi z tej nocy :


Przylad wycinka o tym samym rozmiarze :

Katalogowanie ~100 klatek za pomoca szybkiej fotometrii :

Porownanie tego samego pola :

Wyglada na to ze przydaloby sie zrobic dark-a przy T=-17 i jeszcze raz zredukowac i skatalogowac dane, trzeba bedzie to zrobic, moze w czasie mojej szychty ???
Albo jutro rano - okolo 9-10 mozna zrobic darka dla -17 i -10 i -14

Jak sie wykonuje taki test :

           - SZYCHTA : W srode zrobie taki test - ustawie -20 deg, ale potem w skrypcie wstawie zmiane na -10
          zeby jej cala noc nie meczyc
          ustawic na -12 i zebrac darki ?
          Sprawdzic jak ustawic tak zeby jak sie nie schlodzi to chlodzil dalej -
          opisac na www o ile nie jest  :
              CCD_ACTION_ON_TEMP_WAIT_FAIL=0
              czas chlodzenia na 15 minut
           $NDIR/cfg/ccd.cfg - wylaczylem autopointing na SWIFTa
         skatalogowac te pomiary z 20070117 w WAW
         Trzeba powtorzyc ten test bo zmienilismy pole i te same gwiazdy nie sa
         dostatecznie dlugo sledzone !
         Znow powtorka , bo nie zostawilem autoguide - przygotowac skrypt ale
           zostawic autoguide, wywalic scan wieczorny i point_best_target
                                                                                                             
           /lhome/piwww/www/pi0/daq/curves/heplx48/cooling/20070117/pi


          Ustawienia :
  1.           w nocnym ccd.cfg :
      # testing strong cooling :
      CCD_ACTION_ON_TEMP_WAIT_FAIL=0
      CCD_TEMPERATURE=-20
      CCD_WAIT_FOR_DESIRED_TEMP_IN_SEC=900
  2. zmiany w globalnym $NDIR/cfg/ccd.cfg - zeby tylko RESERVED command uzywac,    czyli odkomentowac :
        # temporary using only RESERED command :
        # CCD_AUTOPOINT_SWIFT=0
        # CCD_AUTOPOINT_INTEGRAL=0
        # CCD_POINT_IO=0
  3. Ze skryptu nocnego wywalic scan i wylaczyc cron_point_best_target_on, ale zostawic cron_send_pos_to_mount !!!

                                                                                                             
  Noc 20070119 :
Images up to k2a_070119_00936.fitc T=-14/-15 C
Images from k2a_070119_00945.fitc T=-10 C
                                                                                                             

7. Efficiency problems on pi2

Robie profiling :
    export OPT="-g -pg"
    cd $SRCDIR/
    make clean
    make all
    cd /data2/results/20070201/test
    piphoto k2a_070201_00023.fitc -dark=../dark1.fit -tresh=5.0 -fv

Wiadomo o co chodzilo - tam jest laplace 12 a nie 4 a dla niego jakos wiecej gwiazd do liczenia klustra wychodzi i przez to strasznie wolno dziala
Zmienilem ze w piphoto zawsze jest g54 ( lap=4 ) uzywane, ale mozna pomyslec o poprawie liczenia klustra lap=12 zeby tez dzialal szybko !
Moze sposob LWP bedzie szybszy ????
i zobaczymy ...

- czemu na niektorych klatkach piphoto dziala tak wolno - zobaczyc np
   pierwsza klatke z nocy 20070201
  piphoto dziala blyskawicznie , to czemu w daq-u tak dlugo dzialalo ???
  dziwnie wolno dziala piphoto na niektorych klatkach :
      cd pi2:/data2/results/20070201/test
      piphoto k2a_070201_00023.fitc -dark=../dark1.fit -tresh=5.0 -fv
  o co chodzi ??? czy to z obciazenia tylko ? to raczej nie to musi
                                                                               
  na tym duzo spedza czasu !
   CCD_Analyser::FindClusterAboveTresholdOpt3
   y=149 dt=1670000 cluster_calls=205
  przy takiej liczbie wywolan / rzad w Y to juz zaczyna sie slimaczyc !
  moze trzeba to zmienic na sposob lecha ???
                                                                               
  Jest to kwestia tego, ze laplacjan jest inny numer 12 na pi2
  a w WAW jest 4
  Mozna do celow fotometrii kazac uzywac laplace=4
  Chyba na razie musze podmienic na pi2 laplac na g54, czyli =4
  Dla dosc jasnych klatek strzaszliwie wolno to dziala , mozna
  poprawic robiac cluster metoda Lecha , lub zmienic laplace na razie
  chyba tak wlasnie to zrobie
                                                                               
  1/ TO JUZ ZROBIONE
      albo zrobic zeby zawsze w fotometri uzywac g54
     to mozebyc bardziej skomplikowane, ale da sie zrobic
     ZMIANA : ccd_matrix.h ccd_matrix.cpp
  2/ albo przyspieszyc ten cluster, moze to cos da ? zmiana na sposob lecha
     - WYPROBOWAC SPOSOB LWP
  

ZROBIONE :                                                                            

Ostatecznie zrobilem tak ze szybka fotometria uzywa do wykrywania gwiazd laplace = 4 ( g54 ) zawsze tak samo, niezaleznie od tego jaki laplace jest
uzywany do wykrywania blyskow. Ewentualnie mozna zrobic oddzielny paramter do tego, ale to chyba nie jest konieczne, zawsze moze to byc g54 , przynajmniej
do poki nie zrobimy testow czy jest jakis lepszy ten laplace=12 nie koniecznie , musi byc lepszy. A nawet z tego jak wolno dziala na jasnych klatkach widac ze moze on byc gorszy
do tego celu !
   ZAPISKI :

         TESTOWAC :  piphoto po poprawce zeby zawsze lap=4 ( g54 ) byl do
          znajdywania gwiazd uzywany !
           testy pi2 :
              OLD/ - tak jak bylo kiedys ( dla lap=4 )
              OLD2 - to samo co OLD/
              NEW/ - nowa wersja ale lap=12 - TO JEST INNE NIZ OLD , bo CLUSTER po lap=12 !!!!
              NEW2 - nowa wersja ale lap=4
           trzeba by to poprawic, ale na razie ustawie lap=4 zeby nie bylo
           nie konsystencji
          Test taki zeby nowa wersja z lap=12 w ccd.cfg dawala taki sam wynik
          jak wtedy kiedy ma w pliku ccd.cfg lap=4 - tzn zeby naprawde
          lap byl zawsze 4 uzywany !!! :
              cd /pi20/msok/data/20070201
              ./doit!
              ./doit2!
              cd 1/
              dumpmag!
              EDIT ccd.cfg zmienic LAPLACE na 12
              cd ../2
              dumpmag!
              cd ..
              diff 1/k2a_070201_00023.txt 2/k2a_070201_00023.txt


8. XY coordinates of stars :

Fractional parts of x,y coordinates calculated from centroid, it prefers center of pixel ( 0.5 ) :
x_fractional , y_fractional
         
It looks like mostly 1 pixel contrbitutes ( peak at 0.5 ) or 2 pixels - peaks at ( 0.0 and1.0 )


9. Black pixel problem and treshold not continuity

On images with full moon black pixels are clearly visible - for example here ( /pi20/msok/data/20070301/ ) . I restored idea of black pixel ratio ( min_minus/aver_minus )
and the distribution of accepted pixels black_ratio is here. This mean cut can be like in algorithm (0.5) , or even 0.6-0.8 this eliminates rings which were visible in the begining.
Safe cut value - giving much faster results is 0.2
However rectangular structure is still visible . This structure is due to the fact that treshold map 10x10 is used and it is not smooth, I tried to smooth it and it by binlinear interpolation
and obtained the following map of tresholds . And after using this map of tresholds the rectangular structure disapears from the star distribution on the image , this is now commented in the code
but should be considered to be enabled.
NOTE : it is now commented , but should be considered !!!