On-line algorithm modifications

0. Track problem

Tracks paramters were set to strictly for often field changes ( to many images back checked )
        Zapiski :
                  - ccdsingle - trzeba ustawic : CCD_NUM_BACK_FRAMES_FOR_TRACK=1
   ale dlaczego to nie dziala dobrze bez tego ????
   cos sie na koncu pola nie dumpuje dobrze !!!
   num_back=2 - sprawdzic co sie dzieje na koncu obserwacji pola
   - jeszcze to sprawdzic , bo mogloby byc 200 gdyby sie w odpowiednim
   momencie dumpowalo !
Testing environment : heplx43:/opt/pi/dev/pisys/daq/ndir/data/20070307
   check_final_in_verif!
   load_final_from_verif!
   /data2/results/20070212/RESULTS/

   mozna juz tym sciagnac zalegle przypadki !!!
potem na heplx40 :
     synchro_db.sh 20070212 FORCE

Zrobic od 20070216/
     load_final_from_verif!
   napisac moze skrypt

Nice scripts developed for testing agreement of verified and final events log files : check_final_in_verif!
Another script for loading events from verifiedevents log file to DB is load_final_from_verif!

   NOTE : maybe track paramters should be optimized for confirmation on next algorithm

1. Tracks paramters changed

It turned out that since we stay on fields for shorter time I must change buffer size for tracks otherwise not all events were dumped to log files and database.
I introduced change in parameters and some corrections in code and now there is a lot of events due to "mount movement".
Now I try to do simple fast photometry on every image and find small image shifts and use them for finding position on previous image - I must have changed
strategy a little bit ( comparing to what was implemented originaly for constant mount ). This new strategy is more flaxible, but a little bit more time consuming.
Now I am testing new solutions. this is controlled by paramters :
       # determining shift of every image (disabled) :
    CCD_USE_FRAME_SHIFT=1
    CCD_MIN_SHIFT_TO_USE=0.2
now 0.5 instead of 0.2 is used as default - but I am testing it - this is minimum shift which is taken to account.

Oto moje zapiski poprzednie :

            - jak odrzucic te mount movement - moze jakos tak ze bede znow sledzil ruch
            gwiazd i wtedy to sie da lepiej porownac ???
            Trzeba by to zaimplementowac i przetestowac - np robiac astrometrie - mozna
            latwo policzyc jak sie zmieniaja te przesuniecia w funkcji polozenia na
            klatce
            Wziasc 2 przesuniete zdjecia i sprawdzic co zrobi moj algorytm - jakie
            wyznaczy przesuniecie w funkcji (x,y) oraz co wyjdzie z astrometrii

            UpdateAutoShiftStars - ale moze trzeba bedzie to jakos zmienic bo to jest
       jakies beznadziejne - tzn np zeby liczylo sie na bierzaco i updatowalo !

            TESTY :
           /pi20/msok/data/20070324
           /pi20/msok/data/20070319

Testowy programik do wyznacznia shifta 2 mag-ow to findshift , a 2 fitsow to findshift2 :

           test : findshift2
            http://www.fuw.edu.pl/~msok/tmp/
       AnalyzeNewFrame
       GetAllMatrixPtrsChronologicalInt - wypelnia liste poprzednich CCDMatrix
       TEST : /opt/pi/dev/pisys/daq/ndir/data/20070307/

       GetPrevPixelPos

          pomyslec jak te ruch montazu wyciac - moze jakos wykrywac po
        funkcji korelacji obrazkow ? lub sledzic ruch gwiazd
        mozna zrobic astrometry np na kazdej klatce - ale to chyba
        kiepski pomysl

Sprawdzanie shiftow 2 obrazkow robi sie w ten sposob :
                                 show_shifts! run_daq_20070409.out
Przykladowy wynik dla tej nocy ( 20070409 ) to : dx , dy
Z tych plotow ustale jednak na probe pameter : CCD_MIN_SHIFT_TO_USE=0.1 , bo byl do tej pory 0.5 , co jak widac sprawia ze tak male przesuniecia jak
miedzy klatkami 17-38 gdzie byly ~0.2 - 0.5 to nie sa wogole uzywane, ciekawe czy to cos poprawi ??? moze 0.2 bedzie lepsze ???

2. Rejection of events from cloudy images

Now in case number of stars on image is < CCD_MIN_STARS_TO_ACC_EVENTS ( and CCD_MIN_STARS_TO_ACC_EVENTS>0 ) all events from given image
are rejected. This allows to reduce background from cloudy nights

3. Wykrywanie zamkniecia i otwarcia budy

To moze powodowac duzo eventow poniewaz przy zamknietej budzie nie ma nic w danym pixlu i nagle pojawia sie tam gwiazda, co powoduje wykrycie go jako blysk.
W tej chwili dorobilem sprawdzanie czy liczba gwiazd ( dokladnie to jest uzyta tutaj liczba pixli after Tn - afterTn ) nie zmienia sie z bardzo malej na bardzo duza, tzn afterTn<5000 na
afterTn>5000 i roznica tez (afterTn_new-afterTn)>5000, jesli tak jest to prawdopodobnie buda sie otworzyla i jest odrzucenie wszystkich przypadkow i restart pipeline.

4. Checking stars in TYCHO catalog - TO BE ADDED TO ALGORITHM

Using Tycho catalog from http://www.astro.ku.dk/~cf/CD/ it is possible to reject many constant stars. Converting of tycho catalog txt file to cat/act binary format can be done by running command :

tycho2cat!

which in fact consists of :

tycho2txt!
pigencat tycho.txt -save=tycho -verb -ra_in_deg

This allows to reject many stars check for exampl by running :

checkstarcat 17.0089 -39.8500 -radius=200 -cat_file=/opt/pi/dev/pisys/daq/ndir/data/cat/tycho -cat=ASAS

          Notataki :
                   dodac sprawdzanie w HIP lub TYCHO lub PI - do sprawdzania gwiazd stalych !!!
TYCHO moze byc ok , trzeba go tylko zdumpowac do takiej postaci jak trzeba

ze jak malo gwiazd to potem jak sie to zmienia zrobic restart pipeline !
Tn counter uzyc - jak jest duza zmiana z <5000 na >5000 to restart pipeline

    np to jest w HIP , a nie ma w ASAS :
     ./checkstarcat 13.1948 27.8198 -radius=300

   TYCHO : http://www.astro.ku.dk/~cf/CD/format.htm
   programik : pigencat

5. Changes in simulation

6. Testowane zmiany w paramterach

Na pi2 w /data2/results/20070403/offline/test.cfg :

CCD_MAX_LAPLACE_ON_OTHER_IN_SIGMA=3.00
CCD_CHECK_PREV_OF_MAX_PIXEL=0
CCD_STAR_REJ_RADIUS_IN_SEC=100

CCD_BIG_STAR_MAX_MAGNITUDO=5
na heplx48 w /disk03/results/msok/simul/ccdsingle/20060520/mc.cfg

# TESTY :
# wylaczylem anty-hot pixel cut :
CCD_CHECK_PREV_OF_MAX_PIXEL=0
CCD_MC_GEN_IDENT_REDIAL=5
CCD_STAR_REJ_RADIUS_IN_SEC=100

# rejecting stars from tycho :
CCD_CHECK_STARS_IN_TYCHO=1
CCD_STARCAT_MAX_MAG=13

# bright stars :
CCD_BIG_STAR_MAX_MAGNITUDO=5

7. Testy na pi3

NIGHT	TESTED PARAMTER VALUES	LOCATION	Events#
20070409	Normal night analysis	/data2/results/20070409/RESULTS/20070409_194304/	495
20070409	CCD_USE_FRAME_SHIFT=1 CCD_MIN_SHIFT_TO_USE=0.1	/data2/results/20070409/offline/RESULTS/SHIFT_0.1	434
20070409	Normal params ( bug in shift to small fixed )	/data2/results/20070409/offline/RESULTS/SHIFT_0.5	504
20070409	CCD_CHECK_PREV_OF_MAX_PIXEL=0 CCD_MC_GEN_IDENT_REDIAL=5 CCD_STAR_REJ_RADIUS_IN_SEC=100 CCD_BIG_STAR_MAX_MAGNITUDO=5	/data2/results/20070409/offline/RESULTS/TEST1	755
20070409	CCD_CHECK_STARS_IN_TYCHO=1 CCD_STARCAT_MAX_MAG=13	heplx48:/data2/results/20070409/offline/RESULTS/TEST_TYCHO	517 - not so good - moved images have bad astro !
20070409	TYCHO enabled CCD_STAR_REJ_RADIUS_IN_SEC=120	heplx48:/data2/results/20070409/offline/RESULTS/TEST_TYCHO_120 , out5	420
20070409	same as before, but CCD_CHECK_PREV_OF_MAX_PIXEL=1	heplx48:/data2/results/20070409/offline/RESULTS/TEST2 , out6	222
20070409	same as before, but astro done on every image and CCD_CHECK_PREV_OF_MAX_PIXEL=0 CCD_DO_ASAS_PHOT_ASTR=1 CCD_USE_ASAS_ASTROMETRY_FROM_FITS=0 CCD_AUTO_ASTROMETRY_FREQ=1	heplx48:/data2/results/20070409/offline/RESULTS/TEST_ALL_ASTRO , out7	379
20070409	Astro on every frame, but CCD_CHECK_PREV_OF_MAX_PIXEL=1	heplx48:/data2/results/20070409/offline/RESULTS/TEST_ALL_ASTRO_HOT , out8	220
20070409	Astro not on every frame - all other as 2 above lines	heplx48:/data2/results/20070409/offline/RESULTS/HOTPIXELCUT=1_ASTRO_NOTALL	227
20070413	Normal paramter set - TYCHO enabled, CCD_CHECK_PREV_OF_MAX_PIXEL=1	pi2 : 20070413	13
20070413	Wylaczone uzywanie przesuniec : CCD_MIN_SHIFT_TO_USE=1000	20070413/offline/RESULTS/

8. Small bug fix in Hipparcos stars check :

- TESTOWAC : poprawka : ccd_analyse.cpp - for(int i=0;i<bigStarList.size();i++){
CCatalogStar& star = bigStarList[i];
dodac : if( star.ra!=0 || star.dec!=0 )
dlaczego tylko te BIG_STAR sie lapia puste ???
To z Hipparcora takie kwiatki ze ra,dec=0,0