LCO mission 20060519-20060528

LCO 20060519-20060528

zdjecia by GW ( June-2006 )

Plan dzialania ( by GW )
Blog by Grzegorz Wrochna

0. Straty :

karta gigabit w pi2 uszkodzona ? :
May 19 17:17:39 pi2 kernel: e1000: probe of 0000:02:03.0 failed with error -5

1. DAY 20060519 :

testy starego systemu, kalibracja montazu, 20 randomnych pozycji , klatki z kamer
update softu daq, piman
zebranie ciemnych klatek
uruchomienie z nowym systemem musialem wykomentowac custizowalne ustawienia w :
/opt/pi/dev/pisys/daq/config/custom/*.cfg
/opt/pi/dev/pisys/daq/custom/bin/prepdaq!
astrometria ok - GW poprawil ostrosci , ja zmienilem PIXSCALE=36 i CCD_ASAS_REVERSE_FOR_TRANSFORM=3
poprawka w fwhm sending to piman
chyba karta gigabit w pi2 padla :
May 19 17:17:39 pi2 kernel: e1000: probe of 0000:02:03.0 failed with error -5

2. DAY 20060520 :

sprawdzenie z filterm i bez rozkladay rozmiaru magow dla filtr i no-filtr , dodajac do tego informacje z klatek posumowanych
po 20 wyglada na to ze wyniki nie sa konkluzywne , badania na pi1 :
    /data1/results/PI_PIPELINE/20060519/
    /data1/results/PI_PIPELINE/run! :
        nohup ./run_asas_pipeline_online_cat! 20060519 /data2/results/ /data1/results/PI_PIPELINE/ > out 2>&1 &
system uruchamiamy na pi2 ( starym ) , dzisiaj w planach ustawienie osi montazu ( zaleglosc z wczoraj )
Wyglada ze dziala to calkiem przyzwoicie oto wyniki uzyskane ,wydaje sie ze trzeba patrzec tylko na wyniki
z (delta_az,delta_h), chodzi o to ze tym przypadku tylko raz przeliczamy (x_center,y_center) -> (ra_center,dec_center)
i potem juz liczymy wszystko scisle ( bez asas transform ) , natomiast w przypadku procedury odejmujacej pixele
trzeba jeszcze przeliczyc (0,-89.99) na pixele ale i te wyniki wygladaja dobrze ( przesuniecie w RA nie ma znaczenia )
a w DEC jest tylko 0.03 deg ~= 108 arcsec czyli podobnie jak w az,h ( ~140 arcsec )

3. DAY 20060521

zrobilem klatki do aligmentu montazu , sa dostepne na pi1 :
pi1:/data2/results/mount_aligment/

uzywam klatek z filtrem i bez ( pi1:/data2/results/filter/ )
   cd /data2/results/filter/bez_filtra/fits/
   skrypty run_k2a! i run_k2b! , czyli :
   fast_pipe_process_new! /data2/results/filter/bez_filtra/fits 1 k2a_ast_list 20060521 dark1.fitc /opt/pi/dev/pisys/daq/ndir/data/FLAT/flat1.fit
nastepnie zrobilem sumy po 20 :
   cd /data2/results/filter/bez_filtra/fits
   run_sum20! czyli :
nohup run_asas_pipeline_online_cat! 20060521 /data2/results/ /data2/results/filter/bez_filtra/sum20/ nodb 1 > sum20.out 2>&1 &
sciagnalem sobie asty na heplx43:/pi20/msok/lco200605/filter/ast/20060521/
teraz robie rozklady #gwiazd na klatce i zasieg ( najpierw katalogi trzeba zrobic )
Rozklad # gwiazd na klatce :
        histo_ast_stars! k2a_sum20_nofilter 30000 50000
        histo_ast_stars! k2b_sum20_nofilter 30000 50000
Ostatecznie rozklady liczby gwiazd na klatce wygladaja nastepujaco ( wszystkie ploty + eps-y tutaj ) :

NO FILTER

FILTER

SINGLE FRAME	SUM20
k2a / k2b	k2a / k2b

SINGLE FRAME	SUM20
k2a / k2b	k2a / k2b

Teraz katalogowanie tych klatek zeby ocenic zasieg - tworzy 4 bazy danych na heplx49 : nofilter_single, nofilter_sum20, filter_single, filter_sum20
Przyklad wywolania :
cd heplx49:/opt/pi/dev/pisys/daq/ndir/data/lco200605/20060521/bez_filtra/single/
nohup cat_both_synchro! night_list `pwd` nofilter_single 100 > out 2>&1 &

Przy uzyciu skryptu maglimit! , sprawdzam zasieg , polecenie : maglimit! nofilter_single 40 - maglimit_nofilter_single

NO FILTER

FILTER

SINGLE FRAME
( na podstawie 40 klatek, no_measurements>=40 )

SUM20
pamietac ze to jest liczone na 1 klatce tylko
( rozklad magnitude z 1 klatki sumowanej po 20 - moze byc
nieco zawyzone )

SINGLE FRAME
( na podstawie 40 klatek, no_measurements>=40 )

SUM20
pamietac ze to jest liczone na 1 klatce tylko
( rozklad magnitude z 1 klatki sumowanej po 20 - moze byc
nieco zawyzone )

Dla porownania na starych obiektywach w LCO sumy po 20: 20040814 , 20050203 , i pojedyncza klatka : 20050510

4. 20060522

walka z nfs-em zakonczona sukcesem , okazuje sie ze w trakcie updatu systemu wersja nfs-a zostala zwiekszona do nfs-utils-1.0.6-22
natomiast na hozej tez dzialalo mi dobrze tylko z nizsza wersja, dlatego wrocilem do nizszej wersji ktora jest na smoku :
/data2/backup/nfs/nfs-utils-1.0.6-1.i386.rpm
UWAGA : przy updacie systemu pamietac zeby nie updatowac nfs-utils , bo przestanie dzialac !!!!!!!!!!
poza tym trzeba bylo jeszcze skonfigurowac iptables zeby pi3 mial prawa do komunikacji z pi2
na pi1 zainstalowalem pakiety : k3b-0.11.9-3.i386.rpm, kdelibs-3.2.2-4.i386.rpm do nagrywarki DVD
formatowanie nowych dyskow :
pi1 /dev/sdb1 400GB /data3/
pi2 /dev/sda1 400GB /data3/
nfs po gigabicie miedzy pi2 <-> pi1 dziala
ustawilem time server na smoku : ntp1.lco.cl

testy Wake On LAN :

BUDZONY	BUDZACY	STATUS
pi1	pi2	PASSED ( wakepi1! )
pi1	pi3	FAILED ( to nie bedzie dzialac wogole bo pi1 jest polaczone z pi3 przez Realtek Mbit w ktorym nie ma WOL ale podobno po dodaniu switcha bedzie dzialac )
pi2	pi1	PASSED ( script wakepi2_frompi1! )
pi2	pi3	PASSED ( standard wakepi2! script )
pi3	pi1	PASSED ( I was wrongs it is working it was always working by on-board 100Mbit Intel interface ! - wakepi3! )
pi3	pi2	PASSED ( I was wrongs it is working it was always working by on-board 100Mbit Intel interface ! - wakepi3!)

wnioski pi1 nie da sie z pi3 budzic , natomiast smok-a daje sie z obu, pi3 da sie budzic gdy bedzie karta sieciowa z WOL
noc : okolo 10:30 WAW zmienilem tryb migawki na otwarty , bo i tak pogoda fatalna

5. 20060523

PO KATALOGOWANIU
sprawdzenie roznicy jasnosci gwiazd bez filtra i z filtrem , badania w heplx49:/opt/pi/dev/pisys/daq/ndir/data/lco200605/20060521/compare
wywolanie : compare_stars2.pl, rozklad roznicy mag_nofilter-mag_filter wyglada - PO KALIBRACJI ( katalogowaniu ) :
- Sum20 : K2A : nofilter-filter , deltamag_vs_magnofilter
  K2B : nofilter-filter , deltamag_vs_magnofilter
- single : K2A : nofilter-filter , deltamag_vs_magnofilter
  K2B : nofilter-filter , deltamag_vs_magnofilter
PRZED KATALOGOWANIEM
takie same ploty ale z jasnosciami przed katalogowaniem ( normalizacja do katalogu) , heplx49:/opt/pi/dev/pisys/daq/ndir/data/lco200605/20060521/compare_raw , ./compare_stars2.pl :
- Sum20 : K2A : nofilter-filter , deltamag_vs_magnofilter
  K2B : nofilter-filter , deltamag_vs_magnofilter
- single K2A : nofilter-filter , deltamag_vs_magnofilter
  K2B : nofilter-filter , deltamag_vs_magnofilter
scripts for flat making : do_many_flats.pish and darks created : do_many_darks.pish
db synchronization on heplx40 done

6. 20060524

zrobilem :
flaty : pi1:/data2/results/20060524/flats/
darks : pi1:/data2/results/20060524/DARK/
klatki z kalibracja montazu wokol pozycji (250,-75) - to dosc dobra pozycji (dec=-75) - astrometria zbiega ( pi2:/data2/results/20060524/mount_calib
and on heplx43:/pi20/msok/lco200605/mount_calib/20060524/ )
skrypt pole_rotate.pish - widac ze dobra pozycja jest (180,-85) i obracanie o 90 deg , czyli sekwencja :
                daq 1 change_param(CCD_DRIVER_SHUTTER_TIME_IN_SEC,10,-1)
                mount 2 raw_cmd(goto ra=180,dec=-85)
                daq 3 take_npictures_synchro(2)
                daq 4 change_param(CCD_DRIVER_SHUTTER_TIME_IN_SEC,120,-1)
                mount 5 raw_cmd(gotorel ra=90)
                daq 6 take_npictures_synchro(1)
wzialem klatki 180,-80_gotorel90 , 180,-85_gotorel90 , 180,-85_gotorel90 120sec , 180,-85_gotorel90_120sec
fits files are available on pi2:/data2/results/20060524/mount_calib and on heplx43:/pi20/msok/lco200605/mount_calib/20060524/pole/
nfs pi1 <-> pi2 dziala po 192.168.0.41/42
zmienilismy dolny dysk w pi1 ( /dev/hdb = /data1/ ) na scratch_pi10(pi1/SLAVE)
zapelniam dysk pi1:/data1 danymi z pi1:/data2 - bo tego nie chcemy zmieniac
napisalem skrypt do testowania autoguidingu : ag_test.pish , uzywa on jeszcze 2 skryptow take20.pish , restore_daq_defaults.pish
testuje wake-on-lan smoka z pi1 i pi3 , jak widac smok jest do pi1 przypiety do eth1 i tak nalezy go budzic ( skrypt wakepi2_frompi1! )
przymiarka do webcam-a na smoku :
      cd /opt/pi/ext/dload/VIDEO/ov511-2.27
      make clean
      make
      make install
poszlo - driver sieladuje , teraz tylko programik do zdjec i webcam dziala : oto pierwsze zdjecie
mikrofon i glosnik , sprawa wyglada tak zeby wysylac audio do jakiegos host-a odpalam na smok :
sfmike heplx43.fuw.edu.pl -A
ale pewnie firewall na hozej to blokuje i dlatego nie odbieram, przetestuje to w domu , na komputerz sluchaczu trzeba odpalic :
sfsspeaker

7. 20060526

budzenie pi3 przez WOL z pi2 i pi1 jednak dziala - poprzednio najwyrazniej cos zrobilem zle , ale teraz jest ok !
proby ozywienia komunikacji z UPS-em na pi3 po starcie servera ( jako root komenda : /etc/init.d/paserver start ) na konsoli
wypisuje sie message o braku komunikacji z ups, istnieje podejrzenie ze nie moze sie dogadac bo nie jest wpiety do RS-a tylko
czegos RSo-podobnego, ale pewnosci nie ma
boot on lan SMOK z pi1 zwisl na :
Looking up port of RPC100003/2 on 192.168.0.41
server not responding
Root NFS unable to get nfsd port number from server, using default
Looking up port of RPC100005/2 on 192.168.0.41

teraz po zmianie na ip=192.168.0.42 i export /data0/bootonlan/pi2 i dodaniu ,nfsvers=2 messaage :

     teraz wypisuje ciagle IP-config retrying for ever (NFS root)
     ii checking_for_link
teraz : append ip=dhcp root=/dev/nfs nfsroot=192.168.0.41:/data0/bootonlan/pi2,nfsvers=2 i jest tosamo co na poczatku
czyli, kernel wstaje numerki IP sa ok, tylko na koncu jest : last screen , moze to jest spowodowane tym
ze jadra jest do RAIDA !!!!!!!!! , sprobuje dzis jadro bez RAID-a , druga proba to uzyc innego jadra jesli
to problem z nfs-em
na pi3 nie dzialalo montowanie dyskow z pi1 bo firewall blokowal - po wylaczeniu dziala, trzeba dodac zeby przeszlo
wykonalem jeszcze troche klatek wokol bieguna sa w pi2:/data2/results/20060526/pole_rotate

rozklad gwiazd na klatce ktore maja odpowiednik w katalogu ( na klatce z pojedynczymi ) , nie wiem czy to bedzie dobre
bo katalog ma maly zasieg, ale zrobie dla porownania plot z #gwiazd o liczbie obs>=40 ( z 60 klatek ) , badania
na bazach filter_single i nofilter_single na heplx49:/opt/pi/dev/pisys/daq/ndir/data/lco200605/filter/
Z ponizyszych plotow widac ze lepiej jest uzywac warunku na liczbe pomiarow >=40 niz mag_cat>0 bo
katalog w ktorym szukam ma mniejszy zasieg niz nasze kamery i nie jest dobry do tego celu , a z innym w tej chwili zajeloby to duzo
wiecej czasu, wyniki dla k2a :

NO FILTER	FILTER
gwiazdy z odpowiednikiem w tycho ( maly zasieg )	gwiazdy z odpowiednikiem w tycho ( maly zasieg )
gwiazdy z liczba pomiarow >= 40 ( z 60 klatek )	gwiazdy z liczba pomiarow >= 40 ( z 60 klatek )
ZLE : gwiazdy z odpowiednikiem w catalogu do astrometrii	ZLE : gwiazdy z odpowiednikiem w katalogu do astrometrii

Widac ze jest podobnie jak poprzednio , jest okolo 5000 mniej gwiazd na klatce z filterem niz bez, natomiast skorzystanie flagi czy
gwiazda ma odpowienik w katalogu nie ma w tym wypadku sensu
Domatchowalem do naszych gwiazd gwiazdy z tycho poleceniem :
./databaseIdentifier.pl
i uzupelnilem tabelke o rozklad liczby gwiazd na klatce ktore maja odpowiednik w tycho

kopiuje opt_pisys ze smoka na pi1:/data1/backup/smok oraz system ( / ) ze smoka na /data1/backup/smok/system/
walka z BootOnLan smoka z pi1 , przyjrzalem sie dokladnie komunkatowi ze zdjecia ktore zrobil GW ( reszta zdjec )
okazalo sie ze na pi1 w /etc/dhcpd przed moim wpisem do BOL jest wpis Krzyska do SLAX i stad on byl uzywany
i BOL nie mogl znalezc hosta z odpowiednim numerkiem IP zeby zamontowac NFS !
Jest specjalny plik do bol : pi1:/etc/dhcpd.conf.bol w ktorym jest konfiguracja do podnoszenia SMOK-a

puscilem darki czyli skrypt do_many_darks.pish ( /data2/results/20060527/DARKS )
puscilem ag_test.pish a potem skrypt take100_ag.pish - wysyla pozycje do montazu co 12 klatek ( /data2/results/20060527/ag_test )
pierwsza setka od 00142 - 261
druga setka           00262 - 00509
20 x 20 sec           00510 - 00533 - bez filtrow
20 x 20 sec           00534 - 00557 - z filtrami
20 x 5   sec           00558 - ..
rano udalo mi sie zrobic boot on lan pi1 ze smoka, tutaj problem byl taki , ze jak kopiowalem system do zdalnego podnoszenia
( z pi3:/disk01/pxeclient -> pi1:/data0/bootonlan/pi1 ) to potem jak kopiowalem z pi1:/data0/bootonlan/pi1 to ten plik
nie byl wyeksportowany na pi1 z opcja no_root_squash , przy kopiowaniu nie krzyczal, ale pliki widoczne tylko dla root-a ( jak /etc/shadow )
nie zostaly skopiowane tylko zrobione jako puste !!!! Przez to system byl bez sensu , po ustawieniu opcji i ponownym przekopiowaniu
wszystko ruszylo z kopyta i od razu zdalne logowanie tez , ale tylko na usera pi , ale moze to i dobrze, potem dopiero trzeba sie przelogowac na root-a
nie udalo sie uruchomic boot on lan pi3 z pi1 - dziwne bo to dzialalo, ale pare drobnych zmian w numerkach ip bylo potrzebnych no i na szybko
to nie poszlo, ale jak cos to da sie to na pewno zrobic, w ostatniej chwili GW lypnal okiem na ekren i przeczytal , ze problem byl z grubsza takowy :

INVALID ICMP TYPE 3
BROADCAST 255.255.255.255

trzeba to sprawdzic o co chodzi , jeszcze przejrzec wszystko /tftpboot/ /etc/dhcpd.conf /disk01/pxeclient itp na pi1 , moze
192.168.0.44 -> 192.168.0.41 , spowodowala ze nie dziala teraz

8. 20060528/29

w nocy nic sie nie uruchomilo, bo automatyczne wlaczanie bylo wykomentowane ze wzgledu na rozne eksperymenty w LCO , ale moze to i dobrze...
bo rano jak wlaczylem to okazalo sie ze k2a nie dziala, tzn wszystko dzialalo poza czytaniem chipu do pamieci na plytce kamery
natomiast wszystko pozostale wlacznie z chlodzeniem kamer, czytanim statusu i czytaniem klatki po USB2.0 dzialo.
Po konsultacjach z elektronikami okazalo sie ze najprawdopodobniej zle sie zaladowal wsad altery , to moglo sie stac w czasie testow listew.
Mozliwe ze kamery ciagna wtedy wiecej pradu i UPS nie wyrabia, to "first guess" Piotrka. Natomiat GK stwierdzil ze reset kamer powinien pomoc,
majac listwy zrobilismy reset kamer ( obu bo sa wpiete w gniazdko 4/5 listwy 2 czyli trzeba restowac razem ) , mozna pomyslec czy jednak
tego nie zmienic !
Zatem reset ja wylaczyl i dziala juz poprawnie !, jak nie dzialala to obrazek skladal sie z ukosnych paskow ( fitc )
WNIOSKI :
    - nastepnym razem trzeba zamrozic system po ostatniej dzialajacej dobrze nocy i rano zmieniac juz tylko soft
    - "lowest level" hardware testowac jak najwczesniej , nie na koncu
    - przemyslec czy kamer nie wpiac oddzielnie , lub nawet do innych ups-ow
    - czasem pileczka spada po wlasciwej stronie siatki ...
byc moze trzeba wylaczyc na razie pi3 zeby nie zameczyc karty zanim nam sie przyda ...