"Pi of the Sky" upgrade at LCO, November 2007

Go to: today's blog GW, blog MS plan, infrastructure, power, network, blog GW 7-11.11.2007, blog GW 2006

Blog 12-14.11.2007

data Waw/LCO
12.11 13:00/09:00 - porządki różne.
Dysk SCSI w Smoku sypie błędami. Odpiąłem taśmę. System przestaje widzieć drugi dysk. Trzeba będzie podjąć decyzję co z tym zrobić.
Próby dogadania się z nowym UPSem przez eth bez powodzenia.
Od dzisiaj stary smok jest Smok=pi1 a nowy smok jest Bazyl=pi2.
Ze spraw komputerowych pozostają:

17:30/13:30 - Ciąg dalszy walki ze smokiem.
Wypiąłem SCSI A, wpiąłem SCSI B. Teraz timeout trwa ze 3-4 minuty. Nie da się pracować. Koszmar.
W manualu płyty głównej X6DH8-G2 pokazują jumperek do wyłączania SCSI. Wyłączyłem! Prawie 2 dni w plecy przez to SCSI, ale to już chyba koniec kłopotów ze Smokiem.

Przyszło lato: temperatura w CR 27oC, wilgotność 10%.
KN nakłonił UPSa do współpracy przez internet!. Wszedł na niego przez RS232 z pi1. Winien był jak zwykle Jim, który zamiast numerka, o który prosiliśmy, jak zwykle przypisał randomny.

21:45/17:45 - Uwaga, strategiczna decyzja: po naradzie (LM, KN, MS, GW) doszliśmy do wniosku, że Smok pozostaje w budzie do zbierania danych, Bazyl idzie do CR do analizy danych. Oto wybrane argumenty z dyskusji:
Wpychanie 2 smoków do budy to jest jednak trochę jak budowa statku w butelce. Bardzo ciężko byłoby cokolwiek z nimi zrobić. Nawet wymiana dysków w pi2 bedzie trudna, a teraz mamy w nim dużo dużych dysków wymiennych nowego typu, nie wspominając już o resetowaniu, przepinaniu kabelków etc.
Argument, że w LCO testujemy PC na Kanary jest słaby. Do LCO jest gorszy dostęp niż na Kanary lub tp. Ponadto cały hardware zupełnie inny! Kamery na eth, montaż na CAN,itp. A wkrótce będziemy mieli budę na dachu w Świerku z nowym montażem z 4 kamerami i wszystko toczka w toczkę kanaryjskie.
Pomijając kwestie hałasu, Smoka w CR bardzo cieżko upchać. Wraz z miejscem na wtyczki ma 90 cm długości!
Pozostawienie w budzie Smoka i umieszczenie Bazyla w CR ma wiele zalet. Smok jest sprawdzony, a do sterowania kamerami i montażem wystarczający. Natomiast Bazyl w budzie byłby maszyną do liczenia. Łatwy dostęp do łatwo wymienialnych dysków itp. W zasadzie same zalety.
Wada jest jedna: Bazyl ma znacznie lepsze ipmi, na osobnym ethernecie, z możliwością bootowania ze zdalnego usb, znacznie lepsza zdalną konsolą i dostepem z linuxa. To wszysko zwiększa szanse zdalego panowania nad systemem. Jednak umieszczenie dwóch smoków w budzie znacznie ogranicza możliwości ręcznych interwencji kryzysowych, a to jest chyba argument decydujący.

MS donosi, że WakeOnLAN Bazyla działa.
Biorę się za k2b. Też rozgazowana! Rozpytywałem o gaz. Raczej tu nie mają.
Napięcia przy zasilaniu zasilaczem k2a z UPS ~241V:

V AC idle21.68.9
V AC loaded20.78.4
stabilizerU14U15U17U27U26U16
V in -23.349.525.89.00
V out-15.126.425.01.493.365.03
A więc wszystko w normie, niemal identycznie jak w kamerze k2a.
Przeprogramowałem ALTERE. Info: Successfully performed operation(s). Info: Ended Programmer operation at Tue Nov 13 00:42:42 2007.
Po przeprogramowaniu k2b działa z dokładnością do chłodzenia. "Camera ID" zwraca poprawną wartość (poprzednio krzaczki). Obrazek poprawny.
Niestety, po 15 minutach chłodzenia temperatura spadła od 24oC asymptotycznie do 21oC. Obrazki wzięte na początku i na końcu mają niemal jednakowy szum 1000 ADU. A więc CCD autentycznie nie jest chłodzone (odczyt temperatury jest poprawny). Napięcie na petierach jest (ściślej na wejściu kabli do komory z CCD).
Jeden peltier wykazuje skonczonuy opór. Drugi - nieskończony. A więc albo uszkodzony co najmniej jeden peltier, albo urwany kabelek. Trzeba rozkręcić kamerę, żeby sprawdzić. I tak już jest rozhermetyzowana.
Sekcja zwłok k2b wykazała jeden uszkodzony peltier. Można podjąć desperacką próbę sprowadzenia. Napiszę maile w tej sprawie i idę spać.

13.11 - Zob. plan na dziś,
Peltiery już lecą z Wwy FedExem. Brawo! Mają być w La Serena w czwartek wieczorem.
Ukradli mi samochód! Po interwencji okazało się, że zabrali go do umycia. Już odzyskałem.
Wyjąłem Rs232 ze starego pi1.
Kupiłem listwę z wyłącznikiem. Wepnę w nią główny switch w budzie, żeby dało się ją łatwo zresetować guzikiem bez włażenia do budy.
Opracowałem nowy schemat zasilania.

18:00/14:00 - Zamiana numerów na Bazyl=pi1 i Smok=pi2
Przekładam kartę RS232 ze starego pi1 do Smoka. Niespodzianka: nie ma odpowiedniego slotu. Na szczęście Bazyl ma oba rodzaje, więc przekładam RS232 z Bazyla do Smoka, a ze starego pi1 wkładam do Bazyla.
Karta RS232 w Smoku, montaż do niej podłączony. Można testować komunikację.
pi1, pi2, pi3 podłączoe do Gbit LAN. Można testować.

19:20/15:20 - k2a znów hermetyczna. Skorzystałem z suchego powietrza w atmosferze. W CR jest poniżej 10% wilgotności. Złapałem końcówkę rurki w obcęgi i przygrzałem lutownicą aż plastik się rozpuścił. Po zastygnęciu na końcu rurki jest jednorodna szklana tafla. UWAGA: stąd wnioskek, że trzeba zmienić technologię zasklepiania rurek przy produkcji kamer!!!

Przykręciłem dekiel k2a z radiatorem. Na szczęscie miałem trochę pasty termoprzewodzącej do procków.
Schładzałem powoli k2a do 1oC robiąc zdjęcia wnętrza CR, żeby zobaczyć czy nie ma efektów skraplania. Trudno to jednak ocenić bo obrazy były trochę prześwietlone i nieostre. Trzeba to będzie zrobić na gwiazdach.
Złożyłem finalnie k2a. Przetestowałem na stole k2d.
Założyłem kamery na montaż i okablowałem k2d. Po montażu idzie więc 3 nowe kable zasilające (do jednej z wtyczek dochodzą 2). Jakoś się zmieściły, ale jest trochę sztywniej.

Kamery działają. Montaż w nowym RS232 nie chciał. Wpiąłem go po staremu w płytę główną. Działa, ale ma problemy. Zakładając kamery popsułem mu kalibrację. W czasie kalibrowania zrobił Emergency Stop na ograniczniku Dec. Ekspert Mikołaj wezwany na pomoc.

1:30/21:30 - Mikołaj załadował nowy soft montażu i opanował sytuacje. Teraz idzie pełna kalibracja.
Pierwsze południowe gwiazdy w k2d. T=5oC, PSF=50. Po skończeniu kalibracji bierzemy się do ogniskowania.
Procedura: goto az=80 h=35, track default, szukamy zgrubnie na skali odległości obiektywu, potem dokładnie na skali głębi ostrości. Robimy klatkę 5s i IRISem mierzymy PSF kilku gwiazd.
Końcowy PSF=1.5 jest bardzo dobry, ale niestety na zdjęciach widać wadliwe kolumny CCD i problemy z odczytem (ogonki gwiazd). Dziwne, bo na zdjęciach z Brwinowa tych ogonków nie widać!

LCO przed ogniskowaniemLCO po ogniskowaniuBrwinów

Testy k2a.
Stopniowo schładzałem k2a i patrzyłem do wnętrza kamery i na zdjęcia nieba czy nie pojawia się wilgoć. Udało się schłodzić do -18oC przy T zewnętrznej 10oC. Nie zauważyłem śladów skraplania.
PSF=1.5 (ustawienia obiektywu:odległość 1.1, głębia=4). Obraz wygląda jednak na dziwnie zamglony. Gwiazdy mają obwódki i poziom tła jest wysoki. Porównałem parametry ciemnych klatek wycinając okno 400x400 ze środka.

kameradark framesky - dark
 medianaRMS 1-2medianaRMS
k2a LCO207817 10823
k2d LCO376423 24135
k2d Brw375222278453
Wnioski: k2a ma mniejszy szum niż k2d i powinna dawać lepszy obraz. Obrazy k2d wyglądają ostrzej, ale tło nieba jest większe i bardziej fluktuuje. Podejrzewam, że większa ostrość obrazy k2d to efekt pozorny, wywołany właśnie problemami z przesuwem ładunku. Nie można jednak wykluczyć lekkiego zaparowania CCD k2a, choć okiem nic takiego na szkiełku CCD nie zaobserwowałem. Odpowiedź powinien dać pomiar liczby gwiazd. Jeżeli k2a rozpozna niej, znaczy, że zaparowała. Jeśli więcej, to za różnicę odpowiadają "ogony" na k2d.

Zrobiłem update planu działania.


14.11 - Ciąg dalszy walki z kamerami.
Patricia się poddała jeśli chodzi o sprowadzenie peltiera do k2b. W La Serena nie ma sklepu z elektroniką. Sprowadzenie z Santiago zajęłoby zbyt długo. Podałem jej tracking number przesyłki z Warszawy.

Dlaczego k2d działa w LCO gorzej niż w Brwinowie? Do powyższej tabeli dodałem parametry z Brwinowa. Ciemne klatki identyczne. Tło nieba dużo większe w Brwinowie, ale tak jest naprawdę. To jednak nie mogłoby zatrzeć ogonów. Zrobiłem eksperyment. Dodałem do siebie klatkę z LCO i Brwinowa. Nadal widać wyraźnie ogony gwiazd z LCO. Trzy podejrzenia: a) inne ogniskowanie, b) inny zasilacz, c) inne ustawienia.
ad a) W Brwinowie PSF~2.0, a więc niewiele większy niż optymalny w LCO. W LCO nawet przy PSF=3.0 widać wyraźne ogony.
ad b) Jak na porządny eksperyment przystało,wszystkie ustawienia zapisują się z danymi. Sprawdziłem, są identyczne w Brwnowie i LCO:

SECTIO7 = ---------- Exposure settings ----------/                              
EXPTIME =             5.000000 / TRUE EXPOSURE TIME IN SECONDS                  
REXPTIME=             5.151000 / Measured exposition time                       
SHUTTER =               'OPEN' / 'OPEN' OR 'CLOSED' (FOR DARKS)                 
SHUTMODE=             'NORMAL' / Shutter Mode                                   
ADCGAIN =             2.010638 / ADC gain value                                 
ADCBIAS =           -60.000000 / ADC offset [mV]                                
ADCGSET =            38.000000 / ADC gain setting                               
LNAGAIN =           '8.000000' / LNA gain - preamplifier gain                   
ADCBSET =           -50.000000 / ADC offset setting                             
ADCRANGE=                    4 / ADC range [V]                                  
ADCCLAMP=                   4V / ADC 4V clamping ON/OFF                         
ELECGAIN=             2.168293 / ELECTRONS PER ADU                              
COOLING =                 'ON' / 'ON' OR 'OFF'                                  
ABINN   =                  '1' / ANALOG BINNING                                 
SBINN   =                  '1' / SOFTWARE BINNING                               
SPEED   =                    0 / READOUT SPEED                                  
SPEEDMH =     '500kHz / 2 MHz' / READOUT SPEED MHz Vertical/Horizontal          
MPP_BC  =                 'BC' / 'MPP' OR 'BC' MODE                             
RO-TIME =             1.045000 / USB transfer time [sec]                        
CROTIME =             2.056000 / Chip read time [sec]                           
FOCUS   =                  100 / POSITION OF FOCUS MOTOR IN STEPS               
HITLENS =                'OFF' / Lens hitting on/off                            
SAVEAREA=      '0 0 2061 2047' / X0,Y0,X1,Y1                                    
USBMODE =                '2.0' / USB mode                                       
FPGAVER =    '2006-02-10 / 12' / FPGA soft version                              
CPRSVER =    '2006-11-10 / 16' / CPRS soft version                              
VERDESC = 'CCD USB & GbEth Camera'/ Camera software version desc                

ad c) Sprawdziłem napięcia (bez obciążenia) na zasilaczu zapasowym (nazwijmy go D) i używanym ostatniej nocy (E).
D: VDC=12.0, V12=~8.6, V34=~17.4, V56=~17.4
E: VDC=12.0, V12=~8.6, V34=~17.2, V56=~17.2
Zwierając 4-6 i mierząc V35 sprawdziłem, że względne kierunki uzwojeń 3-4 i 5-6 są takie same.
Zamieniłem zasilacze. Darki wyglądają nieco inaczej, ale z konkluzją poczekajmy aż pojawią się gwiazdy.

DR przysłał właściwy wsad ALTERY do k2b, a MS przetestował jego ładowanie przez USB. Chodzi jak burza!

Chciałem zrobić crash test nowego UPSa, korzystając z redundantnych zasilaczy Smoka. Wpiąłem jeden zasilacz Smoka do nowego UPSa, a po chwili drugi do starego. Następnie odłączyłem od zasilania nowy UPS. Chciałem czekać aż mu siądzie bateria i Smok przełączy się na srary UPS. Nowy UPS wygrał. Po 20 minutach nie wyczerpała się nawet połowa baterii, a ja już musiałem iść na obiad, więc mu darowałem życie. Test był w warunkach dziennych, a więc montaż się nie kręci, kamery nie chłodzą.

Po długiej i ciężkiej walce wspólnymi siłami MC, KN, MS i GW udało się uruchomić:

Nieźle nam idzie. Spójrzcie na plan.

01:10/21:15 - MS uruchamia system. Czekamy na klatki z k2d ...
Są! Dobre! (z dokładnością do wadliwych kolumn) Gwiazdy nie mają ogonów! A więc za ogony gwiazd na k2d odpowiedzialny był zasilacz.
Tylko dlaczego? To na pewno nie te 0.2V różnicy w zasilaniu. W Brwinowie jest poniżej ~220V w sieci. Ale nie mierzyłem napięć pod obciążeniem. Hmm... Zagadka.\

Nowy problem: w k2d migawka nie zamyka się podczas ciemnych klatek. Natomiast pomiędzy normalnymi zamyka się poprawnie.
Najwyrazniej nie obsluguje ona poprawnie komendy 0x0F, nie jest taka sama jak k2a i k2b, pod tym względem.
Okazuje się, że problem występuje w modzie kiedy nie zamykamy migawki między klatkami. W normalnym modzie jest dobrze.
Natomiast trzeba się starać, żeby interfejs software-firmware dla wszystkich kamer był identyczny.

5:20/1:20 - Spaliłem UPS TrippLite. Pisało na karteczce "Always turn system enable switch before unpluging UPS". Ale karteczka się schowała, a mnie do głowy nie przyszło, że UPSa nie wolno wyłączyć na chwilę z kontaktu! Ciągle mamy dwa silniejsze UPSy w miejsce tego jednego, ale jednak 25% zapasu mocy poszło z dymem.

Uporządkowałem kable w CR. Switch'e WAN są w listwie eth, switch''e LAN są w listwie z wyłącznikiem ręcznym, na stole przy drzwiach. Żeby je zresetować wystarczy prztyknąć. Obok listwy eth leży normalna, awaryjna.

Ciąg dalszy ...