Pi of the Sky LCO 2006

"Pi of the Sky" upgrade at LCO, May 2006

Upgrade: PC, network, mount, (see also MS page)
Results: focusing, filter study, alignment, cooling.
Go to May 19, 20, 21, 22, 23, 24, 25, 26, today, planning (see also LWP page).

2006.05.26 8:00 - 2h long power cut around 2:00. Recovering Nie było prądu także w hotelu.

Zastane po włączeniu prądu:
- UPS1 (komputery ASAS) - żywy. PC ASAS chyba żywe.
- UPS2 (switch'e i komputery Pi) - stand by. Trzeba zobaczyć, czy nie da się UPS2 tak skonfigurować, żeby sam wstawał.
Podniosłem UPS2. Stan po podniesieniu:
- Switch'e OK, jest łączność ze światem.
- pi1 wisi: "A memory error was detected. Memory timings have been reset to automatic settings. Press F4 to Ryn Setup"
- pi2 stand-by. Trzeba zobaczyć, czy nie da się pi2 tak skonfigurować, żeby sam wstawał.
- pi3 wstał
Akcja podnoszenia:
- Wykorzystałem moment na konfiguracje listwy w szczękach:
  - oba zasilacze Smoka(pi2) = gniazdo1/2
  - obie kamery = gniazdo4/5
- pi1 podniesiony z Wwy resetem ze skrzyneczki. Błąd RAM nie powtórzył się.
- pi2 nie wstał (WoL) ani z pi1 ani z pi3, pomimo, że wcześniej to testowaliśmy
- pi2 podniesiony z Wwy przez IPMI
9:17 - Power Cut! Jedziemy na UPSach ...
9:18 - Znów jest napięcie, UPSy przeżyły. To mógł być powrót z generatorów na zasilanie zewnętrzne.
10:50 - Dodana aktualna konfiguracja listew i "skrzyneczek".
Konfiguracja firewall'a do listew. Udało się wejść z laptopa w ekran login po ustawieniu ręcznie laptopowi IP 192.168.1.2. DHCP nie chciało przydzielić numerka.
Nie pozwolił się zalogować. Czy mam dobry userid i passwd?
Buda przestała reagować na guziki! Pomogło odłączenie kabla od sterowania komputerem.
Podłączyłem UPS2 do gniazda DIN9 z przodu Smoka(pi2). pi2 nie widzi UPSa. Włączenie UPSa w gniazdo DIN9 z przodu Smoka blokuje BIOS (po wejściu w BIOS piszczy). Prawdopodobnie to dlatego, że konsola IPMI zabiera port COM B.
Podłączyłem UPS2 do Pionier2(pi3) w to samo gniazdo co przez przeprowadzką wykorzystując stary kabel od resetu.
Przestawiłem w BIOSie Smoka, żeby wstawał po włączeniu zasilania. Uwaga!!! Wstaje tylko po awarii zasilania (wyciągnięciu wtyczki). Jeśli zrobi się shutdown lub wyłączy guzikiem (trzymając 4 sekundy) to wyłączenie i włączenie zasilania (np listwą przez ethernet) nie obudzi go! To nie jest bug tylko feature.
Ustawiłem w BIOSie pi2 Boot From LAN. Kolejność bootowania: eth1/floppy/CD/HDD/eth0. Może być?
Znalazłem w BIOSie Smoka(pi2) ciekawą opcję: "WatchDog - when enabled, system reset after 5min inactivities" - może przetestujemy?
Maja mi dzis dostarczy karte Gbit i switcha. Mam pomysł, żeby kartom Gbit nadać numerki 192.168.1.41 itd (zamiast .0.41) i wpiąć je do switcha, który z kolei wepniemy do fairewalla od listew. Wtedy będzie można wejść na te Gbit wejcia z zewnątrz, przez ten firewall. To taki drobiazg zwiększający redundancję i chyba nieszkodliwa. A może firewall obsłuży numerki 192.168.0.xxx?
Problemy z ASAS PC: asas3m i asas3v OK. asas3r: nfs home note responding, asas3i piszczy natychmiast po włączeniu zasilania.
Podłączyłem monitor bez KVM, żeby zdiagnozować, a on się naprawił! Jeszcze asas3r nie może dostać się do home'a. Już wszystkie działają. Pełna kontrola nad budą.
Klatki aparatu Canon (*.CR2) przegrałem na pi3:/data1/results/canon (dysk Pi13).
Nie udaje się ciągle Boot From LAN pi2. Zdjęcia ekranu z ostatniej próby: fuw.edu.pl:/home/8/wrochna/WWW/boot

2006.05.26 19:00 - Night live. Perfectly clear sky.

Kamery chłodzą się tylko do -5^oC i -2^oC.

Zbieramy flaty: kilka serii: 1s, 2s, 5s, 10s, 20s, 30s, 60s.

Piękne niebo, szkoda czasu na darki. Schładzamy kamery do -10-5^oC i -7-2^oC.

exp. 10s, klatki 123-222 z filtrem. Montaż nie trakował!!! |AutoGuide ON|Filter OFF| 223-.. bez filtra

20:40 - Montaż nie trakuje. Zabijam DAQ. Robie jedną klatkę, sent_pos_to_mount. OK.

21:00 - Puszczam take100.pish. Za chwilę widzę EMERGENCY STOP. Robię Calib(0). OK.

21:20 - Rezygnuję z AutoGuide. Puszczam take_npictures_synchro(100). Klatki 245-344 bez filtra.

22:20 - LM przejmuje kontrole. Calib(0). 20060526_sav.pish

Wziąłem ok 500 klatek CANONem exp=2.5s. Są na pi3:/data1/results/canon (dysk Pi13).

2006.05.27 8:30 - PC and cable work continue
Dostalem karte Gbit (Mac: 00:15:E9:44:70:3A, typ D-Link DGE-530T), 5-portowy switch Gbit i cooler. Pierwsze prace na dzis:

remont pi3 (za 10 min shutdown) - ktos ma cos przeciwko?
poprawic kable w pi1 (shutdown ok 15:15 Waw?)
finalna konfiguracja sieci (zob. schemat)

Mikrofonu i głośnika nie testujemy, bo GP przepiął je do swojego PC.

2006.05.27 8:30 - Remont Pionier2(pi3)

: Dostałem na procka CoolerMaster z porządnie wyglądającym wiatrakiem i kiepskim radiatorem. Wymieniłem więc tylko wiatrak, co zaoszczędziło prockowi kolejnego wyciągania z podstawki. Działa bardzo cichutko.
System wstaje, ale po minucie wyłącza wyjście na monitor. Można logować się zdalnie. Podejrzewam konflik z kartą Gbit, więc ją wyjmuję. Faktycznie działa. Spróbuję włożyć w inny slot PCI. Zadziałało.
System nie wykrywa nowej karty Gbit. Nie pali się na niej żadne światełko. Wygląda na za krótkiego śledzia. Odkręcam śledzia. Nic, dalej martwa. Za to system wisi.
Może pogrzebię w BIOSie. Ojej, teraz, to już nawet do BIOSu nie dochodzi, tylko PC się wyłącza! Wywalam to badziewie, bo mi jeszcze kompa spali.
Wracam to naszej starej Gbit Intela, tylko wkładam w inny slot. Niedobrze, PC nie wstaje. Wyjmuje ją. To samo. Po włączeniu zasilania wiatraczki kręcą się przez 10s a potem wszystko cichnie.
Żegnaj Pionier2(pi3). Mamy jeden PC mniej.
Podociskałem wszytko, włączyłem raz jeszcze. Chodzi, ale nic nie wyświetla i nie pinuguje się.
Reset. Dalej widze ciemność. Podłączyłem monitor bez KVM. Dalej ciemność. Dam mu kilka minut, może sprawdza dyski. ... Dalej się nie pinguje, dyski nie migają, Ctrl-Alt-Del nie reaguje.
Przepiąłem wiatrak procesora z płyty bezpośrednio do zasilacza. Kręci się szycbiej, ale objawy te same.
Po resecie szczęka dyskietką, ale potem nie kręci dyskami. Albo karta graficzna, albo płyta główna. :(
Wyjąłem kartę graficzną. Objawy bez zmian. Pojechałem do eletroników po inną, ale nie ma nikogo.
Wkładam znowu kartę graficzną. Pojawiło się logo płyty głównej! A potem już tylko migający kursor tekstowy. Za to działa Ctrl-Alt-Del. Dopchnąłem pamięci. Nie pomogło.
Odłączam zasilanie DVD i kieszeni dyskowych. Odłączam taśmy od DVD i kieszeni. To samo.
Podłączyem dyski z powrotem. Jest jeszcze możliwe, że zmieniając wiatrak naruszyłem procka. Wykonam więc desperacki krok założenia starego wiatraczka, tego który mu przez ponad rok dobrze służył. Ale to już po obiedzie.
14:00 - Zjadłem obiad. Wymieniłem wiatrak na stary. Objawy bez zmian.
Zlokalizowałem buzzer na płycie. Nie wydaje żadnych dźwięków.
Ten PC ma dwie pary RAM, wyjąłem jedną. Zgłosił się BIOS: "Memory size decreased, itd.", ale dalej nie poszedł. Zwisł jak zwykle za pustym ekranie z tekstowym kursorem. Pomyłkowo wyjąłem dwie kości Channel A.
Teraz zostawiłem 2 kości w DIM1. Ekran wogóle się nie zapalił.
Zostawiam 2 kości w DIM0. Był jeden BEEP. Ekran się nie zapalił. Reset. Jest jak poprzednio: Zgłosiła się płyta główna i zwisło na pustym ekranie z tekstowym kursorem.
Włożyłem pamięci, wyjąłem katę USB i RS232. Po Power On jest jeden BEEP i ekran się nie zapala, po reset to samo. Po drugim reset pojawiło się "non-optimal memory configuration", choć pamięci włożyłem tak jak były poprzednio.
Za radą KN wyjąłem wszystkie RAM i procka. Teraz nawet zasilanie się nie załącza.

2006.05.27 15:30 - Remont Pionier1(pi1)

Jeden z wiatraków w pi1 zaczyna rzęzić. Okazuje się że to wiatrak na karcie graficznej! Przekładam mu kartę z Pionier2(pi3). Jak pi3 ożyje to na kartę graficzną dam stary wiatrak od kieszeni dyskowej.
Poprawiłem kable, żeby nie przycinały się przy wkładaniu dysków.
Po przełożeniu karty graficznej z Pionier2(pi3), Pionier1(pi1) wstał i jest gotów do działania.

2006.05.27 16:05 - Reanimacja Pionier2(pi3)

Okazało się, że wiatraczek od kieszeni dyskowej nie pasuje na kartę graficzną. Na szczęście mam piłę.
KN na Hożej testuje klona pi3 i porównujemy wyniki. Włączyłem PC z prockiem, bez RAM i bez karty graficznej, wydał 3 długie BEEP jak odpowiednik na Hożej.
Włożyłem kartę z "nowym" wiatraczkiem, ale on się nie kręci :(
Za to pi3 wstał z dyskietki! BIOS wyczyszczony do ustawień fabrycznych
Mój wiatraczek nie zadziałał, idzie smród z karty graficznej. Wyłączam. Polaryzacja zła. Już działa!
Po ustawieniu w BIOSie na boot z dysku PATA system wstał! Sprawdzimy co z tym SATA, a potem znowu włożę tę sieciówkę. SATA jest widoczy, tylko że na nim nie ma i nie było systemu!
Wyjaśnienie zagadki: w czasie prób z kartą zresetował się BIOS i pi3 próbował wstać z dysku SATA, na którym nie było sytemu.
18:30 - kolacja i prysznic.
Marcin uruchomił Boot from LAN pi2 z pi1!

2006.05.27 13:30 - Walka z pi3 trwa

Włożyłem nową kartę sieciową. Ani mrugnie. System jej nie widzi.
Ustawiłem kolejność boot: eth0/floppy/CD/HDD[3M-ST3120022A]
KN znalazł na WWW, że z tą kartą są poważne problemy. Wywalam i wkładam zdobyczną 100Mbit SMC1244TX 00:50:BF:A4:10:58 + starą Gbit bo może zadziałać WoL.
Przy okazji wymieniłem dyski: dolny pi13 na pi3_slave(RESCUE pi2) i górny Pi14 na pi11(pi2-MASTER)
System coś robi, ale monitor się nie zapala. Gdzieś to już widziałem.
Wyjmuję starą Intel Gbit, zostawiam SMC 100M. PC wstaje, ale po pewnym czasie obraz się dziwnie rozmazuje. Karta graficzna podejrzenie gorąca. Chyba piłowany wiatraczek nie wyrabia.
Włożyłem z powrotem stary wiatrak do grafiki. Rzęzi okrutnie. Do rana nie wytrzyma, ale może zdążymy zrobić testy BfL i firewalla.
Niestety, karta graficzna tak gorąca, że ryzykujemy spalenie. Przerywamy testy. Zbieram dane.

2006.05.27 22:30 - Testy filtrów

exp.	filter	frames
10s	+	142 - 261
10s	-	262 - 509
20s	-	510 - 533
20s	+	534 - 557
5s	+	558 - 581
5s	-	582 - 605
60s	-	606 - 617
60s	+	618 - 629
240s	+	630 - 633
240s	-	634 - 637

0:17 - 20060527.pish bez filtrów
Wziąłem ok 400 klatek aparatem CANON exp. 3.2s. Kopiuje na pi1:/data2/results/canon

2006.05.27 0:20 - Walka z wiatrakami pi3

Na karcie graficznej zamontowałem inny wiatrak od kieszeni dyskowej, dmuchający do radiatora (poprzedni dmuchał odwrotnie). Komputer działa, karta graficzna gorąca, ale nie śmierdzi.
Karta eth1 SMC 100M działa. Włożyłem dodatkową tę D-Linka, a nuż kiedyś uda się ją zdalnie podnieść.

2006.05.28 1:20 - Ogólne porządki.

1:27 - pojechaliśmy do alertu GCN. "Not a GRB", ale warto sprawdzić. Wcześniej pojechaliśmy do poprzedniego alertu Swifta.
System chodził poprawnie do rana z wyjątkiem jednego zwisu DAQ. Po ubiciu DAQ system ruszył dalej.

2006.05.28 - Porządki

Poukładałem kable i wszystko popodłączałem do finalnej konfiguracji.
wymieniłem ostatni dysk w pi1: wyjąłem pi10, włożyłem pi8.
Założyłem filtry.
KN przetestował listwy (2h przed moim wyjazdem). OK, tylko nie wiem dlaczego Smok nie wstał sam. KN podniósł go z IPMI
MS w nocy uruchomił Boot from LAN pi1, a na 5 min przed moim wyjazdem - pi3.
Zostawiam CD Slaxy, Knopix 4.02 i "IPMI boot" w czerwonym etui.
Monitor w budzie zgaszony
Zasilacz rezerwowy ustawiony na 8V/6V.
Naklejki porobione, ale już odręcznie (w tym ściąga do KVM)
Zdjęcia porobione (zapomniałem sfotografować półki)
Nasze rzeczy stoją na półce po lewej, nad naszymi PC. Najważniejsze są dwa podełka:

Pi PC recovery box: zasilacz LV (do switch'y), 2 lampki do testów listew, 2 wiatraki do kamer lub obudów PC, cooler Inter (P4), cooler Spire (P4), 2 kable SATA, kable PC zasilajace (przejściówki, w tym SATA), 3 kable USB.
"Pi of the Sky" special cables: "Cable to measure camera voltage", programator Altera z kabelkami, pudełka na filtry, przeciwwagi zdjęte z montażu.

10:00 - zwarcie w kablu laptopa.
11:35 - kończę pracę

12:00 - planowy wyjazd. 12:15 - faktyczny wyjazd.

16:00 - La Serena, naprawiam laptopa, ale w tym celu muszę naprawić lutownicę

Mam nadzieję, że o 19:05 polecę do Santiago. Ale jak trzeba to samolot też naprawimy. ;)

2006.05.28 17:30 - Podsumowanie
Było gorąco, dzień przed wyjazdem wydawało się, że straciliśmy jeden PC i zaczął szwankować drugi. Do ostatniej nocy nie mieliśmy porządnych danych do testów filtrów, bo nie potrafiliśmy dogadać się z montażem. Czas pobytu dobiegał końca, a lista spraw do zrobienia wydłużała się zamiast skracać. Ale dzięki niesamowitemy działaniu zwłaszcza Krzyśka, dwóch Lechów, Marcina i Mikołaja (alfabetycznie) oraz niżej podpisanego zdalnie sterowanego robota, plan wyjazdu został zrealizowany i zostawiliśmy wszystko działające.

Kamery z nowymi obiektywamy zainstalowane i przetestowane.
Montaż uzbrojony w nowe potencjometry.
Komputery pi1, pi2, pi3 w pełni sprawne z mnóstwem miejsca na dyskach.
Wzmocnione bezpieczeństwo: remote reset/power pi1/pi3, IPMI na pi2, każdy PC włączany listwą, w każdym dwie karty sieciowe podłączone do różnych switch'y, po dwa dyski z systemem, systemy ratunkowe na CD (Slax i Knopix), Wake on LAN i Boot from LAN.
4 dyski 200GB z danymi do tunowania algorytmów z filtrem IR-cut i bez w drodze do Polski.

Panowie! Szacuneczek!
... i na tym kończę niniejszego bloga. Uff!