Forum Debian Users Gang

ant0n · 2009-06-22 08:54:11

Zbudowałem sobie klaster z kilku starych blaszaków. Postępowałem wg wskazówek zawartych na www.debianclusters.org . Udało się, komputery "widzą się" i liczą wspólnie zadania. Problem pojawił się, gdy chciałem zainstalować oprogramowanie do przeprowadzenia testów wydajnościowych tegoż to ustrojstwa. Znalazłem bardzo fajną paczkę stworzoną do tego celu:
http://icl.cs.utk.edu/hpcc/
Ale tutaj wyłożyłem się na dobre i nie mam zielonego pojęcia jak to skompilować i jak przeprowadzić instalację :-(
Napotykam błędy kompilatora, które mówią o nie odnalezieniu potrzebnych plików z pakietów BLAS (http://www.netlib.org/blas/) oraz VSIPL (http://www.vsipl.org/). Nie mam już pomysłów jak zainstalować te benchmarki ;-(

Czy jest tutaj może ktoś na tyle "obcykany", by mi pomógł rozwiązać problem? W "polskim internecie" temat klastrów jest bardzo słabo poruszany i jest mało informacji dostępnych na ten temat. Znalazłem sporo informacji na witrynach uniwerków w Stanach Zjednoczonych. Parę razy nawet pisałem do ludzi zajmującymi się tymi projektami, ale bez odpowiedzi :-/

Czy jest ktoś chętny, by mi pomóc?

azhag · 2009-06-22 09:11:10

Spróbuj pakietu źródłowego z [url=http://mentors.debian.net/debian/pool/main/h/hpcc/]mentors.debian.net[/url].

Pobierz wszystkie trzy pliki, wykonaj

Kod:

dpkg-source -x plik.dsc

przejdź do katalogu ze źródłami i

Kod:

dpkg-buildpackage -rfakeroot

ant0n · 2009-06-22 09:13:28

Dzięki! Spróbuję, jak znajdę wolną chwilkę w pracy i zaloguję się.

ant0n · 2009-06-22 21:42:14

Wykonałem:

Kod:

main:/usr/src/hpcc# dpkg-source -x hpcc_1.3.1-3.dsc
gpg: nowy plik ustawień ,,/root/.gnupg/gpg.conf'' został utworzony
gpg: OSTRZEŻENIE: opcje w ,,/root/.gnupg/gpg.conf'' nie są jeszcze uwzględnione.
gpg: Podpisano w pią, 13 mar 2009, 12:10:58 CET kluczem DSA o numerze 48EBD2EE
gpg: Nie można sprawdzić podpisu: brak klucza publicznego
dpkg-source: rozpakowywanie hpcc w hpcc-1.3.1
dpkg-source: info: rozpakowywanie hpcc_1.3.1.orig.tar.gz
dpkg-source: info: aplikowanie hpcc_1.3.1-3.diff.gz
main:/usr/src/hpcc# dpkg-buildpackage -rfakeroot
dpkg-buildpackage: ostrzeżenie: używanie polecenia-uzysk-praw-admin podczas bycia administratorem
dpkg-buildpackage: ustawianie CFLAGS na domyślną wartość: -g -O2
dpkg-buildpackage: ustawianie CPPFLAGS na domyślną wartość:
dpkg-buildpackage: ustawianie LDFLAGS na domyślną wartość:
dpkg-buildpackage: ustawianie FFLAGS na domyślną wartość: -g -O2
dpkg-buildpackage: ustawianie CXXFLAGS na domyślną wartość: -g -O2
tail: nie można otworzyć `debian/changelog' do czytania: Nie ma takiego pliku ani katalogu
dpkg-buildpackage: niepowodzenie: tail na debian/changelog zwrócił status błędu 1

Ale nie wiem czy to jest źle czy dobrze? Uhhh... Padnięty już jestem po dzisiejszym dniu. Jutro chyba pomyślę co dalej z tym zrobić i lepiej dziś nic nie ruszam, bo jeszcze coś namotam.

azhag · 2009-06-22 21:45:19

Zapomniałeś przejść do katalogu ze żródłami ([tt]cd hpcc-1.3.1/[/tt]).

ant0n · 2009-06-23 08:35:27

Teraz zrobiłem tak:

Kod:

main:~# cd /usr/src/hpcc
main:/usr/src/hpcc# dpkg-source -x hpcc_1.3.1-3.dsc
gpg: Podpisano w pią, 13 mar 2009, 12:10:58 CET kluczem DSA o numerze 48EBD2EE
gpg: Nie można sprawdzić podpisu: brak klucza publicznego
dpkg-source: rozpakowywanie hpcc w hpcc-1.3.1
dpkg-source: info: rozpakowywanie hpcc_1.3.1.orig.tar.gz
dpkg-source: info: aplikowanie hpcc_1.3.1-3.diff.gz
main:/usr/src/hpcc# cd hpcc-1.3.1/
main:/usr/src/hpcc/hpcc-1.3.1# dpkg-buildpackage -rfakeroot
dpkg-buildpackage: ostrzeżenie: używanie polecenia-uzysk-praw-admin podczas bycia administratorem
dpkg-buildpackage: ustawianie CFLAGS na domyślną wartość: -g -O2
dpkg-buildpackage: ustawianie CPPFLAGS na domyślną wartość:
dpkg-buildpackage: ustawianie LDFLAGS na domyślną wartość:
dpkg-buildpackage: ustawianie FFLAGS na domyślną wartość: -g -O2
dpkg-buildpackage: ustawianie CXXFLAGS na domyślną wartość: -g -O2
dpkg-buildpackage: pakiet źródłowy hpcc
dpkg-buildpackage: wersja pakietu źródłowego 1.3.1-3
dpkg-buildpackage: źródła zmienione przez Jean Parpaillon <jean.parpaillon@kerlabs.com>
dpkg-buildpackage: architektura gościa i386
dpkg-checkbuilddeps: Niespełnione zależności budowania pakietu:debhelper (>= 7) libatlas-base-dev libmpich1.0-dev lam-runtime lam4-dev libopenmpi-dev libmpich-mpd1.0-dev libmpich-shmem1.0-dev libblas-dev
dpkg-buildpackage: ostrzeżenie: Niespełnione zależności/konflikty czasu budowania; przerywanie.
dpkg-buildpackage: ostrzeżenie: (Użyj opcji -d, aby to obejść).

No ale teraz mam jakieś zależności nie spełnione. :-/

Ostatnio edytowany przez ant0n (2009-06-23 09:09:28)

azhag · 2009-06-23 09:08:47

[quote=ant0n]

Kod:

dpkg-checkbuilddeps: Niespełnione zależności budowania pakietu:debhelper (>= 7) libatlas-base-dev libmpich1.0-dev lam-runtime lam4-dev libopenmpi-dev libmpich-mpd1.0-dev libmpich-shmem1.0-dev libblas-dev

[/quote]
Po uzupełnieniu zależności, pakiet powinien się zbudować.

ant0n · 2009-06-23 09:10:30

Czyli muszę dociągnać te pakiety, które są tu podane? Boję się, że mi się coś porypie i nie będzie później nic działać. Póki co to odstawiam to na popołudnie jak wyjdę z roboty.

Ostatnio edytowany przez ant0n (2009-06-23 09:11:33)

azhag · 2009-06-23 09:28:39

Nie ma prawa nic się porypać, w wyniku instalacji pakietów deweloperskich. :)

Jak zbudujesz pakiet, możesz je odinstalować.

Ostatnio edytowany przez azhag (2009-06-23 09:34:06)

ant0n · 2009-06-23 12:17:36

Dzięki. Wieczorkiem popróbuję.

ant0n · 2009-08-18 12:35:45

Otwieram temat ponownie. Po dłuższej przerwie postanowiłem wrócić do problemu. Pakiet HPCC skompilowałem wg wcześniejszych wskazówek i jest OK. Natomiast mam teraz taki problem, że uruchamiam binarkę, np. poleceniem:

Kod:

 ant0n@main:~/hpcc-1.3.1$ mpiexec -np 4 ./hpcc.mpd-blas

I na tym koniec. Proces zaczyna działać i obciąża wszystkie 4 maszyny. Zostawiłem włączone na całą noc - ponad 12h wykonywało się i nic. Żadnych efektów końcowych, żadnych logów wynikowych.
Druga sprawa. Ściągnąłem jeszcze coś innego: [url]http://project-rainbowcrack.com/[/url] Uruchamia się bez problemu. Odpalam również przez mpiexec. Tworzy się plik wynikowy (najpierw trzeba stworzyć słowniki), ale trwa to potwornie długo. Na moim domowym PeCecie (Intel Core2Duo E6600 @ 3.0 GHz, 2GB DDR2 800 MHz) generuje się troszkę więcej niż 1 MB na minutę. Na klastrze, którego konfiguracja wygląda tak:

head node: Intel Pentium 4 @ 2.66 GHz , 768MB DDR RAM
3 x worker nodes: AMD Athlon 2000 XP+ @ 1666 MHz, 512MB DDR RAM

generuje się ok. 1 MB przez nieco ponad 5 minut. Jeden słownik o rozmiarze 512 MB sporo ponad całą noc. Co mam źle?
Kto pomoże? Chętnie udostępnię wjazd na klaster.
Proszę o pomoc!

tomii · 2009-08-18 13:18:34

A jak szybko generuje słownik pojedynczy węzeł(node)?

ant0n · 2009-08-18 13:21:21

Hmmm... Sprawdzę, to. Napiszę za parę minut.

ant0n · 2009-08-18 15:18:13

Zrobiłem kilka testów i wygląda to tak:

wykonanie polecenia [i] rtgen md5 loweralpha-numeric 1 7 0 3800 33554432 0 [/i]
na komputerze:
- Head node: P4 2.66 GHz , Linux 32-bit, 1 MB ok. 3:20
- Worker node (pojedynczy): AMD Athlon 2000 XP+ 1.6 GHz, Linux 32-bit, 1 MB ok. 4:20
- PeCet Intel Core2Duo E6600 @ 3.00 GHz, Windows 7 beta 64-bit, 1 MB ok. 2:20 - z tym, że widzę pracujący tylko 1 rdzeń. Pod Windowsem XP 32-bit testowałem wcześniej (ale teraz nie mam XP-ka) i pracowały obydwa rdzenie.
- klaster:

Kod:

 ant0n@main:~/rainbowcrack-1.2-src/src$ mpiexec -np 4 ~/rainbowcrack-1.2-src/src/rtgen md5 loweralpha-numeric 1 7 0 3800 33554432 0

1 MB ok. 3:20

Kod:

 ant0n@slave02:~$ mpiexec -np 4 ~/rainbowcrack-1.2-src/src/rtgen md5 loweralpha-numeric 1 7 0 3800 33554432 0

1 MB ok. 3:20

I co powiecie na te wyniki? Praktycznie zero jakiegoś nadzwyczajnego wzrostu mocy obliczeniowej. :-( Nie widać różnicy w czasie czy uruchomię zadanie na głównym węźle klastra czy na wszystkich razem.

Gdzie tkwi błąd? A może to tak musi być?

Ostatnio edytowany przez ant0n (2009-08-18 20:46:54)

Time (s)	Query
0.00011	SET CHARSET latin2
0.00005	SET NAMES latin2
0.00088	SELECT u., g., o.logged FROM punbb_users AS u INNER JOIN punbb_groups AS g ON u.group_id=g.g_id LEFT JOIN punbb_online AS o ON o.ident='3.137.159.134' WHERE u.id=1
0.00069	REPLACE INTO punbb_online (user_id, ident, logged) VALUES(1, '3.137.159.134', 1732402770)
0.00041	SELECT * FROM punbb_online WHERE logged<1732402470
0.00049	SELECT topic_id FROM punbb_posts WHERE id=125839
0.00139	SELECT id FROM punbb_posts WHERE topic_id=14454 ORDER BY posted
0.00063	SELECT t.subject, t.closed, t.num_replies, t.sticky, f.id AS forum_id, f.forum_name, f.moderators, fp.post_replies, 0 FROM punbb_topics AS t INNER JOIN punbb_forums AS f ON f.id=t.forum_id LEFT JOIN punbb_forum_perms AS fp ON (fp.forum_id=f.id AND fp.group_id=3) WHERE (fp.read_forum IS NULL OR fp.read_forum=1) AND t.id=14454 AND t.moved_to IS NULL
0.00005	SELECT search_for, replace_with FROM punbb_censoring
0.00089	SELECT u.email, u.title, u.url, u.location, u.use_avatar, u.signature, u.email_setting, u.num_posts, u.registered, u.admin_note, p.id, p.poster AS username, p.poster_id, p.poster_ip, p.poster_email, p.message, p.hide_smilies, p.posted, p.edited, p.edited_by, g.g_id, g.g_user_title, o.user_id AS is_online FROM punbb_posts AS p INNER JOIN punbb_users AS u ON u.id=p.poster_id INNER JOIN punbb_groups AS g ON g.g_id=u.group_id LEFT JOIN punbb_online AS o ON (o.user_id=u.id AND o.user_id!=1 AND o.idle=0) WHERE p.topic_id=14454 ORDER BY p.id LIMIT 0,25
0.00095	UPDATE punbb_topics SET num_views=num_views+1 WHERE id=14454
Total query time: 0.00654 s

Forum Debian Users Gang

Ogłoszenie

#1 2009-06-22 08:54:11

ant0n - Użytkownik

Klaster na Debianie , problem z benchmarkami

#2 2009-06-22 09:11:10

azhag - Admin łajza

Re: Klaster na Debianie , problem z benchmarkami

Kod:

Kod:

#3 2009-06-22 09:13:28

ant0n - Użytkownik

Re: Klaster na Debianie , problem z benchmarkami

#4 2009-06-22 21:42:14

ant0n - Użytkownik

Re: Klaster na Debianie , problem z benchmarkami

Kod:

#5 2009-06-22 21:45:19

azhag - Admin łajza

Re: Klaster na Debianie , problem z benchmarkami

#6 2009-06-23 08:35:27

ant0n - Użytkownik

Re: Klaster na Debianie , problem z benchmarkami

Kod:

#7 2009-06-23 09:08:47

azhag - Admin łajza

Re: Klaster na Debianie , problem z benchmarkami

Kod:

#8 2009-06-23 09:10:30

ant0n - Użytkownik

Re: Klaster na Debianie , problem z benchmarkami

#9 2009-06-23 09:28:39

azhag - Admin łajza

Re: Klaster na Debianie , problem z benchmarkami

#10 2009-06-23 12:17:36

ant0n - Użytkownik

Re: Klaster na Debianie , problem z benchmarkami

#11 2009-08-18 12:35:45

ant0n - Użytkownik

Re: Klaster na Debianie , problem z benchmarkami

Kod:

#12 2009-08-18 13:18:34

tomii - Członek DUG

Re: Klaster na Debianie , problem z benchmarkami

#13 2009-08-18 13:21:21

ant0n - Użytkownik

Re: Klaster na Debianie , problem z benchmarkami

#14 2009-08-18 15:18:13

ant0n - Użytkownik

Re: Klaster na Debianie , problem z benchmarkami

Kod:

Kod:

Stopka forum

Informacje debugowania