Forum Debian Users Gang

suchy · 2007-11-09 10:15:40

witam, mam pewna zagwozdke zwiazana z proramem wget, nie dziala tak jak ja chce ;) ale po kolei
Napisalem sobie skrypt ktory po zapodaniu mu adresu strony www do topic-u na forum intenetowym jak to, zciaga wlasnie wgetem strone na dysk, wycina html i cale to inne badziewie oprocz tekstow i tworzy plik latex-a, caly bajer jest w tym ze robi to automatycznie, jedno co podaje to adres strony, nastepnie te pliki tex-a mozna polaczyc w jedno, machnac spis tresci, index itp. Niestety zalaczniki wstaiane przez uzytkownikow (zdjecia np.) nie sa widoczne dla niezalogowanych uzytkownikow a komenda

Kod:

wget <www>

sie oczywiscie nie loguje. tylko sciaga mi strone i po konwersji okazuje sie ze plik tex jest niekompletny ( nie kompatybilny z oryginalem). Przedarlem sie prze manual do wget-a i poczatkowo sie ucieszylem ze sa tam opcje za pomoca ktorych mozna przeslac login, haslo itp. niestety nie udaje mi sie tego zrobic.

Kod:

 wget --http-user=<login> --http-passwd=<haslo> --cookies=on --load-cookies ~/.mozilla/firefox/ogjiy3yz.default/cookies.txt  <www>

nie daje zamierzonych rezultatow, nie wywala ani bledu ani komunikatu ze cos kolwiek robi z danymi do logowania a zciagnieta strona nie rozni sie od tej zciagnietej poprzednia komenda.
Czy wget potrafi czy nie potrafi sie zalogowac?
Jak chodzi o sprawy sieciowe typu sesje, php-y i inne tego typu to raczej jestem kiepski w tej dzialce wiec moze czego nie rozumiem.
Forum int. o ktory mowa jest "powerd by: phpBB" jezeli to jest istotne...
Ewentualnie moze ktos zna inny program (konsolowy) ktory poradzi sobie z tym lepiej jak wget

xanax · 2007-11-09 11:01:08

Opcja logowania w wget dotyczy autoryzacji basic-auth. Można ją wprowadzić za pomocą htacces'a w apachu na przykład. Ale to daje albo nie daje dostępu do contentu strony. Żeby zalogować się na strone internetową taką jak forum, wget nie wystarczy niestety. Kiedyś pisałem takie coś do logowania się na stronę i wiem że napewno da się to zrobić w pythonie :) Od ponad 2 lat nie pisałem nic w pythonie ale wprzynajmniej wiesz gdzie masz szukać dalej :]

suchy · 2007-11-09 11:42:02

hmmm te sprawy sieciowe to dla mnie magia, moze nie dlatego ze sa trudne, bardziej dlatego ze nigdy nie mialem potrzeby sie nimi zajmowac. musialbym sie uczyc pythona tudziez innego phpu czy do czego to tam jest podobne, od zera... no coz trudno... jakbys mnie tyko mogl skierowac na jakis tutorial do tego najlepiej z jakimis przykladami z zastosowan sieciowych. w necie jest tego kupa... samo odsianie zbednych informacji zajmnie poczatkujacemu wieki ;) ale najwazniejsze ze da sie to zrobic :]

bercik · 2007-11-10 22:49:11

mnie sie wydaje ze wget wysylajacy ciasteczko z zapamietaniem zalogowanego uzytkownika powinien wystarczyc ... nie wiem tylko czy wget rozumie plik z ciasteczkami mozilli ...

suchy · 2007-11-12 15:04:31

no ciezko jest co kolwiek ustalic bo nie widze zadnych sensownych komunikatow ani o bledzie ani o powodzeniu, po prostu zciaga strone jako nie zalogowany uzytkownik

Time (s)	Query
0.00014	SET CHARSET latin2
0.00006	SET NAMES latin2
0.00091	SELECT u., g., o.logged FROM punbb_users AS u INNER JOIN punbb_groups AS g ON u.group_id=g.g_id LEFT JOIN punbb_online AS o ON o.ident='3.138.69.28' WHERE u.id=1
0.00105	UPDATE punbb_online SET logged=1733365447 WHERE ident='3.138.69.28'
0.00034	SELECT * FROM punbb_online WHERE logged<1733365147
0.00207	DELETE FROM punbb_online WHERE ident='13.59.87.145'
0.00082	DELETE FROM punbb_online WHERE ident='18.188.205.95'
0.00093	DELETE FROM punbb_online WHERE ident='18.224.52.54'
0.00090	DELETE FROM punbb_online WHERE ident='18.224.55.63'
0.00071	DELETE FROM punbb_online WHERE ident='18.225.175.230'
0.00060	DELETE FROM punbb_online WHERE ident='3.12.34.192'
0.00064	DELETE FROM punbb_online WHERE ident='3.135.206.166'
0.00061	DELETE FROM punbb_online WHERE ident='3.145.177.173'
0.00059	DELETE FROM punbb_online WHERE ident='3.147.36.106'
0.00055	DELETE FROM punbb_online WHERE ident='3.148.117.207'
0.00069	DELETE FROM punbb_online WHERE ident='40.77.167.73'
0.00048	SELECT topic_id FROM punbb_posts WHERE id=74981
0.00009	SELECT id FROM punbb_posts WHERE topic_id=9651 ORDER BY posted
0.00056	SELECT t.subject, t.closed, t.num_replies, t.sticky, f.id AS forum_id, f.forum_name, f.moderators, fp.post_replies, 0 FROM punbb_topics AS t INNER JOIN punbb_forums AS f ON f.id=t.forum_id LEFT JOIN punbb_forum_perms AS fp ON (fp.forum_id=f.id AND fp.group_id=3) WHERE (fp.read_forum IS NULL OR fp.read_forum=1) AND t.id=9651 AND t.moved_to IS NULL
0.00010	SELECT search_for, replace_with FROM punbb_censoring
0.00138	SELECT u.email, u.title, u.url, u.location, u.use_avatar, u.signature, u.email_setting, u.num_posts, u.registered, u.admin_note, p.id, p.poster AS username, p.poster_id, p.poster_ip, p.poster_email, p.message, p.hide_smilies, p.posted, p.edited, p.edited_by, g.g_id, g.g_user_title, o.user_id AS is_online FROM punbb_posts AS p INNER JOIN punbb_users AS u ON u.id=p.poster_id INNER JOIN punbb_groups AS g ON g.g_id=u.group_id LEFT JOIN punbb_online AS o ON (o.user_id=u.id AND o.user_id!=1 AND o.idle=0) WHERE p.topic_id=9651 ORDER BY p.id LIMIT 0,25
0.00077	UPDATE punbb_topics SET num_views=num_views+1 WHERE id=9651
Total query time: 0.01499 s

Forum Debian Users Gang

Ogłoszenie

#1 2007-11-09 10:15:40

suchy - Użytkownik

wget z opcja logowania

Kod:

Kod:

#2 2007-11-09 11:01:08

xanax - Członek DUG

Re: wget z opcja logowania

#3 2007-11-09 11:42:02

suchy - Użytkownik

Re: wget z opcja logowania

#4 2007-11-10 22:49:11

bercik - Moderator Mamut

Re: wget z opcja logowania

#5 2007-11-12 15:04:31

suchy - Użytkownik

Re: wget z opcja logowania

Stopka forum

Informacje debugowania