Nie jesteś zalogowany.
Jeśli nie posiadasz konta, zarejestruj je już teraz! Pozwoli Ci ono w pełni korzystać z naszego serwisu. Spamerom dziękujemy!
Ogłoszenie
Prosimy o pomoc dla małej Julki — przekaż 1% podatku na Fundacji Dzieciom zdazyć z Pomocą.
Więcej informacji na dug.net.pl/pomagamy/.
#1 2006-07-31 15:53:29
DFX - 
Użytkownik
- DFX
- Użytkownik
- Zarejestrowany: 2006-06-30
pobieranie danych ze stronki
Witam
W jakis spoob mozna pobrac pewne dane ze stronki a nastepnie zapisac je w danym pliku.
Maja to byc dane z cennika ktury sie zmienia regularnie
Offline
#2 2006-07-31 16:34:55
KARQL - Członek DUG
- KARQL
- Członek DUG
- Zarejestrowany: 2006-03-06
Re: pobieranie danych ze stronki
Bardzo prosto:)
Mozesz np. w perlu wykorzystac modul LWP::SIMPLE lub LWP::UserAgent
Mozesz to pewnie nawet zrobic w bashu wykorzystujac wgeta.
Jesli juz masz sciagnieta strone to wybierasz co cie interesuje wyrazeniami regularnymi.
[img]http://img254.imageshack.us/img254/1225/gentoobar1rs9.png[/img]
Offline
#3 2006-07-31 16:56:26
DFX - Użytkownik
- DFX
- Użytkownik
- Zarejestrowany: 2006-06-30
Re: pobieranie danych ze stronki
Chodziło mi wlasnei zeby napisac to w bashu
Zaraz sprubuje z tym wget i grep
Dzieki za podsuniecie pomyslu
EDIT
Niestety po zapisaniu stronki nie da sie nic z niej wyciagnac
Stronka jest napisana chyba w php i odnosi sie do bazy danych (czy jakos tak)
Zeby było jasniej to[url]http://www.bronisze.com.pl/modules.php?name=Prices&file=index&func=catone&catid=1[/url] jest stronka z kturej chce wybrac cene kilku towarow
Offline
#4 2006-07-31 18:10:32
raixer - Moderator
- raixer
- Moderator
- Zarejestrowany: 2004-08-21
Re: pobieranie danych ze stronki
Po zapisaniu strony php na dysku wyglada tak jak by byla zwyklą statyczna stroną html'a. Teraz wystarczy pobrac z niej interesujace Cie dane.
Open Source - Świat otwartych umysłów
Linux Registered User: #276548
Offline
#5 2006-07-31 18:39:49
DFX - Użytkownik
- DFX
- Użytkownik
- Zarejestrowany: 2006-06-30
Re: pobieranie danych ze stronki
raixer jednak masz racje
Ale zauwarzyłem ze to jest inny problem z linku [url]http://www.bronisze.com.pl/modules.php?name=Prices&file=index&func=catone&catid=1[/url]
wget nie pobiera mi tego linku a jedynie ta stronke ktura kryje sie pod linkiem [url]http://www.bronisze.com.pl/modules.php?name=Prices[/url]
Czyli końcowka
Kod:
&file=index&func=catone&catid=1
jest ingnorowana
Offline
#6 2006-07-31 18:44:45
azhag - Admin łajza
- azhag
- Admin łajza
- Skąd: Warszawa
- Zarejestrowany: 2005-11-15
Re: pobieranie danych ze stronki
wpisz adres w cudzysłowiu
Błogosławieni, którzy czynią FAQ.
[url=http://www.opencaching.pl]opencaching[/url] :: [url=http://dug.net.pl/sources.list]debian sources.list[/url] :: [url=http://www.linuxportal.pl/blogi/azhag/wpisy]coś jakby blog[/url] :: [url=http://dug.net.pl/]polski portal debiana[/url] :: linux user #403712
Offline
#7 2006-07-31 19:08:48
DFX - Użytkownik
- DFX
- Użytkownik
- Zarejestrowany: 2006-06-30
Re: pobieranie danych ze stronki
oki dziki stronka jest zapisana
Teraz tylko jak zmusic grep zeby wyswieltił mi to co dokładnei chce np zeby z ciagu
Kod:
<td width='40%'>natka</td><td align='center'>pęczek</td><td align='right'>0,70 zł</td><td align='right'>0,80 zł</td><td align='right'>0.75 zł</td><td align='right'>0,00 zł</td></tr><tr><td width='40%'>ogórki gruntowe</td><td align='center'>kg</td><td align='right'>1,50 zł</td><td align='right'>2,00 zł</td><td align='right'>1.75 zł</td><td align='right'>0,30 zł</td></tr><tr><td width='40%'>ogórki kwaszone</td><td align='center'>kg</td><td align='right'>2,20 zł</td><td align='right'>2,50 zł</td><td align='right'>2.40 zł</td><td align='right'>0,00 zł</td></tr><tr>
wypisał mi
Kod:
ogórki gruntowe</td><td align='center'>kg</td><td align='right'>1,50 zł</td><td align='right'>2,00 zł</td><td align='right'>1.75 zł</td><td align='right'>0,30 zł
A najlepiej zeby wyswietlił sama nazwe i ceny ;]
Dodam ze to tylko kruciutki wycinek był :/
Offline
#8 2006-07-31 19:28:56
azhag - Admin łajza
- azhag
- Admin łajza
- Skąd: Warszawa
- Zarejestrowany: 2005-11-15
Re: pobieranie danych ze stronki
jakby zamiast wgetem stronę ściagnąć
Kod:
lynx -dump URL > plik_wyjściowy
to efekt byłby pewnie czytelniejszy
Błogosławieni, którzy czynią FAQ.
[url=http://www.opencaching.pl]opencaching[/url] :: [url=http://dug.net.pl/sources.list]debian sources.list[/url] :: [url=http://www.linuxportal.pl/blogi/azhag/wpisy]coś jakby blog[/url] :: [url=http://dug.net.pl/]polski portal debiana[/url] :: linux user #403712
Offline
#9 2006-07-31 19:45:53
DFX - Użytkownik
- DFX
- Użytkownik
- Zarejestrowany: 2006-06-30
Re: pobieranie danych ze stronki
Kod:
lynx -dump URL > plik_wyjściowy
wynik rewelacyjny
Dziekuje wszystkim za pomoc
Offline
#10 2006-08-01 00:01:35
KARQL - Członek DUG
- KARQL
- Członek DUG
- Zarejestrowany: 2006-03-06
Re: pobieranie danych ze stronki
Mozesz tez wynik wgeta przepuscic przez program html2text :D
[img]http://img254.imageshack.us/img254/1225/gentoobar1rs9.png[/img]
Offline
Informacje debugowania
| Time (s) | Query |
|---|---|
| 0.00008 | SET CHARSET latin2 |
| 0.00004 | SET NAMES latin2 |
| 0.00044 | SELECT u.*, g.*, o.logged FROM punbb_users AS u INNER JOIN punbb_groups AS g ON u.group_id=g.g_id LEFT JOIN punbb_online AS o ON o.ident='3.133.148.76' WHERE u.id=1 |
| 0.00085 | REPLACE INTO punbb_online (user_id, ident, logged) VALUES(1, '3.133.148.76', 1732614230) |
| 0.00023 | SELECT * FROM punbb_online WHERE logged<1732613930 |
| 0.00071 | DELETE FROM punbb_online WHERE ident='3.137.173.98' |
| 0.00018 | SELECT topic_id FROM punbb_posts WHERE id=37473 |
| 0.00004 | SELECT id FROM punbb_posts WHERE topic_id=4709 ORDER BY posted |
| 0.00032 | SELECT t.subject, t.closed, t.num_replies, t.sticky, f.id AS forum_id, f.forum_name, f.moderators, fp.post_replies, 0 FROM punbb_topics AS t INNER JOIN punbb_forums AS f ON f.id=t.forum_id LEFT JOIN punbb_forum_perms AS fp ON (fp.forum_id=f.id AND fp.group_id=3) WHERE (fp.read_forum IS NULL OR fp.read_forum=1) AND t.id=4709 AND t.moved_to IS NULL |
| 0.00041 | SELECT search_for, replace_with FROM punbb_censoring |
| 0.00124 | SELECT u.email, u.title, u.url, u.location, u.use_avatar, u.signature, u.email_setting, u.num_posts, u.registered, u.admin_note, p.id, p.poster AS username, p.poster_id, p.poster_ip, p.poster_email, p.message, p.hide_smilies, p.posted, p.edited, p.edited_by, g.g_id, g.g_user_title, o.user_id AS is_online FROM punbb_posts AS p INNER JOIN punbb_users AS u ON u.id=p.poster_id INNER JOIN punbb_groups AS g ON g.g_id=u.group_id LEFT JOIN punbb_online AS o ON (o.user_id=u.id AND o.user_id!=1 AND o.idle=0) WHERE p.topic_id=4709 ORDER BY p.id LIMIT 0,25 |
| 0.00128 | UPDATE punbb_topics SET num_views=num_views+1 WHERE id=4709 |
| Total query time: 0.00582 s | |