Kod Skanujący Strony Czyli Taki Mini Robot

[InIrudeBwoy]

Hej,

 

Potrzebuję przeszukać pewną stronę. Kolejne strony są numerowane od 1 do 56000 bodajże więc to jest proste ponieważ jest tylko jeden link i zmieniający sie numer. Wystarczy, że wyciągnę nagłówek strony tag <title> i zapiszę w pliku lub bazie (to też jest proste). Jednak do strony należy się zalogować. Jak można cos takiego wykonać? Czy jeśli się zaloguję to jakoś cookies podpowie że jestem zalogowany i zezwoli na przeglądanie strony czy koneiczne jest równiez napisanie kodu który się zaloguje?

[Kamil Michalak]

Hej,

 

Potrzebuję przeszukać pewną stronę. Kolejne strony są numerowane od 1 do 56000 bodajże więc to jest proste ponieważ jest tylko jeden link i zmieniający sie numer. Wystarczy, że wyciągnę nagłówek strony tag <title> i zapiszę w pliku lub bazie (to też jest proste). Jednak do strony należy się zalogować. Jak można cos takiego wykonać? Czy jeśli się zaloguję to jakoś cookies podpowie że jestem zalogowany i zezwoli na przeglądanie strony czy koneiczne jest równiez napisanie kodu który się zaloguje?

 

Nie wiem za bardzo w czym chcesz napisać tego mini-bota, ale jeżeli chcesz korzystać z Basha to polecam curl. Z tego co pamiętam, to obsługuje on metody pozwalające na zalogowanie się na stronę. Nie wiem dokładnie jak, ale w razie potrzeby mogę spróbować pomóc.

[Arabski]

man wget

[InIrudeBwoy]

dzięki, sprawdzę oba. A kod będę montował w bashu. Wyniki do pliku tekstowego a potem import do bazy danych.

[matlas]

W PHP CURL