PajÄ…k

problemy z tworzeniem programów do obsługi sieci, internetu, e-mail itp..

PajÄ…k

Nowy postprzez wargo » czwartek, 21 sierpnia 2008, 20:12

Czy można użyć komponentów z pakietu INDY np. idhttp do "podążania za linkami"?
Jesli tak to jak?
Avatar użytkownika
wargo
Mądrosław
Mądrosław
 
Posty: 389
Dołączył(a): niedziela, 13 lipca 2008, 16:44
PodziÄ™kowaÅ‚ : 12
OtrzymaÅ‚ podziÄ™kowaÅ„: 3
System operacyjny: Windows 7
Kompilator: C++ Builder 6 Personal
Gadu Gadu: 6259515
    NieznanyNieznana

Re: PajÄ…k

Nowy postprzez Darek_C++ » sobota, 23 sierpnia 2008, 09:57

Sam komponent IdHTTP umożliwia pobranie danych czyli kodu HTML strony i to wszystko do czego go można wykorzystać w budowie takiego pająka.

Następnie musi być moduł który dokona analizy kodu i wyciągnie z niego linki i je zapisze do jakieś bazy danych. Kolejny moduł musi wykonywać zapytania do bazy i pobierać z niej adresy stron jakie nie zostały jeszcze odwiedzone przez moduł pobierania danych ten z komponentem IdHTTP (indy) i tak cykle muszą się powtarzać do póki wszystkie adresy z bazy nie zostaną odwiedzone. Oczywiście musimy rozpoznawać czy adres - link jest lokalny czy też zewnętrzny, a w celu zapewnienia wydajności moduły programu powinny działać w osobnych wątkach.
Avatar użytkownika
Darek_C++
Elektrowied
Elektrowied
 
Posty: 454
Dołączył(a): piątek, 25 lipca 2008, 14:33
PodziÄ™kowaÅ‚ : 66
OtrzymaÅ‚ podziÄ™kowaÅ„: 4
System operacyjny: Windows XP Pro SP2
Kompilator: Turbo Explorer C++
Gadu Gadu: 0
    NieznanyNieznana

Re: PajÄ…k

Nowy postprzez Cyfrowy Baron » sobota, 23 sierpnia 2008, 10:30

Proponuję coś na wzór porady wyciąganie adresów URL ze stron internetowych opisanej w serwisie Cyfrowy Baron.
Avatar użytkownika
Cyfrowy Baron
Administrator
Administrator
 
Posty: 4716
Dołączył(a): niedziela, 13 lipca 2008, 15:17
PodziÄ™kowaÅ‚ : 12
OtrzymaÅ‚ podziÄ™kowaÅ„: 442
System operacyjny: Windows 7 x64 SP1
Kompilator: Embarcadero RAD Studio XE2
C++ Builder XE2 Update 4
SKYPE: cyfbar
Gadu Gadu: 0
    NieznanyNieznana


Powrót do Aplikacje sieciowe

Kto przeglÄ…da forum

Użytkownicy przeglądający ten dział: Brak zalogowanych użytkowników i 12 gości

cron