[es] - Web scraping ili tako nesto

kokodudldu

Član broj: 25508
Poruke: 25
*.ewe-ip-backbone.de.

+1 Profil

^{08.12.2008. u 21:36 - pre 187 meseci}

Cao svima

Au koliko mrdalica otkad nisam bio na ovom sajtu I am shocked :) and I have jedno generalno pitanje. Pocetnik sam u ovome i voleo bih konkretnija uputstva...

Imam recimo neki airline web-page u kom se unosi From:, To: airports iz nekog drop down boxa, zatim dan putovanja i jos neki tako podaci, onda se klikne SEARCH dugme i na sledecoj stranici ukaze se ponuda za taj dan sa cenom, taksama itd. Ta web stranica (opet recimo) ima PREVIOUS DAY i NEXT DAY linkove koji kada se pritisnu dobije se ponuda za juce ili sutra (npr. ukoliko ponuda za danas ne postoji ili je jako skupa).

Kako napraviti program koji bi automatski za zadate ulazne podatke gradovi, datumi, ucitao web stranicu sa ponudom za taj dan, a zatim isao NEXT DAY, NEXT DAY i "poznjeo" sve podatke o ponudama za vise dana i to isporucio kao izlaz, recimo kao tekstualni fajl?

Koje se metode/jezici koriste za ovo i kako to uraditi? Gde da nadjem detaljniju pomoc kako to uraditi? Znam dosta programskih jezika (npr. Javu)... i sramota me je da kazem ali zavrsio sam ustvari ceo jedan Computer Science fakultet medjutim nikad nisam nesto za web programirao i malo sam previse nakrivljen ka teoriji :D.

Znam da ovo nije uvek moguce i neki serveri ne dozovljavaju i treba se pazljivo raditi itd. ali to mi trenutno nije uopste bitno.

Hvala na odgovoru & poz.

Odgovor na temu

Pharos
Pančevo

Član broj: 20664
Poruke: 1029
*.adsl-1.sezampro.yu.

+2 Profil

Re: Web scraping ili tako nesto

^{08.12.2008. u 21:52 - pre 187 meseci}

Ja to radim u C# WinForms.
Koristim Firebug da bih video POST/GET poruke prilikom običnog surfovanja stranice da bih znao kako se data stranica ponaša i na koji način da izvršim parsiranje sadržaja.
Pomoću WebClient klase šaljem zahtev stranici i tekst parsiram Regex-om i HtmlAgilityPack-om.
Eto :)

77 77 77 2E 65 73 6E 69 70 73 2E 63 6F 6D

Odgovor na temu

kokodudldu

Član broj: 25508
Poruke: 25
*.adsl-3.sezampro.yu.

+1 Profil

Re: Web scraping ili tako nesto

^{11.12.2008. u 22:32 - pre 187 meseci}

Ok mnogo hvala nesto sam istrazivao... Imam FireBug ali ne mogu da vidim ispravno podatke za POST message. Npr. kada kliknem "SEARCH FLIGHTS" na web stranici http://www.bookryanair.com/skysales/FRSearch.aspx?promoCode= ukaze se jedan POST (i nekoliko GET-a) ali na tabu Response za taj POST se ukaze samo "<h1>Length Required</h1>", a tab Post je prazan. Postavio sam doublePost ili tako nesto na about:config na true. Sta nije u redu?

Odgovor na temu

kokodudldu

Član broj: 25508
Poruke: 25
95.33.124.*

+1 Profil

Kako da generisem ASP.NET_SessionId?

^{01.02.2009. u 17:21 - pre 185 meseci}

Ok resio sam bio gorenavedeni problem tako sto sam promenio POST u GET u kodu same HTML stranice, i onda dobio response u FireBugu. U medjuvremenu sam instalirao novu verziju FireBug-a i to neobicno ponasanje vezano za POST je iscezlo, verovatno se radilo o bagu.

Sada imam drugi issue. U request headers treba da posaljem i Cookie, u kome je jedna od variabli ASP.NET_SessionId. To je ocigledno neki random Id sesije koji je stranica nekako dobila od servera, i sada ga salje preko cookies back da se identifikuje user. Kako da generisem neki novi, fresh, bilo koji, session ID za moj program? Obicno u pocetku komunikacija sa serverom u mom programu radi kada samo kopiram taj ASP_Session_ID iz Firebug-a, ali ubrzo prestane da radi.

Osim toga, System.Web namespace mi je gotovo prazan. Ne mogu da access HttpCookie klasu niti skoro biilo sta drugo. Koristim Visual Studio 2005 and C#. Da li neko zna u cemu moze biti problem?

Odgovor na temu