[es] - Skidanje podataka sa Neta

bradic
Goran Bradic
Beograd

Član broj: 51939
Poruke: 108
194.106.175.*

Profil

^{26.02.2008. u 15:26}

Problem je sledeci:

1. Treba da pristupim jednom web strani. (www.fonet.co.yu)
2. Da se ulogujem sa mojim user name i password
4. Da pronadjem na strani ili servisu sta mi treba
3. Da skinem sa njihovog servisa sve sto mi treba (mislim na fajlove koje nude pod: Download i ostalo)

Ovo radim svakih pola sata u jednoj firmi, i oduzima mi dosta vremena.

Kako ovo sve da uradim, ali AUTOMATSKI - znaci da napisem neki program koji bi to sve za mene uradio.

Da li je to moguce, i koja tehnika se za to mora upotebiti.

Da li VB, .NET ili.....

^{26.02.2008. u 15:26}

Shadowed
.NET developer

SuperModerator
Član broj: 649
Poruke: 8807
212.200.70.*

Sajt: www.diskusije.net

Profil

Re: Skidanje podataka sa Neta

^{26.02.2008. u 16:00}

Mozes u vb.net-u, u c#-u, cemu hoces :)
posto nemam username i password, ne mogu ti detaljnije reci, ali potrebno je da pogledas taj form koji koriste za login i da pozoves stranu iz action atributa, da prosledis odgovarajuce post parametre a onda kada ucitas stranu da pretrazujes po sadrzaju koji dobijes.

Download from Youtube

Otkrivena nova tehnika kloniranja

FBzP

^{26.02.2008. u 16:00}

bradic
Goran Bradic
Beograd

Član broj: 51939
Poruke: 108
194.106.175.*

Profil

Re: Skidanje podataka sa Neta

^{26.02.2008. u 16:59}

Hvala na odgovoru, cenim da su te iskusniji programeri razumeli, ali ja ne spadam u tu grupu

Ne znam kako da pozovem stranu iz action atributa. Ukazi mi na neku smernicu ili da guglam.

Kad bih imao neki mali primer kako da pocnem takav jedan projekat u VB.netu bilo bi mi jasnije.

^{26.02.2008. u 16:59}

mmix
Miljan Mitrovic
Software Architect
Pancevo, Srbija

Moderator
Član broj: 17944
Poruke: 1806
195.252.78.*

Profil

Re: Skidanje podataka sa Neta

^{26.02.2008. u 17:19}

Ne bih da te obeshrabrim i da ti kazem da ti to ne mozes, ali ako nisi iskusniji programer bolje i da ne razmatras ovo. To sto ti hoces da napravis se zove web-crawler, slican npr koristi google da indeksira stranice sajtova, sa tim da ti hoces da tvoj crawler bude jos kompleksniji od njihovog, da moze da prepoznaje custom login sheme (sto je samo po sebi feat da uradi automatika), da locira specijalno download-e i onda da ih skine. Mrka kapa, ako mene pitas.

▪ "Why isn't my wireless mouse connected to the computer?" - 2008 Dumbest Technical Support Question award
▪ The word 'politics' is derived from the word 'poly', meaning 'many', and the word 'ticks', meaning 'blood sucking parasites' - Larry Hardiman
▪ If the good guy gets the girl, it's rated PG; if the bad guy gets the girl, it's rated R; and if everybody gets the girl, it's rated X

^{26.02.2008. u 17:19}

DarkMan
Darko Matesic

Član broj: 20445
Poruke: 489
77.46.212.*

Profil

Re: Skidanje podataka sa Neta

^{26.02.2008. u 21:33}

Ja sam se u par navrata igrao sa tim automatizovanjem nekih radnji po web stranicama. Ono sto sam uspeo je da unesem tekst u polja, odaberem neki item iz listbox-a i da kliknem na dugme. Za ove stvari sam napisao pomocnu klasu sa kojom te stvari mozes da odradis veoma jednostavno. Skini HTML klazu iz attachmenta pa probaj sledece primere:

Code:

            WebBrowser wb = HTML.Navigate("www.google.com", 10);
            HTML.ShowBrowser(wb, true);
            HTML.SetText(HTML.GetElementById(wb, "q"), "proba");
            HTML.ShowBrowser(wb, true);
            HTML.ButtonClick(HTML.GetElementById(wb, "btnG"));
            HTML.ShowBrowser(wb, true);

Metoda ShowBrowser je pomocna metoda da mozes da vidis sta je ucitano i da vidis elemente koji su ti dostupni na stranici. Ovaj prvi primer ti prvo otvori google i prikaze ga. Kada ugasis prozor popunice polje za pretragu pa ponovo prikazati browser. Kada ga ponovo ugasis kliknuce na dugme za pretragu.

Code:

            WebBrowser wb = HTML.Navigate("ogame.ba", 30);
            HTML.SetSelectedIndex(HTML.GetElementById(wb, "universe"), 6);
            HTML.SetText(HTML.GetElementThatContains(wb, "INPUT", "login"), "moje ime");
            HTML.SetText(HTML.GetElementById(wb, "pass"), "moja lozinka");
            HTML.ShowBrowser(wb, true);
            HTML.ButtonClick(HTML.GetElementById(wb, "button"));
            HTML.ShowBrowser(wb, true);

Ovaj drugi primer ce da otvori stranicu za logovanje na sajt ogame.ba. Odabrace iz opadajuce liste univerzum, popuniti user name i lozinku i zatim prikazati prozor. Kada gu ugasis kliknuce na dugme za prijavu i zatim ponovo prikazati browser.

Vidi ako moze ovo ista da ti pomogne.
Pozdrav!

Prikačeni fajlovi

HTML.zip - 5.57k

^{26.02.2008. u 21:33}

Boki DX-11
Somewhere In The Time

Član broj: 52138
Poruke: 221
91.150.106.*

Profil

Re: Skidanje podataka sa Neta

^{28.02.2008. u 14:31}

a sta ako je sajt, recimo, zasticen, odnosno ima ili nema onaj security certificate (kako se vec zove, nemam pojma)... u svakom slucaju preko web browsera izbaci security alert, pa kliknem yes, i tek onda otvara stranicu!

Bill Gates is the richest, why are you not...?!

^{28.02.2008. u 14:31}