Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Gogle boot i ostali roboti

[es] :: ISP :: Gogle boot i ostali roboti

[ Pregleda: 5958 | Odgovora: 4 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

Eridan
Varaždin

Član broj: 66588
Poruke: 15
*.adsl.net.t-com.hr.

Sajt: www.area85.net


Profil

icon Gogle boot i ostali roboti31.12.2005. u 13:28 - pre 222 meseci
Pozdrav,
Nisam siguran dal ovo spada ovdje ali evo da pitam.
Naime, na sajtu mi je bandwith oko 7gb mjesečno, što najviše otpada na ameriku, tj. google botove i slične robote. tj. oni mi pojedu oko 4gb prometa (mislim da je malo pretjerano). dali se da nekako ograničit količina bandwitha koju oni uzimaju, ili zabranit im neki pristup ili kako već. Molim pomoć!

 
Odgovor na temu

sasatomic
Sasa Tomic
Barcelona, España

Član broj: 40518
Poruke: 42
213.244.222.*

ICQ: 38492545
Sajt: www.kalaj.org/stomic


Profil

icon Re: Gogle boot i ostali roboti01.01.2006. u 11:03 - pre 222 meseci
Mozes da ili smanjis velicinu svih stranica i tako smanjis ukupan protok ili ako to nije moguce zabranis pretrazivacima da uopste indeksiraju sajt (hint: google: robots.txt) ali ti ovo ne preporucujem jer ti se u tom slucaju sajt nece pojavljivati u pretrazivacima kao rezultat pretraga. Drugim recima kad neko ukuca kljucne reci tvoj sajt se nece pojaviti.
 
Odgovor na temu

Vukan Karadžić
NS

Član broj: 4675
Poruke: 586
..njuel-bg.customer.sbb.co.yu.



+7 Profil

icon Re: Gogle boot i ostali roboti02.01.2006. u 11:38 - pre 222 meseci
Najbolje resenje ti je da kupis jaci hosting paket.
Naravno da nije pametno zabraniti botove ...
 
Odgovor na temu

Eridan
Varaždin

Član broj: 66588
Poruke: 15
*.adsl.net.t-com.hr.

Sajt: www.area85.net


Profil

icon Re: Gogle boot i ostali roboti02.01.2006. u 12:48 - pre 222 meseci
Hvala na odgovorima.

Host paket je dosta velik, ali ipak mi se činilo koda mi malo previše kradu roboti. Sada sam im zabranio pristup nekom sadržaju koji nije toliko bitan, tj. ostavio sve ono što se tiče glavne teme stranice i tako to. Pa ću vidjet koliko bude to pomoglo, ili odmoglo.
Hvala
 
Odgovor na temu

The Sekula

Član broj: 53829
Poruke: 76
*.eunet.co.yu.

Sajt: www.sekulovic.net


Profil

icon Re: Gogle boot i ostali roboti04.01.2006. u 08:11 - pre 222 meseci
A i proveri da sajt zna da prepozna If-Modified-Since u http requestu i da po potrebi kulturno odgovori sa 304.
 
Odgovor na temu

Cartman
Beograd

Član broj: 7164
Poruke: 151
*.smin.sezampro.yu.



Profil

icon Re: Gogle boot i ostali roboti15.01.2006. u 22:02 - pre 222 meseci
Ako ti se nalazi sajt pod Apache server-om, .htaccess fajl ti je pravi shvajcarski noz za te svrhe:

Naredba poput ove moze da blokira posetioca na osnovu njegovog User agent-a:

Code:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^OmniExplorer
RewriteRule ^.* - [F]


Tako da ako primetis nekog bot-a koji mnogo krade bandwidth-a, pravac lista ;)

Neki evil botovi pristupaju sa praznim user agent-on, za njih moze da upali nesto slicno ovome
Code:
RewriteCond %{HTTP_REFERER}<->%{HTTP_user_agent} ^-<->|<->-$
RewriteRule .* - [F]

Poneko argumentuje da je ovaj poslednji postupak mnogo agresivan, ali odbijeni botovi su obicno pokusavali da menjaju 5-6 IP adresa za minut...
Koristim i sledece da bi blokirao posete sa odredjenih referer sajtova:
Code:
RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http://(www\.)?cttsd.net.*$ [OR]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?wedib.com.*$ [NC]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?epac.to.*$ [NC]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?dddddd.com.*$ [NC]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?1.am.*$ [NC]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?discount-phentermine.1.am.*$ [NC]
RewriteRule \.*$ http://www.spammersgotohell.com [R,L]


Dokumentuj se, imas puno tutorial-a na tu temu. Valja testirati sta radi od toga, da se ne desi nesto poput greske 500.


Voilà, happy hunting :)
 
Odgovor na temu

[es] :: ISP :: Gogle boot i ostali roboti

[ Pregleda: 5958 | Odgovora: 4 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.