Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Sajt na vise servera

[es] :: PHP :: Sajt na vise servera

[ Pregleda: 3627 | Odgovora: 18 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

rajkoBekrija

Član broj: 123164
Poruke: 53
*.broadband.blic.net.



Profil

icon Sajt na vise servera31.03.2009. u 19:35 - pre 182 meseci
Pozdrav svim developerima, administratorima
Interesuje me da li ste se susretali sa sajtovima koji se vrte na vise servera, konkretno me interesuje sama struktura.

Projekat koji ja razvijam se vrti na 6 servera, 5 web-ova + jedan mocan Db.

Svi serveri su pod Linuxom, na webovima je Apache sa php-om, a na DB je MySql. Sa tim da se svakh 15 minuta sync-a content sa glavnog db servera na ostale webove.

E sad sajt je community tipa, ovdje nastaje konretan problem.
Znaci korisnici mogu da uploaduju svoje slike - slika ce se upisati u bazu da je dodana, ali content slike ce se sacuvati samo na serveru koji je posjetio taj user.

Sta je bolje rjesenje:
Napraviti jedan folder u DocumentRoot-u na svim webovima koji bi bio mountovani network drive koji bi bilo jedan dir na db serveru ili
Pisati sav content slika u bazu pa ih naknadno sync-ati po web serverima.
ili nesto trece
 
Odgovor na temu

Mister_rap
SE at Viacom

Član broj: 8822
Poruke: 2540
*.dynamic.sbb.rs.

Jabber: mister_rap@jabber.com


+21 Profil

icon Re: Sajt na vise servera31.03.2009. u 19:54 - pre 182 meseci
Ja sam se bas trudio al pola nisam skapirao...

U svakom slucaju (pod uslovom da sam pogodio sta zelis) mozes da u bazu upises u dodatnom polju na kom se serveru slika nalazi i to je to.
Ostavi dijagram trenutne arhitekture ili se podrudi da nam pojasnis sta tacno zelis...
 
Odgovor na temu

Nemke_BG

Član broj: 163822
Poruke: 341
91.148.83.*

Jabber: Nemke_BG@elitesecurity.org
Sajt: https://www.nmdesign.rs


+45 Profil

icon Re: Sajt na vise servera31.03.2009. u 20:24 - pre 182 meseci
Skoro sam se susreo sa jednim malo slicnijim problemom i resili smo ga na jedan treci nacin.....

Posto ne znam koje je vrste taj sajt, tj. da li je namenjen i world - wide korisnicima ili samo korisnicima sa ovih nasih podrucja.....
ali ako je ova prva stvar u pitanju, onda ti toplo preporucujem da u bazi drzis putanje slika, a da slike ako mozes smestas odmah na neki CDN (mnogo dobra stvar ).....e sad zavisi od toga kako CDN koji bi koristio radi...neki traze da imas jedan dir na svom serveru koji oni sinhronizuju u zadatom vremenu(ili preko headera) ili ako mozes da odradis direktan upload kod njih......

A da ne pricamo da ces tako i da ubrzas drasticno sajt a i da smanjis load na svoje servere(ovo je relativno, zavisi od CDN-a)....

P.S. A ako je ovo druga namena u pitanju, onda bi mozda mogao da bacis da ti jedan od servera bude dedicated samo za slike. Posto si rekao da je sajt community tipa onda predpostavljam da ce biti dostaaaaa slika....
...
 
Odgovor na temu

rajkoBekrija

Član broj: 123164
Poruke: 53
*.broadband.blic.net.



Profil

icon Re: Sajt na vise servera31.03.2009. u 21:05 - pre 182 meseci
Recimo lokacija slika od korisnika se nalaze na /korisnik/($korisnikid).jpg, a u bazi se nalaze podaci o datumu uploada slike, approved itd.
Ako se povecaju posjete na sajtu ( load za neizdrzati :) ), znaci dodaje se novi web server, e sada ako se cuvaju u bazi lokacije slika po serverima to je lose rjesenje, ne bi bilo dobar load balancing. I u slucaju pucanja bilo kog servera content je izgubljen.

CDN sam projekat ne dopusta, odnosno zahtjevi ne dopustaju ;)

E sada recimo kada bih umjesto tog "korisnik" dira stavio da to bude mountovani dir na DB serveru (znaci nema potrebe za dizanjem apache-a na db-u) kakve su metode cachiranja tog contenta.

 
Odgovor na temu

Zmaj
Predrag Krstić
web developer
Zrenjanin

Član broj: 1035
Poruke: 382

Sajt: https://pkrstic.wordpress..


+4 Profil

icon Re: Sajt na vise servera01.04.2009. u 18:49 - pre 182 meseci
jedno pitanje: da li je broj uploada koje ocekujes velik? tj da li bi mogao da uputis korisnika koji radi upload na jedan server koji bi te fajlove slao ostalima, i kad se zavrsi upload zavrsi da ga vratis na glavni, na osnovu referera ili nekog drugog metoda na koji bi zapamtio odakle si dosao.
 
Odgovor na temu

rajkoBekrija

Član broj: 123164
Poruke: 53
*.broadband.blic.net.



Profil

icon Re: Sajt na vise servera01.04.2009. u 22:25 - pre 182 meseci
@Zmaj
Zanimljiva ideja, recimo na db-u da cuvam spisak servera i onda kada neki web upise nesto na svoj disk taj file momentalno salje na db da ih on raspodjeli na ostale. To bi zahtjevalo izmjenu citave aplikacije, posto na svakom pisanju po disku (slike) morala bi se pozvati "funkcija" koja bi uradila proces.

Kao najjednostavnije (najpogodnije za odrzavanje) rjesenje mi se namece ovo gore sto sam postavio, da li je neko radio sa tim.
Posto nema nikakvih izmjena na aplikaciji.
 
Odgovor na temu

VladaSu

Član broj: 31634
Poruke: 1099
77.46.188.*



+218 Profil

icon Re: Sajt na vise servera03.04.2009. u 18:07 - pre 182 meseci
/korisnik/($korisnikid).jpg
uredis rewrite na neki php koji salje sliku izcitanu sa servera sa kojega ti hoces, u ovom slucaju zavisi od id.
I nemas puno izmena.
[Ovu poruku je menjao VladaSu dana 14.06.2003. u 11:22 GMT+1]
 
Odgovor na temu

Mystery
Beograd

Član broj: 170918
Poruke: 76



+4 Profil

icon Re: Sajt na vise servera09.04.2009. u 08:06 - pre 182 meseci
Zanimljiva tema.
Da li je moguce da neke foldere drzim na jednom hostu, a druge na drugom hostu a da sve to bude pod jednim domenom?
 
Odgovor na temu

rajkoBekrija

Član broj: 123164
Poruke: 53
*.broadband.blic.net.



Profil

icon Re: Sajt na vise servera10.04.2009. u 00:24 - pre 182 meseci
@VladaSu
Treba shvatiti zasto je novi web server uopste postavljen - da se rasporedi load. Tim nacinom to nece ici.

U medjuvremenu sam gledao rjesenja distributed file sistema. Uglavnom vecina ima nekih nepremostivih mana npr. svoj api koji se koristi.

Dosao sam do rjesenja da kod svakog pisanja i brisanja fileova (slika) kontaktiram sve server-e u lancu i saopstim im sta i gdje trebaju da sacuvaju.

Znaci imam recimo 3 servera a.domain.com, b.domain.com, c.domain.com. Korisnik dodje na domain.com i dns mu dodijeli npr b.domain.com server. Korisnik kada uspjesno uploaduje sliku u images/users/ server b.domain.com pravi requeste na ostale servere u lancu znaci

Code:
file_get_contents("http://a.domain.com/sync.php ?source=http://b.domain.com/ &loc=images/users/125.jpg");

i
Code:
file_get_contents("http://c.domain.com/sync.php ?source=http://b.domain.com/ &loc=images/users/125.jpg");


a sta radi sync.php mislim da je sasvim jasno.

print copy($_GET['source'].$_GET['loc'], $_GET['loc']) ? 'OK' : 'ERROR' ;

E sada ako neki od requesta file_get_contents vrati ERROR Request se zapisuje u bazu kako bi se kasnije pokusala sinhronizacija.

Sta misliste :) ?

@Mystery
Naravno da je moguce,

[Ovu poruku je menjao rajkoBekrija dana 10.04.2009. u 02:06 GMT+1]
 
Odgovor na temu

agvozden
Aleksandar Gvozden
founder
Info-G
Beograd

Član broj: 37813
Poruke: 1122
*.b92.net.

Sajt: www.gvozden.info


+68 Profil

icon Re: Sajt na vise servera10.04.2009. u 08:20 - pre 182 meseci
@rajkoBekrija
Mislim da se uopste ne moze raspravljati tako o toj temi...
sta uopste zelis postici ovakvim pristupom i kakav raspored masina imas, gde su one postavljene... sve su to ulazni parametri da bi dobio valjan sistem.
zasto bi sa jedne masine stalno pozivao fajlove na drugoj masini on-demand?
u ovoj temi si samo zakacio slike, tek u zadnjem si pomenuo php...

Mislim da php servere treba odvojiti od db servera i od servera za staticki sadrzaj i to je generalna sugestija. sve ostalo zavisi od rasporeda masina....
 
Odgovor na temu

rajkoBekrija

Član broj: 123164
Poruke: 53
92.241.145.*



Profil

icon Re: Sajt na vise servera10.04.2009. u 10:21 - pre 182 meseci
@agvozden
Kakav tok predlazes :)

U prvom postu sam rekao da se radi o sajtu radjenom u php-u.

Inace dns za taj domain je podesen da daje random IP-e od 5 web servera, da se podijeli load.
Inace sve masine su u istom data centru.

Citat:
zasto bi sa jedne masine stalno pozivao fajlove na drugoj masini on-demand?

Ne radim to vec na ostale masine kopiram novi content.

A sto se tice rasporeda servera mislim da je jasno 1 db ostalo web-ovi. I to bih zadrzao koliko je duze moguce, zbog projekta sto je tako u startu zamisljen.



 
Odgovor na temu

agvozden
Aleksandar Gvozden
founder
Info-G
Beograd

Član broj: 37813
Poruke: 1122
*.b92.net.

Sajt: www.gvozden.info


+68 Profil

icon Re: Sajt na vise servera10.04.2009. u 11:32 - pre 182 meseci
A da imas poseban server samo za slike?

 
Odgovor na temu

Mystery
Beograd

Član broj: 170918
Poruke: 76



+4 Profil

icon Re: Sajt na vise servera11.04.2009. u 10:24 - pre 182 meseci
Odlicno!
Kako da stavim 2 hosta pod 1 domen?
 
Odgovor na temu

rajkoBekrija

Član broj: 123164
Poruke: 53
*.broadband.blic.net.



Profil

icon Re: Sajt na vise servera11.04.2009. u 11:30 - pre 182 meseci
Ne znam sta konkretno hoces da uradis, mada ne bih isao u off
 
Odgovor na temu

Zmaj
Predrag Krstić
web developer
Zrenjanin

Član broj: 1035
Poruke: 382

Sajt: https://pkrstic.wordpress..


+4 Profil

icon Re: Sajt na vise servera11.04.2009. u 17:59 - pre 182 meseci
jedino sto mi pada na pamet je da pravis skriptu tako da ti automaski azurira sve servere, znaci na jednom se desi upload, i funkcija koja to odradi automatski radi kopiranje na ostale serve. Isto ovo vazi i za brisanje.

Sto se tice implentacije, mozes da stavis da ti odmah sam server kopira fajlove na ostale masine recimo preko pozivanja komande za kopiranje direktno preko exec... ili kao sto je predlozeno gore pozoves skript na ostalim serverima koji ce sam da povuce fajl sa servera koji je pozvao skriptu.ostaje ti jedina da definises negde listu servera, obezbedis skript ne pozove svoj server :), zastitis se da ne moze da se pozove ta skripta od spolja i to je to. Ono sto mi pada na pamet kao problem je da ako ti negde zabelezis u bazi da imas sliku na serveru, i treba da prikazes taj podatak, moze da se desi di ti se sa drugih servera ne pokaze slika. Ono sto mi pada na pamet moras da se obezbebedis da neki slog koji zavisi od te slike ne postane aktivan do momenta kada je slika dostupna na svim serverima.

Esad ne znam koliko bi ti brze bilo da imas poseban server samo za slike, jer slika ima mnogo vise kolicinski u kilobajtima, ali racnam da su procesorski malo zahtevni, tj. koliko bi to opteretilo taj jedan server. Nisam imao iskustva sa ovim pa nemogu da kazem da li je bolje imati 4 php /fajl servera ili 3php i 1fajl server ili bilo koji drugi odnos.
 
Odgovor na temu

Mystery
Beograd

Član broj: 170918
Poruke: 76



+4 Profil

icon Re: Sajt na vise servera11.04.2009. u 18:21 - pre 182 meseci
Zelim da deo fajlova za preuzimanje drzim na nekom drugom hostu.
 
Odgovor na temu

Zmaj
Predrag Krstić
web developer
Zrenjanin

Član broj: 1035
Poruke: 382

Sajt: https://pkrstic.wordpress..


+4 Profil

icon Re: Sajt na vise servera12.04.2009. u 01:17 - pre 182 meseci
Citat:
Mystery: Zelim da deo fajlova za preuzimanje drzim na nekom drugom hostu.


molim te da otvoris drugu temu i tamo da postavis konkretno pitanje, a ne da upadas u konverzaciju.
 
Odgovor na temu

VladaSu

Član broj: 31634
Poruke: 1099
93.86.74.*



+218 Profil

icon Re: Sajt na vise servera24.04.2009. u 22:46 - pre 181 meseci
Citat:
rajkoBekrija: @VladaSu
Treba shvatiti zasto je novi web server uopste postavljen - da se rasporedi load. Tim nacinom to nece ici....


Kako nece ici?
Ako imas jedan main server koji samo rasporedjuje sa kojeg servera ce se sta citati i obradjivati i na kraju samo prosledjivati gotov html onda si smanjiio load. Ne?
A src slike u html-u kada prosledjujes onda kazes src="server1.domain.com/images/slika.jpg" ili src="server2.domain.com/images/slika.jpg".

Main server ti samo prima zahteve i salje gotove html-ove, drugi serveri obradjuju request i salju slike.
Na tom main serveru opet mozes random da prosledjujes pomocnim u zavisnosti od loada pomocnih servera ili raspodeli recimo
ako je id ispod 500.000 onda server1 ako je iznad onda server2.
[Ovu poruku je menjao VladaSu dana 14.06.2003. u 11:22 GMT+1]
 
Odgovor na temu

bugsu
Vojvodina - Subotica

Član broj: 40006
Poruke: 381
93.86.34.*



+3 Profil

icon Re: Sajt na vise servera17.08.2009. u 16:56 - pre 177 meseci
meni treba veoma slicna pomoc....
Serveri su 1main + 3 LB servera i ta 3 se sync na osnovu main servera...znaci sta je na main sve je i na ostala 3
e ako je main server opterecen user se prebacuje na neki od LB servera....
posto sajt isto ima upload slika,klipova i sl zezancija tu nastaje problem...
User ako se prebaci na LB server i krene upload on ce uplodati na LB ...sto meni nije nikako dobro jer main ne moze da se sync na osnovu ostala 3....
e sad mene interesuje dal je moguce nekako direktno da uploduje na main server preko LB servera....

nesto meni pada na pamet da napravim malu zonu na LB serveru , gde script proverava IP servera i ako nije main server da prebacuje fajl na main server ....ali mi to sve nekako "klimavo" ....neka pomoc ? :)


EDIT: trenutno nije moguce podeliti server, jedan za db, drugi za upload i sl (mada sam predlagao)
Say NO to pop culture!!!
Crno je uvek u modi....
 
Odgovor na temu

[es] :: PHP :: Sajt na vise servera

[ Pregleda: 3627 | Odgovora: 18 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.