Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Baza podataka za logovanje merenja

[es] :: Baze podataka :: Baza podataka za logovanje merenja

Strane: 1 2

[ Pregleda: 6276 | Odgovora: 25 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

vjamovic
Vlada Jamovic

Član broj: 99968
Poruke: 95
*.static.sbb.rs.



+39 Profil

icon Re: Baza podataka za logovanje merenja13.03.2014. u 15:28 - pre 122 meseci
Pa ako nije neophodno u relnom vremenu pristupati bazi već samo kasnije u trenutku analize podataka

Relativno brzo možeš da doradiš tvoj program koji je pravio binarne fajlove sa podacima da pravi txt fajlove u formaty SQL upita za ubacivanje u bazu, a onda iz nekog alata ili čak command promta batcha ručno ili iz task shedulara aktiviraš update baze
 
Odgovor na temu

jablan

Član broj: 8286
Poruke: 4541



+710 Profil

icon Re: Baza podataka za logovanje merenja13.03.2014. u 17:01 - pre 122 meseci
Citat:
indicator1: Vec sam potrosio par dana na upoznavanje sa SQL-om pa ne bih da menjam "u pola posla". Pomenuo sam da sam to sve ranije radio i bez baze, pa sam se borio sa tolikom kolicinom podataka. Neki sledeci put cu sigurno pogledati neke od ovih "specijalizovanih" baza, sad mora da bude besplatno i po mene jednostavno.

Jbt, potrošio si par dana na upoznavanje sa tematikom koja je inače STRAŠNO komplikovana i obimna, plus što ti imaš prilično velike zahteve, pa nećeš više da se cimaš... Pa nije to izbor košulje za izlazak u grad pa kao MS SQL express ti je legao pa nećeš da gledaš dalje... Svašta.

Za to što hoćeš da radiš ima dosta različitih rešenja, masa njih je i open-source, ali od tvojih zahteva zavisi koja kombinacija je optimalna. Da li ti 20-og u mesecu treba svaka sekunda iz 5-og tog meseca? A iz 5-og prethodnog meseca? Da li imaš izmenu podataka ili samo upisivanje i čitanje? Da li agregiraš podatke nekako? Da li se čita mnogo ili malo? Sa uvek istim ili različitim upitima? Itd itd.

Ne znam koja je tvoja osnovna struka (elektronika?), ali ako i njoj pristupaš na isti način kao i bazama podataka, teško mušterijama...
 
Odgovor na temu

brzak

Član broj: 66407
Poruke: 126



+5 Profil

icon Re: Baza podataka za logovanje merenja13.03.2014. u 17:08 - pre 122 meseci
Citat:
indicator1:
Citat:
brzak: Sta je ta zadnja kolona koja je index? Mozda si hteo da indeksiras po vremenu da bi brze nasao slog CREATE INDEX idxVreme ON MyTable (Vreme); Ali tu si na knap sa 10 GB, nije bas sa tim se kockati.


Upravo to, nisam istestirao ali je to bila ideja.


Indeksi isto zauzimaju mesto i racunaju se u tih 10GB, pa povedi racuna o tome. Kreiranje indeksa nad tabelom koja zauzima 8GB lako moze da predje 2GB.
To sa smestanjem merenja u kolone je ok pod jednim uslovom - da ce uvek biti tih istih 50 inace ces se zapetljati u 'ALTER TABLE... ADD COLUMN...'
Ne radim sa SQL serverom ali koliko vidim restore bekapa u neki drugi database name ide otprilike ovako:

RESTORE DATABASE nova_baza FROM DISK = 'C:\Backup\baza.bak'
WITH
MOVE 'bazatemp' TO 'C:\Program Files\Microsoft SQL Server\MSSQL.1\MSSQL\DATA\nova_baza .mdf',
MOVE 'bazatemp_log' TO 'C:\Program Files\Microsoft SQL Server\MSSQL.1\MSSQL\DATA\nova_baza _log.ldf'

tako nekako
Ti to mozes ra resis aplikativno da kupis podatke iz restore bekapa, ali sta ce tvoj korisnik koji hoce da pise upite, da li on zna da izvede ovako nesto?

 
Odgovor na temu

jablan

Član broj: 8286
Poruke: 4541



+710 Profil

icon Re: Baza podataka za logovanje merenja13.03.2014. u 17:16 - pre 122 meseci
Citat:
vjamovic:Relativno brzo možeš da doradiš tvoj program koji je pravio binarne fajlove sa podacima da pravi txt fajlove u formaty SQL upita za ubacivanje u bazu, a onda iz nekog alata ili čak command promta batcha ručno ili iz task shedulara aktiviraš update baze

Pa ne mora čak ni da pravi SQL fajlove - može da napravi skripticu koja će te binarne fajlove da parsira i upumpava u bazu, bilo to SQL ili noSQL baza.
 
Odgovor na temu

captPicard
programer
more i planine

Član broj: 216084
Poruke: 1119



+19 Profil

icon Re: Baza podataka za logovanje merenja13.03.2014. u 18:34 - pre 122 meseci
Citat:
jablan:
Citat:
indicator1: Vec sam potrosio par dana na upoznavanje sa SQL-om pa ne bih da menjam "u pola posla". Pomenuo sam da sam to sve ranije radio i bez baze, pa sam se borio sa tolikom kolicinom podataka. Neki sledeci put cu sigurno pogledati neke od ovih "specijalizovanih" baza, sad mora da bude besplatno i po mene jednostavno.

Jbt, potrošio si par dana na upoznavanje sa tematikom koja je inače STRAŠNO komplikovana i obimna, plus što ti imaš prilično velike zahteve, pa nećeš više da se cimaš... Pa nije to izbor košulje za izlazak u grad pa kao MS SQL express ti je legao pa nećeš da gledaš dalje... Svašta.

Za to što hoćeš da radiš ima dosta različitih rešenja, masa njih je i open-source, ali od tvojih zahteva zavisi koja kombinacija je optimalna. Da li ti 20-og u mesecu treba svaka sekunda iz 5-og tog meseca? A iz 5-og prethodnog meseca? Da li imaš izmenu podataka ili samo upisivanje i čitanje? Da li agregiraš podatke nekako? Da li se čita mnogo ili malo? Sa uvek istim ili različitim upitima? Itd itd.

Ne znam koja je tvoja osnovna struka (elektronika?), ali ako i njoj pristupaš na isti način kao i bazama podataka, teško mušterijama... ;)


Slažem se sa svime napisanim. Imam osjećaš da želiš nešto na brzinu rješiti a to nikako ne može dobro završiti. U svakom slučaju ovo ograničenje od 10GB koje spominješ če te sigurno dovući u ogromne probleme. Pogledaj Firebird kao šta sam spomenuo, open-source je i mislim da može zadovoljiti tvoje potrebe, ako veće ne želiš ozbilnije pristupiti problemu.

F
 
Odgovor na temu

indicator1
BGD

Član broj: 4248
Poruke: 533
46.240.151.*



+1 Profil

icon Re: Baza podataka za logovanje merenja13.03.2014. u 19:22 - pre 122 meseci
Citat:
brzak:
Citat:
indicator1:
Citat:
brzak: Sta je ta zadnja kolona koja je index? Mozda si hteo da indeksiras po vremenu da bi brze nasao slog CREATE INDEX idxVreme ON MyTable (Vreme); Ali tu si na knap sa 10 GB, nije bas sa tim se kockati.


Upravo to, nisam istestirao ali je to bila ideja.


Indeksi isto zauzimaju mesto i racunaju se u tih 10GB, pa povedi racuna o tome. Kreiranje indeksa nad tabelom koja zauzima 8GB lako moze da predje 2GB.
To sa smestanjem merenja u kolone je ok pod jednim uslovom - da ce uvek biti tih istih 50 inace ces se zapetljati u 'ALTER TABLE... ADD COLUMN...'
Ne radim sa SQL serverom ali koliko vidim restore bekapa u neki drugi database name ide otprilike ovako:

RESTORE DATABASE nova_baza FROM DISK = 'C:\Backup\baza.bak'
WITH
MOVE 'bazatemp' TO 'C:\Program Files\Microsoft SQL Server\MSSQL.1\MSSQL\DATA\nova_baza .mdf',
MOVE 'bazatemp_log' TO 'C:\Program Files\Microsoft SQL Server\MSSQL.1\MSSQL\DATA\nova_baza _log.ldf'

tako nekako
Ti to mozes ra resis aplikativno da kupis podatke iz restore bekapa, ali sta ce tvoj korisnik koji hoce da pise upite, da li on zna da izvede ovako nesto?




Hvala na korisnim sugestijama. Ostajem mi da neku od ideja realizujem pa da vidim kako ce se ponasati u realnom radu. Ako u medjuvremenu nesto pametno saznam ili zakljucim, napisacu.
 
Odgovor na temu

[es] :: Baze podataka :: Baza podataka za logovanje merenja

Strane: 1 2

[ Pregleda: 6276 | Odgovora: 25 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.