Gde vidite Intel-a za nekih 2 do 5 godina? :)

Nije to neki problem.

U ranim istrazivackim fazama nije nikakav problem da uredjaj vuce toliko struje.

Problem sa emulacijom mozga je sto ne znamo sta treba da emuliramo. Ljudski mozak nije kompjuter sa JTAG konektorom i debagerom, a nije ni uredno fabrikovan na PCB-u pa da mozes da ga "brute force" rekonstruises skeniranjem.

Bez tog znanja je besmisleno pricati o drugim problemima. Stavise, smem da se kladim da, hipoteticki, kada bi izmapirali sve sto treba i utvrdilli da je to ono sto je neophodno - da bi "20MW" vrlo brzo otislo u zaborav. U kratkom roku bi to trcalo na one male baterije za satove.



Meni se ne cini da je tako. Racunari kakve danas koristimo su napravljeni za poznat cilj, i tom problemu su odgovorili vise nego impresivno.

Sa druge strane, "wetware", cak i ako uzmemo zdravo za gotovo da je nuzni i jedini element neophodan za inteligentno ponasanje, je rezultat procesa iterativne adaptacije novim uslovima koji traje milijardama godina.

Nije imalo sta da podje "naopako" - posto izmedju ove 2 stvari nema ama bas nicega zajednickog, osim da je prvi uredjaj nastao radom drugog.

---

Čak i da mapiramo prosečan mozak i odradimo sve kako treba hardverski, ne znamo još uvek šta je svest, kreativnost i sl.
Sećam se da je gore pomenuti autor prikazao računar koji simulira (relativno uspešno) mozak pacova, smešten je u rack orman visine 2 metra i širine metar, otprilike. Danas bi moglo da se spakuje i u "malo" manju zapreminu.

A za ljudski mozak... tu nije problem samo broj neurona i kako su povezani (sinapse), problem je kako mozak obrađuje ono što vidimo očima (nije prosta obrada "piksela" kao što rade današnje NN), kako mozak obrađuje zvuk, kako to naučimo da prepoznamo kišobran čak i ako vidimo samo njegov delić iza drugog objekta, itd.

Jednostavno, za sva iskustva koje ima ljudski mozak za nekoliko decenija i stečeno znanje, kao i mnogo toga drugog, ko zna koliko je terabajta potrebno kad bismo memorisali u klasičnim računarima.

Ljudski mozak se više ponaša kao analogni računar, baziran je na hemijskim procesima koji, ako se "osvežavaju", omogućuju "pamćenje" određenih parametara koji utiču na signal dobijen stimulacijom nervnih završetaka (npr. koncentracija određenih jedinjenja u neurotransmiterima i receptorima, koja se može menjati, itd.)

To se može simulirati na klasičnom računaru, ali koliko je tranzistora potrebno za to i kakav algoritam u softveru...

Ako je cilj kreiranje nečega što bi 100% oponašalo ljudski mozak bar za neke relativno jednostavne primene, verovatno je potrebna kombinacija klasičnog računara (za brži unos i obradu podataka) i veštačkih bioloških neurona.

---

Ja se uvek setim reči mog nastavnika programiranja iz srednje - čovek (mozak) je pametan i spor, a računar je glup i veoma brz :D

Swan je potvrdio Alder Lake za 2H21. Izgleda da će to biti septembar
https://videocardz.com/newz/in...core-alder-lake-s-in-september
Ko zna, možda do tada i Windows bude znao šta da radi sa big.little arhitekturom.

Na temu one najave da će napraviti bolji proizvod od dizajnerske kompanije iz Kupertina, mislim da je jedini način da se to desi da batale Windows i ozbiljno naprave OS i softver za određenu grupu korisnika. Tj. ne da batale, već da shvate da sa njim neće moći da izvuku maksimum iz svoje arhitekture. Clear Linux sa svim njihovim alatima za development, OneAPI paketom, standardno dobrim drajverima za grafiku, i sve boljom grafikom, akceleracijom za photo/audio/video zadatke... Ako neko ima resurse da napravi PC koji će biti konkurencija Mac-u i Chromebook-u, to nije Microsoft, ni HP, ni Lenovo... već Intel. Znam da to nije njihov posao, ali mi se čini da će bez toga nastaviti da gube tržište. Jer oni na kraju ne prodaju PC/WS već samo jedan njegov deo. Moža najvažniji, ali sve to pada u vodu kada je ostatak sistema (i hardver i softver) krš.

Ivan:'Nije imalo sta da podje "naopako" - posto izmedju ove 2 stvari nema ama bas nicega zajednickog, osim da je prvi uredjaj nastao radom drugog."

Kako nije? Pa ako je pogresan pristup?

mjanjic":Ako je cilj kreiranje nečega što bi 100% oponašalo ljudski mozak bar za neke relativno jednostavne primene, verovatno je potrebna kombinacija klasičnog računara (za brži unos i obradu podataka) i veštačkih bioloških neurona."

Da, prvi avioni su radjeni po pticama.

Generalno pristup ovom problemu kao imitaciji mozga je pogresabn mislim. Ljudi razmisljaju, i neko ce pre ili kasnije
doci do resenja.

Ne mozes reci da je pristup pogresan ili ne ako ne razumes ni sta tacno zelis.

U momentu kada su postavljane osnove za moderne racunare, nivo znanja o centralnom nervnom sistemu je bio nepostojeci da se uopste mogao uzimati za nekakav cilj.

Kada je znanje postalo dovoljno da bar ukapiramo sa cime imamo posla - odmah potom je postalo jasno da danasnje arhitekture racunara nisu uopste optimalne za nacin na koji bioloski CNS funkcionise.

Tako da nista nije "naopako" - niko ne zivi u zabludi da ce sa CPU-ovima da parira biologiji.



Moderni AI/ML ide u drugom smeru i ne imitira biologiju.

Tamo gde vidis imitacije vrlo verovatno se radi o problemu simulacije a ne imitacije.

---

Ivan:"Moderni AI/ML ide u drugom smeru i ne imitira biologiju."

Neuralne mreze ne imitiraju biologiju? Ne znam zasto je to toliko
sada popularno, ali bice da je zato sto su kompjuteri 1000+ puta jaci
nego sto su bili kada je koncept zasnovan. No AI ako zelis da radi
nesto korisno, nece se na tome zasnivati...

Veštačka inteligencija i mašinsko učenje nisu samo neuronske mreže, nego i drugi pristupi.

---

@Bane,

Hajde da se zadrzimo na "DL" - sto Nedeljko rece, AI/ML je mnogo vise od toga.

Da li mozes da mi kazes koju biologiju imitiraju Transformeri? Ili GAN? Da li si mozda pogledao skoro pobednike klasicnih AI izazova i mreze na kojima su zasnovani?

Samo su rani uspesni modeli korisceni u prepoznavanju slika (AlexNet i drugari) bili INSPIRISANI bioloskim kolima, ali ta inspiracija je otprilike samo porvrsinska da potpuno nebitna za pravi posao.

Na primer, pomenuti AlexNet, kao i dosta kasnijih mreza vezanih za procesiranje vizuelnih podataka su izgradjeni na osnovu proizvoljno probranog ogranicenog znanja o vizuelnom sistemu u CNS. Ali te slicnosti su bukvalno na nivou pitce i aviona - da, i ptica i avion lete, mozda cak i lice fizicki kada ih gledas kao cele objekte ali tu se slicnosti zavrsavaju. Mozes da kazes da je avion "inspirisan pticama" ali je realizacija komplet drugacija.

Na primer:

- Ljudi su probrali nekoliko karakteristika vizuelnog CNS-a koje poznajemo, uzeli ih za tacne i proglasili ih za kljucne

Hoces dozu realnosti?

Ne znamo sta radi >90% neurona u V1 primarnom vizuelnom korteksu. Takodje, jos niko nije zadovoljavajuce objasnio kako cela stvar funkcionise znajuci da su sinapse talamickih neurona (koji nose "signal" iz oka) takodje jednocifren % sinapsi u V1.

Stani malo i zamisli situaciju: niti znamo sta radi 9 od 10 neurona u najdetaljnije proucavanom delu neokorteksa (!), plus "kablovi iz oka" cine 1 od 10 prikljucaka u toj nepoznatoj dzungli :-)

Mi volimo da kategorizujemo stvari, pa smo ovaj drugi problem delimicno adresirali sa modelom talamickih sinapsi "vodica" i "modulatora". Tako 10% LGN sinapsi postaju dominantne i mogu da prenose signal zato sto su "vodici" a ostala boranija su modulatori. Izabrali smo 2 komada za tipove sinapsi, volimo tako.

Ali sto 2 jbt? Sto ne 3 ili 33? I da li imamo dokaz da ovo uvek vazi a ne samo u ono malo neurona sto smo odabrali (zato sto se ponasaju kako mi ocekujemo - eto ti odmah vec fatalne greske) umesto sto smo ih odbacili sa "daju sum, ne mozemo citati rezultat" :-) Problem sa svim tim modelima je sto ne mogu da objasne konacan rezultat (ne nuzno zato sto su pogresni, nego zato sto nisu dovoljni).

- Nacin na koji DL "uci" nema nikakve veze sa nacinom na koji CNS "uci"

Geoffrey Hinton, jedan od najuticajnijih AI istrazivaca, ima dosta materijala na tu temu: https://bdtechtalks.com/2020/0...ey-hinton-convnets-cnn-limits/

DL cesto koristi backprop i ima sasvim drugaciji odnos izmedju broja "sinapsi" (parametara) i kolicine informacija koje udju za vreme treniranja.

Sa druge strane, CNS oclgledno koristi nenadgledano ucenje koje trci paralelno sa zakljucivanjem (duh), "algoritam" jos nije poznat ali se nazire da u tome ucestvuje daleko veci broj "alatki".

Konacno, i to je jedna od stvari koju Hinton cesto pominje: uzmi broj sinapsi u CNS-u, izrazi njihov kapacitet za skladistenje informacija na neki od poznatih nacina, pomnozi to sa brojem neurona - doci ces do kolicine koja je, jednostavno, apsolutno neuporediva sa bilo cim sta mi imamo. CNS bukvalno ima "mesta" da uskladisti astronomski broj informacija, ukljucujuci i komplet signal 24/7 koji dobija iz senzora. Druga je prica da li te podatke onda uopste moze da koristi, ali kapacitet postoji. Raznolikost neurona i situacije gde na neki deo signala reaguje jako mali broj istih pokazuju da priroda i te kako koristi sve te neurone, a samim tim i njihove kapacitete skladistenja informacija.

--

Ali mozes i da obrises sve ovo gore, da kazes "slozili smo se da je to imitacija mozga" (iako nije niti moze da bude) bukvalno vec vise godina nove mreze nisu ni "inspirisane" CNS-om vec su razvijene sa nasim problemima kao primarnim faktorom u modeliranju.

Situacija je postala cak i obrnuta - sada imas istrazivace koji traze bioloske korelate za backprop u mozgu, ili cak trazenje da li mozak koristi nesto slicno odredjenim novim mrezama koje smo otkrili.

Bez obzira da li je bilo sta od toga tacno ili ne (za backprop, iskreno sumnjam) - to dokazuje da nismo nikako mogli biti "inspirisani" kad sad pokusavamo da nadjemo da "inspiracija" mozda ne koristi ono sto je nama palo na pamet.



Ako imas neki noviji telefon, koristis Internet servise, napravio si neku fotografiju na modernom uredjaju - bukvalno za svaku tvoju operaciju ili zahtev, u pozadini imas neki AI. AI ocigledno i te kako radi vrlo korisne stvari.

Bas stvari za koje je i napravljen.

AI nije napravljen da p*di dok jede cips i gleda Netflix, za to cemo morati da se nacekamo.

---

Neuronske mreže su daleko šire upotrebljive od oblasti prepoznavanja oblika. To je dokazao Google sa Alpha0 projektom. Međutim, još uvek nije istraženo šta obuhvata područje primenljivosti neuronskih mreža. Google je dokazao da je to područje šire nego što se ranije mislilo.

Neuronske mreže jesu oponašanje biologije, s tim da se ne drže slepo biologije, nego se dizajniraju tako da budu što bolje primenljive na datu namenu.

Mašinsko učenje i veštačka inteligencija pak obuhvataju štošta drugo, osim neuronskih mreža. Evo primera:

Imamo veliku količinu teksta dostupnu dvojezično na srpskom i engleskom jeziku, s tim da je prevođenje vršeno entitet po entitet, pri čemu taj entitet može biti rečenica ili pasus.

Onda se prave statistike koje srpske reči se pojavljuju zajedno sa kojim engleskim rečima.

Na osnovu tih statistika se formira srpsko-engleski rečnik, kao i rečnici sinonima za srpski i engleski jezik, a može i neki pametniji rečnik, gde predlaže onu reč koja ide u paru sa nekom drugom koja se koristi u istom entitetu i predstavlja kontekst.

---

Zar nije nekoo dokazivao (uspesno?) da se neuronske mreze mogu modelirati 1:1 na funkcije fuzzy logike? Zar ih onda to ne cini cisto matematickom apstrakcijom? :) Zna neko ovde sigurno matematiku bolje od mene, da prokomentarise.....

Uostalom, fizioloski neuroni imaju pored te "fuzzy" prenosne funkcije (koja se vidi u neuronskim mrezama, u svim bibliotekama) i deo vezan za osmozu i biohemiju, koju, koliko ja znam, racunarske neuronske mreze ni ne pokusavaju da modeliraju.

---

Ivan:"Samo su rani uspesni modeli korisceni u prepoznavanju slika (AlexNet i drugari) bili INSPIRISANI bioloskim kolima, ali ta inspiracija je otprilike samo porvrsinska da potpuno nebitna za pravi posao. "

Nisam mislio na konkretne implementacije nego na princip. Naravno da bez potpunog znanja nema ni implementacije.

Nedeljko:"Mašinsko učenje i veštačka inteligencija pak obuhvataju štošta drugo, osim neuronskih mreža. Evo primera:"

Secam se jednog od prvih AI programa koji me fasciniraio "pogadjanje zivotinja". Program postavlja pitanje o karakteristici
zivotinja i ako ne pogodi doda opis i cvor u stablu. Jedan od prvih ekspertskih sistema.
Potom imao sam prilike da radim pogadjanje alternativne reci u slucaju da prepoznam da rec nije pravilna.
To koriste search engine-i i verujem tekst procesori. Itd. No nije u tome poenta. Poenta je da
se danas ML usko povezuje za neuronske mreze i da su skoro sinonimi. No kad sam rekao da ce se koristiti
drugi nacini mislio sam na druge nacine.

Nikola:"Zar nije nekoo dokazivao (uspesno?) da se neuronske mreze mogu modelirati 1:1 na funkcije fuzzy logike?"

Neuronska mreza je sama po sebi fuzzy, zato sto radi nesto korisno, dok specificno nije dizajnirana programirana
za to, osim naravno da heuristicki daje dobre rezultate, e za to se "trenira". Dobra je stvar pogotovo za razbijanje
captchi ;)
Naravno da mozes bilo kakvu f-ju da koristis za neuralnu mrezu pa i fuzzy logike.

"koliko ja znam, racunarske neuronske mreze ni ne pokusavaju da modeliraju. "

Uzet je princip, emuliranje osmoze i biohemije zahteva znatnu procesorsku snagu, a pitanje je ima li smisla...

To samo laici tako misle. Svakako ne oni koji na tom polju znaju nešto profi da naprave. Evo ti linka na profesora veštačke inteligencije na Matematičkom fakultetu u Beogradu:

http://poincare.matf.bg.ac.rs/~janicic/

Imaš i link na skriptu iz veštačke inteligencije. Imaš glavu o mašinskom učenju. Jedan deo toga su neuronske mreže.

http://poincare.matf.bg.ac.rs/~janicic//courses/vi.pdf

---

Ne vidim sta u toj skripti ima sto vec nisam pomenuo...

edit:
mislim ono raspravljam sa covekom kom je O(logn) algoritam o(1)...

Tvrdio si da su mašinsko učenje i neuronske mreže praktično sinonimi. Skripta pokazuje suprotno - da se mašinsko učenje ne svodi samo na neuronske mreže, nego da postoje i drugi pristupi mašinskom učenju.

A što se tiče O(log(n)) i o(1), vidi se koliko si teorijski potkovan. Za početak, praviš li razliku između o(1) i O(1)?

---

Hmm, klasicne vestacke neuronske mreze (ANN) su cisto matematicki koncept. Odabirom adekvatnih parametara one mogu oponasati bilo kakvu izracunljivu funkciju. Podskup tih mreza je takodje i Turing-kompletan.

Razlog zasto su one podobnije od nekih drugih pristupa je zbog treniranja, kao metoda "grube sile" sa kojim mozes dobiti zadovoljavajucu aproksimaciju.



Neuronske mreze su odvratan termin, totalno neprecizan i zaduzen za ovakve zbuntove.

ANN mreze koje su dominantne u danasnjim AI primenama ne pokusavaju da se bave biohemijom. Medjutim, sa druge strane, imas drugu kategoriju "okidajucih" neuronskih mreza gde mozes modelirati biohemijske efekte sa preciznoscu kakva ti vec treba i koja je moguca. Ove mreze je prakticno nemoguce trenirati sa algoritmima koje imamo danas a da se dobije rezultat uporediv sa ANN.

Ironicno, okidajuce neuronske mreze mogu biti drasticno efikasnije po pitanju potrosnje. Stavise, imas vise firmi (Samsung, Bosch) koje to koriste.

Kako to funkcionise? Jednostavno - okidajuca mreza oponasa ANN :-) Svo treniranje se radi na ANN strani, a onda se, na kraju faze ucenja, "sintentizuje" SNN po ugledu na ANN sa fiksnim parametrima.

---

Ivan:"Razlog zasto su one podobnije od nekih drugih pristupa je zbog treniranja, kao metoda "grube sile" sa kojim mozes dobiti zadovoljavajucu aproksimaciju."

Heh, najgenijalniji pristup kod treniranja neuronskih mreza sam video gde se koristi geneticki algoritam za treniranje :P

@Ivan Dimkovic

Neuronske mreže su jedini poznat metod kojim se može napraviti softver za PC, koji može da pobeđuje ljude u kineskoj igri go.

Onomad kada je mašina pobedila najboljeg igrača, Google je za tu svrhu napravio Alpha0, koji je radi na PC-ju, nego na specijalizovanom hardveru. Međutim, naknadno je projekat prerađen u Leela0, koji radi na PC-ju.

E, sad, fundamentalna razlika između ljudskog mozga i računara je u tome što ljudski mozak ima ogroman stepen paralelizma. Ako bismo za dati problem pravili specijalizovan hardver, za neke probleme bi klasičan CPU pristup bio efikasniji, a za neke namene bi bio efikasniji pristup sa hardverskim neuronskim mrežama. To zavisi od prirode problema. Pritom,

1. Postoje problemi toliko naginju ka neuronskim mrežama, da softverska implementacija neuronskih mreža na CPU (optičko prepoznavanje teksta) daje bolje rezultate od algoritama za kakve je CPU pravljen.

2. Postoje problemi koji naginju ka neuronskim mrežema, ali manje, tako da softverska implementacija neuronskih mreža na GPU (igra go) daje bolje rezultate od algoritama za kakve su CPU i GPU pravljeni.

3. Postoje problemi koji naginju ka klasičnim algoritmima (tabelarni proračuni).

4. Postoje problemi kod kojih hibridni pristup daje najbolje rezultate (igranje šaha).

---

A što ne bi bio?

---

Zar nije japanska?

---

Pa, da, kao što je Dua Lipa rekla za ajvar da je albanski. Sve se otima samo tako. Tako je i go japanski. Kapiram ja da su Japanci izmenili kineske ideograme i dobili svoje, ali to se onda tako i kaže.

---