Niiiice, bas cu zdraknem :) hvala ... webgl je izgleda bas napredovao
mozda se isplati praviti ovaj viewer za web, ne mora se drndam sa
kompajliranjem na svim os-ovima koje trosim...
Blago deci danas :) Ja sam tu fazu imao pre tik pre pravih 3D kartica (NVIDIA Riva-u 128 sam kupio krajem 1997-me) pa si tad morao pisati rasterizaciju rucno, sto je danas par linija koda u shader-u.
hahahah gledam ovaj RT sa kuglama, pisao sam neki app 1989 koji radi
ovo, 2 metalne kugle u metalnoj kutiji... rendao je nekih 19 dana 1
frame :D :D :D eeeeeeeeeeeee
- Phong sencenje
- Order-Independent Transparency (za "stakleni" efekat bez z-tuce)
- Floating point teksture*
- SMAA antialiasing (ne koristi se u videu)
- Podrska za hardversko video kodiranje, direkt sa teksture koja izlazi iz render-a (bez da ide na CPU)
A da - i 2 milijarde temena, sto stati na 1 milijardu...
bilo bi cool da ovaj tuctuc sto ide u pozadini feedujes na audio kortex kao ulazni nadrazaj :D
kad ces ti da bacis ovo na github da moze raja da se igra :D ili mislis da postoji nacin da ovo komercijalizujes? kontam, ako je samo za sprecavanje degradacije neuronskih veza moze bude zanimljivo za sire narodne mase...
Bice ulaza sa kamere i mikrofona/zvucnika direkt na simulator, samo da stigne :)
Za pocetak ce shaderi biti otvoreni - ubacujem da mogu kompletno da se edituju i menjaju, cak do nivoa da mozes da zahtevas dodatnu memoriju za sebe i da konfigurises sta hoces da dobijes od simulatora. To ce omoguciti vrlo zanimljive efekte.
Ostatak koda, pre svega mislim da nije u stanju da je prezentabilan (cak ga ni ja ne razumem ponekad :-) - ali i to se cisti polako.
Prio 1 je izbacivanje zavisnosti od Windows API-ja i UI-ja (ovo je skoro gotovo).
btw, znam nekoliko odlicnih projekata koji su umrli jer dev nije hteo da ih podeli dok "ne sredi kod, sada je mnogo ruzan" i onda se desilo nesto i jbg ... (jedan od takvih projekata je moj, meni se desio pozar i nestanak 30 godina projekata, dokumenata, slika ... ostalo mi je samo ono sto je bilo dostupno i on-line .... tu je bilo min 2 odlicna projekta od kojih su mnogi mogli da imaju koristi ali "samo jos jednom da refaktorisem i dicicu online") ... sada je drugo vreme, on-line backup nije skup, internet je brz..
elem, taman si mi sad dao dovoljno informacija da nemam vise izgovora da odlazem ovaj vizualizator za g-code :D :D :D
- Vizualizacija sada ukljucuje i propagaciju impulsa kroz aksone (pri kraju klipa se najbolje vidi, mada... treba mi bloom* filter sad ;-)
- Drasticno bolja traktografija (ovo je pojelo jako puno CPU i I/O vremena ;-) - aktivnost je mnogo koherentnija i mogu se prepoznati glavni asocijativni i talamo-kortikalni traktovi po aktivnosti
- Aksonalni putevi se sada renderuju kao Bezjeove-ove krive, sa teselacijom do 64x (!) zahvaljujuci relativno jeftinim prolazom kroz teselacioni shader (tako da broj temena postaje sumanut)
- Rendering je sada kompletno 16-bitni floating point od pocetka do kraja, a finalni video capture+encode ide u 10-bitni H.265 direktno na GPU-u iscitavanjem FBO teksture (ako postoji hardver)
Ispod haube, da bi se renderovala propagacija impulsa kroz aksone, potrebno je zapamtiti predhodne voltaze negde (kada neuron "opali" u vremenu T, da bi signal stigao do neke proizvoljne tacke na aksonu, potrebno je X koraka u vremenu u zavisnosti od fizioloskih parametara specificnih za tip neurona). Kako moze biti jako puno tih segmenata po jednom aksonu stotine, pomnozeno sa milionima aksona ocigledno nije prakticno to cuvati kao promenljive vertex atribute.
Umesto toga, upotrebljene su "Bindless" teksture sa kojima nema vise limta od 32 aktivne teksture po shader fazi (arhaicni OpenGL limit) - moderni GPU-vi imaju stotine TMU jedinica - npr. NVIDIA RTX 3090 ima 328. Niz bindless tekstura duzine N (gde je N najduzi akson) pamti "snapshot" voltaza samo neuronskih tela (koja iniciraju impuls) u tom momentu kao kvantizovna 8-bitna vrednost. Prakticno niz tekstura postaje "ring buffer" gde sa svakim vremenskim korakom samo pomeramo gde upisujemo trenutne vrednosti :) 0 kopiranja.
Onda kad sencimo svaki trakt - za svaki segment na putu znamo koliko je udaljen od "parent" neurona, a kasnjenje sa kojim bira indeks za citanje iz tekstura dobijamo mnozenjem sa faktorom brzine propagacije signala za taj tip celije (to se cuva kao relativno jeftin info posto se ne menja, treba nam 6-7 bitova za trenutne simulacije, sto je spakovano u 96-bitni vertex atribut zajedno sa svim ostalim: 3D lokacijom, indeksom neurona, bojom i sl.) tako da uvek mozemo da izracunamo trenutnu voltazu za svaki segment (prostim semplovanjem iz niza tekstura koje sluze kao "look-up" tabele "iz proslosti").
Prilikom teselacije za novostvorene segmente jednostavno interpoliramo vrednosti izmedju najbliznih pre-tess koordinata i to je to.
I tako shader kod instant iz arhaicnog GL 2.x postade GL 4.5 sa obaveznim ekstenzijama :) Dodatna korist je sto sa bindless teksturama vise nema bind/unbind dr*anja - jednom kreirana, tekstura ima 64-bitni handle koji je permanentan i bilo kom shaderu se dobaci kao uint64 jednom pri kompajliranju i koji se ne menja.
--
TL;DR: Sve ovo omogucava da se sistem sa desetine miliona aksonalnih segmenata + 64x teselacija renderuju sa ~30 FPS - sve ukljucujuci upload voltaza za svaki frejm sa CPU-a (GPU akceleracija simulacije jos nije ukljucena za novu verziju).
Btw, tih 30 FPS - najvise vremena ne odlazi na aksone (na njih ode ~8ms po frejmu sa 30 miliona segmenata - teorijski 125 FPS) vec na neuronska tela (~25ms) koja se crtaju kao gomila odvojenih linija. Sto je ironicno, posto najveci deo geometrije odlazi na aksone. Moracu nesto tu da uradim.
I da, ovaj "ring buffer" od bindless tekstura - upload se desava sa drugih (compute) niti i to asinhrono na teksturni "slot" koji trenutno nije u upotrebi, tako da ne blokira GL crtanje vec GPU moze na miru da crta i radi DMA bez blokade.
Re: SpikeFun - Artificial Nervous System Demo
Registrovani: 3 ( DSL, Nebojsa Milanovic, misamilanovic )
Re: SpikeFun - Artificial Nervous System Demo