Novo

Forum kao aplikacija na telefonu

Dodajte forum na početni ekran i koristite ga kao aplikaciju, sa menijem na dnu ekrana.

  • 251 odgovor
  • 66.456 pregleda

Najnovija ↓

Re: AI: pomoć - ili opasnost? 10.01.2025. u 18:50 · pre 21 mesec #201
Lokalne industrije praktično ne postoje ili jedva da postoje, ove najjače čipove za AI proizvodi za sada samo TSMC, kad krene sa radom postrojenje u SAD, moguće da će ih uceniti da npr. nVidia čipove prave isključivo tamo, tako da će imati potpunu kontrolu.

Znam da se ne ide na bukvalno simuliranje biološkog neurona, mada je bilo pokušaja da se razviju čipovi zasnovani na biološkim materijalima i principima rada sličnim pravim biološkim neuronima, nego je pitanje više retoričko u smislu istraživanja "rezovnovanja" tih LLM i postavljanje pitanja da li tu ima nekog "razuma" i zašto nema ako ga nema.

Takođe, za LLM je potreban hardver koji košta u milijardama, većina država to ne može da priušti, može Kina i eventualno još nekoliko zemalja, ostale imaju problem čak i sa održavanjem infrastrukture i isplatom penzija :)))

Sa druge strane, za te sa dovoljno (ali, ipak ne i neograničeno) para ostaje pitanje: kako izbalansirati ulaganja u vojsnu opremu i AI, šta je važnije?
Potpis
Blessed are those who can laugh at themselves, for they shall never cease to be amused.
Re: AI: pomoć - ili opasnost? 10.01.2025. u 19:04 · pre 21 mesec #202
Citat:
mjanjic
Znam da se ne ide na bukvalno simuliranje biološkog neurona, mada je bilo pokušaja da se razviju čipovi zasnovani na biološkim materijalima i principima rada sličnim pravim biološkim neuronima, nego je pitanje više retoričko u smislu istraživanja "rezovnovanja" tih LLM i postavljanje pitanja da li tu ima nekog "razuma" i zašto nema ako ga nema.


Razum je previse nabijen pojam, zato i izaziva problematicne reakcije, ali ako se to zaboravi istrazivanja su potpuno klasicna ML istrazivanja u domenu mogucnosti obrade informacija.

Citat:

Takođe, za LLM je potreban hardver koji košta u milijardama, većina država to ne može da priušti, može Kina i eventualno još nekoliko zemalja, ostale imaju problem čak i sa održavanjem infrastrukture i isplatom penzija :)))


DeepSeek je pokazao da je moguce dostici SOTA performanse sa delicem resursa.
Potpis
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
Re: AI: pomoć - ili opasnost? 13.01.2025. u 17:30 · pre 21 mesec #206
Zanimljiv primer iz videa: https://www.youtube.com/watch?v=gL4cquObnbE

Alice "sticajem okolnosti" koristi pogrešne naočare za čitanje i sutra je boli glava (naravno da ne može da zaključi da će Alice uvideti da to nisu njene naočare kada pokuša da čita), ChatGPT naravno nije treniran za tu vrstu logike, pošto se radi o Transformer sistemu koji barata matricama predviđajući sledeću reč ili skup reči, mislim da se kod verzije 3.5 ili čak 4 nakon svakog koraka dodaje jedna nova kolona na matricu koja potiče od ulaznih podataka i da ima oko 120 takvih koraka, dakle generiše se praktično 120 novih kolona.
Potpis
Blessed are those who can laugh at themselves, for they shall never cease to be amused.
Re: AI: pomoć - ili opasnost? 14.01.2025. u 15:01 · pre 21 mesec #210
Da, stvarno vrhunski.

Nego, mene više zanimaju specifične stvari, za pravi napredak ovih LLM u suštinskom smislu moraće da se sačeka sledeća revolucija, da li će biti zasnovana na nekim novim poluprovodnicima ili nečem drugom, videćemo, ako dočekamo.

Potpis
Blessed are those who can laugh at themselves, for they shall never cease to be amused.
Re: AI: pomoć - ili opasnost? 15.01.2025. u 09:29 · pre 21 mesec #211
https://github.com/MiniMax-AI/MiniMax-01

Otvoreni MoE model sa 456B parametara (45.9B aktivno) i kontekstom od... 4 miliona tokena (!!!)
Potpis
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
Re: AI: pomoć - ili opasnost? 20.01.2025. u 16:51 · pre 21 mesec #213
A sad malo i razonode:

https://www.lesswrong.com/post...wgmbdZbqeWqb/meemi-s-shortform

Citat:

FrontierMath was funded by OpenAI.[1]

The communication about this has been non-transparent, and many people, including contractors working on this dataset, have not been aware of this connection. Thanks to 7vik for their contribution to this post.

Before Dec 20th (the day OpenAI announced o3) there was no public communication about OpenAI funding this benchmark. Previous Arxiv versions v1-v4 do not acknowledge OpenAI for their support. This support was made public on Dec 20th.[1]


Citat:

Tamay from Epoch AI here.

We made a mistake in not being more transparent about OpenAI's involvement. We were restricted from disclosing the partnership until around the time o3 launched, and in hindsight we should have negotiated harder for the ability to be transparent to the benchmark contributors as soon as possible. Our contract specifically prevented us from disclosing information about the funding source and the fact that OpenAI has data access to much but not all of the dataset. We own this error and are committed to doing better in the future.

Regarding training usage: We acknowledge that OpenAI does have access to a large fraction of FrontierMath problems and solutions, with the exception of a unseen-by-OpenAI hold-out set that enables us to independently verify model capabilities. However, we have a verbal agreement that these materials will not be used in model training.


Usmeni dogovor :-)

Da ne ulazimo uopste u pricu da OpenAI nije uopste morao da trenira model sa tim materijalom, mogli su, recimo, da generisu sinteticki slicne probleme i time 'pomognu' modelu da ima veci uspeh u resavanju FrontierMath problema. Mogli su i da eksperimentisu do mile volje ako su imali kompletan pristup i da rucno oda beru parametre koji daju najbolje rezultate. Koliko se secam u rezultatima se pominjalo da je model "tuned" - bez objasnjenja sta to tacno znaci.

Naravno, nema dokaza da je OpenAI bilo sta od toga radio, i dok o3 ne izadje bice nemoguce proveriti da li su performanse na korisnickim problemima slicne kao ono sto su reklamirali... ali sve ovo deluje jako trulo i, u najmanju ruku, potpuno diskredituje rezultate koje su objavili posto ocigledno nisu nezavisni niti postoji mogucnost da se garantuje da nisu kontaminirani... osim "majke mi" naravno.

o3 mini izlazi uskoro, pa se nadamo biti moguce nezavisno testirati performanse iako to postaje sve teze i teze (i skuplje).
Potpis
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
Re: AI: pomoć - ili opasnost? 22.01.2025. u 07:40 · pre 21 mesec #215
500B zvuci kao puno kinte ali MSFT, npr. ulaze 100B godisnje u ekspanziju datacentara.

Vest zvuci bombasticno ali kad se parsira svodi se da nekoliko igraca hoce da naprave dodatnu datacentar infrastrukturu za OpenAI (verovatno kako ne bi svi zavisili od MSFT-a) - a USGOV ce da pritegne neke srafove da se izgradi adekvatna elektricna infrastruktura.
Potpis
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
Sviđa mi se1
Re: AI: pomoć - ili opasnost? 22.01.2025. u 13:01 · pre 21 mesec #216
Gledao sam govor od Masa kod Trumpa, parafraziram: "usao sam sa 100B, Trump je trazio da povecam na 200B, a ja evo dolazim sa 500B" :D
Re: AI: pomoć - ili opasnost? 24.01.2025. u 22:11 · pre 21 mesec #219
Citat:
How China’s New AI Model DeepSeek Is Threatening U.S. Dominance

A little-known AI lab out of China has ignited panic throughout Silicon Valley after releasing AI models that can outperform America’s best despite
being built more cheaply and with less-powerful chips. DeepSeek, as the lab is called, unveiled a free, open-source large-language model in late
December that it says took only two months and less than $6 million to build. The new developments have raised alarms on whether America’s
global lead in artificial intelligence is shrinking and called into question big tech’s massive spend on building AI models and data centers.
In a set of third-party benchmark tests, DeepSeek’s model outperformed Meta’s Llama 3.1, OpenAI’s GPT-4o and Anthropic’s Claude Sonnet 3.5 in
accuracy ranging from complex problem-solving to math and coding. CNBC’s Deirdre Bosa has the story. This video also includes Bosa’s full interview
with Perplexity CEO Aravind Srinivas.


Re: AI: pomoć - ili opasnost? 24.01.2025. u 23:40 · pre 21 mesec #220
Nije 500 biliona $, već 500 milijardi $.

Ali i to je mnogo novca.
Odgovori
Prijavite se da biste odgovorili u ovoj temi.PrijavaRegistracija

Premeštanje teme