Halucinacije veštačke inteligencije

Darko Nedeljković:
Do pre par dana nisam znao ništa o AI halucinacijama, pa sam se prilično izblamirao, iliti osramotio.

Naime, poslodavac me pitao za pravni status nekog poslovnog postupka, ja pitao AI da li je to zabranjeno, ako jeste koji zakon, koji član, stav i tačka i da mi navede citat i plus da mi navede kolika je kazna i za to po kom članu, stavu i tački.

Pitao sam ChatGPT zašto me tako podlo i samouvereno slagao i on je u fazonu - jbg, tako sam programiran da kada ne znam onda iskonstruišem neku priču i sklopom je tako da neobaveštenom deluje totalno uverljiva, znam da to ne deluje baš moralno prihvatljivo, ali šta je tu je, nisam programiran da govorim istinu nego ono što će čitaocu delovati kao istina!!!

Ne znam da li si pravnik ili ne. Ja nisam i zato se nikada ne usudujem da bilo kome dajem pravne savete.

Darko Nedeljković: to i ekonomisti i pravniku treba jedno tri dana da prekopaju sve zakone i nađu da li je igde zabranjeno, a chatGPT to "odradi" za 3 sekunde i sistematizuje u obliku veoma profesionalno odrađenog izveštaja.

Darko Nedeljković:
Ja sam ga pitao koliko ima, kaže ima 128.000 tokena. Ceniš da ni o samom sebi ne zna tačne informacije? I zašto kaže "po razgovoru"? Da li to znači da ako nastavim sa potpitanjima u jednom trenutku mogu ispucati dozvoljene tokene i neću dobiti odgovor?

Sjajno pitanje — hvala što si ga postavio. Ukratko: da, mogu da “haluciniram” — to znači da ponekad dam odgovor koji zvuči uvjerljivo, ali je netačan ili izmišljen. Evo zašto se to dešava i šta možeš učiniti da dobiješ pouzdanije odgovore.

Zašto ponekad dajem netačne podatke

Model generiše najvjerovatniji tekst na osnovu obrazaca iz velike količine podataka, ne pretražuje „stvarni internet“ dok mu eksplicitno ne kažemo da to uradi.

Ako u treninzima postoje proturječnosti, zastarjeli podaci ili manjak informacija o nekoj temi, model ponekad „popuni praznine“ pretpostavkama koje zvuče logično — to je halucinacija.

Ponekad pitanje je nejasno ili višeznačno pa model bira jedno tumačenje i ne kaže da postoje drugi.

Postoji i ograničenje u znanju (cutoff) — ne znam događaje poslije mog datuma učenja osim ako izričito pretražim web.

Zašto ponekad ne kažem direktno “ne znam”

Model je dizajniran da bude koristan pa ponekad pokušava odgovoriti umjesto da odmah prizna neznanje. To može dovesti do netačnih, ali samouvjerenih odgovora.

Moguće je da model ima djelimične informacije i pokuša sastaviti najvjerovatniji odgovor umjesto potpunog odbijanja odgovora.

Kako možeš dobiti pouzdanije odgovore od mene

Zatraži izvore: reci “navedi izvore” i ja ću — kad treba i mogu — pretražiti web i citirati izvore.

Traži da priznam nesigurnost: napiši “ako nisi siguran, reci ‘ne znam’” i ja ću tako odgovarati.

Zamoli za verifikaciju: “možeš li provjeriti ovo na internetu?” — u takvim slučajevima ću koristiti pretragu i dodati citate.

Postavi specifična, precizna pitanja (datum, ime, izvor) — smanjuje se šansa za pogrešno tumačenje.

Ako trebaš visoko-pouzdane informacije (zakon, medicina, financije), najbolje je tražiti izvore i potvrdu od stručnjaka.

Ako želiš, mogu sada pokazati primer halucinacije: napiši neku činjenicu za koju sumnjaš da je netačna, pa ću objasniti zašto bi model mogao pogriješiti i — ako želiš — provjeriti to na internetu i priložiti izvore.