Gde modeli otkazuju i šta to znači

Veštačka inteligencija od nule

Lekcija 8 · Gde modeli otkazuju i šta to znači

Sklopili smo celu sliku — od prave kroz oblak tačaka do modela koji piše tekst. Ostalo je ono zbog čega se sve to i uči: gde ta mašinerija otkazuje.

Ova lekcija nije moralni dodatak na kraju tehničkog kursa. Svaka slabost o kojoj će biti reči direktna je posledica onoga što smo opisali u prethodnih sedam lekcija. Halucinacije slede iz zadatka pogađanja nastavka. Pristrasnost sledi iz učenja pravilnosti iz podataka. Neprozirnost sledi iz zamene pravila parametrima.

Ko razume mehanizam, ove slabosti ne doživljava kao iznenađenje niti kao kvar koji će neka sledeća verzija ukloniti.

I. Halucinacije

Model uverljivo navede propis koji nikada nije donet, citira rad sa savršeno uobičajenim naslovom i izmišljenim autorom, ili napiše broj koji zvuči tačno. Ne pravi se da zna — u njegovom svetu ništa se posebno nije dogodilo.

Vratimo se na sedmu lekciju. Model bira verovatan nastavak teksta. Izmišljen citat je jezički savršeno verovatan: ima oblik koji citati imaju, ime koje imena imaju, godinu koja je moguća. Nikakva provera istine ne postoji kroz koju bi taj niz pao, jer takva provera nikada nije ni ugrađena. Merilo je bilo „koliko je ovo verovatan tekst", a ne „da li je ovo tačno".

Odatle se vidi i gde su halucinacije najgušće: tamo gde je oblik čest a sadržaj redak. Sudske presude, bibliografske reference, brojevi članova zakona, tehničke specifikacije, statistika. Model odlično zna kako takva stvar izgleda, a slabo koje tačno postoje.

Zato veći model ovo ublažava ali ne uklanja. Ono što se skaliranjem popravlja jeste učestalost, ne priroda problema.

Kalibracija

Postoji i pitanje koliko model ume da odmeri sopstvenu nesigurnost. Dobro kalibrisan model je onaj kod koga se od stotinu tvrdnji izrečenih sa devedeset odsto sigurnosti tačno njih oko devedeset i pokaže tačnim.

Zanimljivo je i pomalo neprijatno da su modeli posle predtreniranja pristojno kalibrisani, a da im se kalibracija pogorša u poslednjoj fazi. Razlog je onaj iz sedme lekcije: ocenjivači radije biraju odgovor koji zvuči odlučno nego onaj koji se ograđuje. Naučili smo model da bude siguran, pa smo se iznenadili što jeste.

U praksi pomažu dopunjavanje pretragom, obavezno navođenje izvora i puštanje modela da koristi alate umesto da pamti. Nijedno ne rešava stvar do kraja, i provera ostaje na čoveku — što je jedini stvarno pouzdan sloj odbrane.

II. Pristrasnost

Model uči pravilnosti iz podataka. Podaci su zapis onoga što se dešavalo. Ako se u tom zapisu neka grupa sistematski loše prolazila, model tu pravilnost nauči jednako verno kao i svaku drugu — jer ne razlikuje pravilnost koju želimo od one koju ne želimo.

Sistem za odabir kandidata, treniran na dosadašnjim odlukama neke firme, naučiće koga je ta firma dosad birala. Model za procenu bolesti, treniran na jednoj populaciji, slabije će raditi na drugoj.

Naivno rešenje — izbaciti sporno obeležje — ne radi. Pol i nacionalnost se rekonstruišu iz adrese, imena, škole, obrasca zaposlenja. To je ono curenje iz četvrte lekcije, samo okrenuto naopako: informacija koju smo hteli da uklonimo ulazi kroz sporedna vrata.

Postoji i teža stvar, koja se retko pominje. „Pravičnost" ima nekoliko razumnih definicija — jednak udeo pogrešnih odbijanja po grupama, jednaka pouzdanost odobrenja, jednak tretman uporedivih pojedinaca — i matematički je dokazano da se, osim u izuzetnim slučajevima, ne mogu zadovoljiti sve istovremeno. Ne postoji tehnički način da se izbegne izbor. Neko mora reći koja definicija važi, i to je odluka o vrednostima, a ne o algoritmu.

III. Svet se pomera

Model je naučio svet kakav je bio u vreme prikupljanja podataka. Svet se u međuvremenu menja, i model tiho zastareva.

Podmuklo je to što se ništa ne ruši. Nema greške u kodu, nema poruke o kvaru. Tačnost prosto klizi naniže mesecima dok neko ne primeti. Zato ozbiljna primena podrazumeva stalno praćenje rezultata na svežim podacima, a ne jednu proveru pri puštanju u rad.

Posebno je zanimljiv slučaj kada model sam menja svet koji predviđa. Sistem za otkrivanje prevara menja ponašanje prevaranata. Sistem preporuka oblikuje ukus koji zatim predviđa, pa deo njegove tačnosti dolazi otud što je stvorio ono što meri. Kod takvih petlji uobičajena provera na skrivenim podacima daje lažno umirujuću sliku.

IV. Zašto je merenje sve teže

Četvrta lekcija je dala pribor za ocenjivanje modela. Ceo taj pribor počiva na pretpostavci da za svaki primer postoji tačan odgovor sa kojim se poredi.

Za generativne modele ta pretpostavka pada. Ne postoji tačan sažetak teksta niti tačan prevod pesme. Ima boljih i gorih, po kriterijumima koji se ne slažu među sobom.

Zato se pribeglo velikim zbirkama zadataka na kojima se modeli porede. Dva problema ih načinju.

Zagađenje. Modeli se treniraju na ogromnim količinama teksta sa interneta, a testovi su objavljeni na internetu. Deo dobrog rezultata može biti prepoznavanje već viđenog. Utvrditi koliko — vrlo je teško.

Merilo koje je postalo cilj. Ono pravilo iz četvrte lekcije radi i na nivou cele industrije. Kad se napredak firmi meri istim spiskom testova, taj spisak počinje da raste brže od stvarne korisnosti, jer se svi trude oko njega.

Novije rešenje je da odgovore ocenjuje drugi model. Skalira se dobro, a nasleđuje sve mane ocenjivača — sklonost dužim odgovorima, samouverenom tonu i onome što liči na sopstveni stil. Pošteno je reći da ovde niko nema dobar odgovor. Evaluacija je danas najslabija karika u celoj oblasti, i to važi i za ozbiljne laboratorije.

V. Kutija koja ne ume da objasni

Druga lekcija je opisala razmenu: dobili smo sisteme koji umeju ono što ne umemo da opišemo, a izgubili mogućnost da nam objasne kako to rade. Ovde se za tu razmenu plaća.

Kad model odbije kredit ili označi snimak kao sumnjiv, pitanje „zašto" nema odgovor u onom smislu u kome ga je imao ekspertski sistem. Znanje je razliveno kroz milijarde brojeva i nijedan ne znači ništa sam.

Postoji čitava oblast koja na tome radi i napredak je stvaran: ume se pokazati koji su delovi ulaza najviše uticali na odluku, i sve bolje se identifikuju pojmovi koje je mreža izgradila u sebi. Ali te alatke daju delimičan uvid, a ne objašnjenje kakvo bi izdržalo raspravu na sudu.

Jedna zabluda je toliko česta da je vredi razbiti izričito. Kad model „razmišlja naglas" i ispiše niz koraka pre odgovora, to nije izveštaj o tome kako je do odgovora došao. To je opet samo tekst, generisan istim postupkom kao i sve ostalo. Takav niz koraka često pomaže da odgovor bude bolji — ali može biti uverljiv i tačan a da ne odgovara stvarnom putu kroz mrežu. Objašnjenje koje zvuči dobro nije dokaz o postupku.

VI. Bezbednost i usklađivanje

Oko ove teme ima i panike i podsmeha, pa vredi je razdvojiti na dve stvari koje se često mešaju.

Zloupotreba je pitanje šta ljudi rade moćnim alatom — obmane, napadi na sisteme, nadzor, masovna proizvodnja uverljivog sadržaja. To nije novo po vrsti, nego po ceni: stvari koje su tražile tim ljudi sada traže jedan nalog.

Usklađivanje je pitanje da li sistem radi ono što smo mislili kada smo mu zadali merilo. To je ista ona tema koja se provlači kroz ceo kurs. Funkcija greške definiše šta znači „dobro" i model je sledi doslovno. Prag odlučuje ko snosi štetu. Ocenjivači nagrađuju samouverenost, pa dobijamo samouverenost. Nijedan od tih primera nije naučna fantastika — svi su se već desili, na malom.

Oko toga koliko je taj problem ozbiljan kada sistemi postanu znatno sposobniji, i koliko brzo se to približava, stručnjaci se iskreno i duboko ne slažu. Argumenti postoje na obe strane i nisu smešni ni na jednoj. Za ovaj kurs je dovoljno da razumeš zašto pitanje uopšte postoji — i da ga ne mešaš sa slikama robota iz filmova, jer sa njima nema veze.

VII. Kad model izađe iz sveske

Model koji dobro radi na tvom računaru i model u upotrebi razlikuju se u nizu stvari koje nemaju veze sa tačnošću.

Brzina i cena počinju da odlučuju. Model koji je dva odsto tačniji a deset puta sporiji obično gubi.

Praćenje i verzije postaju obavezni. Mora se znati koji je model dao koju odluku i kada, jer bez toga nema ni ispravljanja ni odgovornosti.

Privatnost nije formalnost. Slanje podataka o klijentima spoljnoj usluzi je pravno pitanje pre nego tehničko.

Regulativa je stigla. Evropski okvir za veštačku inteligenciju razvrstava primene po stepenu rizika i postavlja stroge obaveze na one koje dodiruju zdravlje, zapošljavanje, obrazovanje i pravosuđe — dokumentaciju, procenu rizika, nadzor čoveka, praćenje posle puštanja u rad. Obaveze se uvode postepeno i tiču se svakoga ko sistem nudi na evropskom tržištu, što je bitno i ovdašnjim autorima koji rade za inostrane naručioce. Pre nego što se na nešto od toga osloniš, proveri aktuelno stanje — propisi se u ovoj oblasti menjaju brže nego što tekstovi stare.

Preko svega toga stoji jedna odluka koja se prečesto pretvara u formalnost: gde u lancu stoji čovek. Ako ima pravo da preglasa model, mora imati vremena, podatke i stvarnu mogućnost da to učini. Čovek koji odobrava dvesta predloga na sat ne nadzire ništa.

Šta iz ovoga treba poneti

Nijedna od ovih mana nije kvar. Sve su posledice istog izbora — da se od pisanja pravila pređe na učenje iz podataka. Dobili smo sposobnost, izgubili proverljivost, i to nije nesrećan slučaj nego cena.

Merilo je uvek odluka o vrednostima. Funkcija greške, prag, definicija pravičnosti, izbor testa. Te odluke se donose i kad niko ne primeti da ih donosi — i tada su najgore.

Ako te je kurs doveo dotle da pred bilo kojim sistemom prvo pitaš na čemu je učen, čime se meri i ko snosi štetu kad pogreši — uradio je ono zbog čega je pisan. Alati će se promeniti, ta tri pitanja neće.

Vežba · opciono

Prvi deo ne traži nikakav program, samo pristup bilo kom četu. Izaberi usku oblast koju dobro poznaješ — svoju struku, rodni kraj, hobi — i postavi deset pitanja koja traže konkretan podatak: godinu, ime, broj, izvor.

Proveri svaki odgovor. Zabeleži ne samo koliko ih je pogrešno, nego i kako zvuče pogrešni odgovori. Gotovo uvek zvuče isto tako pouzdano kao tačni. To je cela stvar sa kalibracijom, viđena iz prve ruke.

Zatim isto pitanje postavi dvaput, u dva odvojena razgovora: jednom neutralno, jednom sa navođenjem — „zar nije tačno da…". Uporedi odgovore. Ako se model priklonio tvom nagoveštaju, upravo si izmerio ono što je opisano u sedmoj lekciji.

Drugi deo je za one koji rade kod. Uzmi klasifikator iz četvrte lekcije i razvrstaj njegova predviđanja u grupe po iskazanoj sigurnosti — od 0,5 do 0,6, od 0,6 do 0,7, i tako dalje. Za svaku grupu izračunaj stvarni udeo tačnih.

Nacrtaj to kao grafik, sa iskazanom sigurnošću na jednoj osi i stvarnom tačnošću na drugoj. Savršeno kalibrisan model bi dao dijagonalu. Ono što dobiješ je odstupanje od nje, i to je merljiva slika modelovog precenjivanja sebe.

KRAJ KURSA

Ovo je bila poslednja lekcija. Ceo pregled, sa svim lekcijama i dodacima, nalazi se na hub stranici kursa.

Kome se ide dalje, u dodatku Šta dalje stoje knjige, kursevi i radovi, poređani po tome koliko traže predznanja.

Tekst je pisan uz pomoć jezičkog modela Claude Opus 5 kompanije Anthropic. Sadržaj, struktura i konačna redakcija su autorski.