Zašto je učenje iz podataka pobedilo pisanje pravila

Veštačka inteligencija od nule

Lekcija 2 · Zašto je učenje iz podataka pobedilo pisanje pravila

Postoje tačno dva načina da se mašina natera na pametno ponašanje. Prvi je da joj se kaže šta da radi. Drugi je da joj se pokaže mnogo primera pa da sama zaključi.

Prvih tridesetak godina ove oblasti otišlo je na prvi način. Bio je razuman, obećavajuć i pun ranih uspeha — a onda je udario u zid iz kog se nije izvukao. Danas gotovo sve što zovemo veštačkom inteligencijom radi po drugom principu.

Ova lekcija objašnjava kako je do te zamene došlo. Nije reč o pukoj istoriji: razlog zbog kog je prvi pristup pao objašnjava i zašto današnji sistemi izgledaju baš ovako — moćni, netransparentni i gladni podataka.

I. Doba pravila

Oblast je dobila ime u leto 1956. godine, na skupu na Dartmutu koji je okupio šačicu matematičara i inženjera oko jedne pretpostavke: da se svaki aspekt inteligencije može opisati dovoljno precizno da ga mašina ponovi. Predviđali su da će bitan napredak biti gotov za jedno leto rada.

Pretpostavka je vodila u jasnom smeru. Ako se inteligencija sastoji od pravila, treba pronaći ta pravila, zapisati ih i pustiti mašinu da ih primenjuje. Znanje se predstavlja simbolima, razmišljanje je manipulacija tim simbolima. Zato se ceo taj pristup zove simboličkim.

Rezultati su isprva bili zapanjujući. Programi su dokazivali teoreme iz logike, rešavali algebarske zadatke, igrali dame. Šezdesetih se pojavila Eliza, program koji je oponašao psihoterapeuta tako što je korisnikove rečenice preokretao u pitanja — i ljudi su joj se poveravali iako je autor otvoreno govorio da unutra nema ničega. Krajem šezdesetih je jedan program razumeo rečenice o kockama na stolu, umeo da ih premešta na komandu i da odgovori šta se gde nalazi.

Osamdesetih je pristup dobio i komercijalni oblik kroz ekspertske sisteme. Ideja je bila da se znanje jednog stručnjaka isceđuje u nekoliko hiljada pravila oblika „ako je ovo, onda ono". Jedan takav sistem je postavljao dijagnozu bakterijskih infekcija i u testovima bio bolji od prosečnog lekara. Drugi je za velikog proizvođača računara sastavljao konfiguracije narudžbina i štedeo mu desetine miliona dolara godišnje. Nastala je čitava industrija oko toga.

II. Zid

A onda je stalo. Ne postepeno, nego na način koji je zbunjivao sve učesnike: sistemi su blistali na zadacima koji ljudima izgledaju teško, a padali na onima koje troipogodišnjak radi bez razmišljanja.

Program je dokazivao teoreme, ali nije umeo da prepozna mačku na fotografiji. Igrao je dame na majstorskom nivou, ali nije umeo da razlikuje čašu od šolje. Ta obrnutost je toliko uporna da je dobila ime — Moravecov paradoks: ono što je nama teško, mašini je lako, a ono što je nama lako, mašini je gotovo nemoguće.

Objašnjenje je jednostavnije nego što izgleda. Logika i šah su veštine koje je čovečanstvo steklo skoro, svesno, i umemo da ih opišemo rečima jer smo ih tako i naučili. Prepoznavanje lica i hvatanje predmeta su veštine stare milionima godina, ugrađene ispod svesti — koristimo ih savršeno i nemamo pojma kako. A pristup zasnovan na pravilima traži tačno to: da čovek rečima opiše ono što zna.

Ovde je koren cele stvari. Znamo mnogo više nego što umemo da kažemo. Pokušaj da opišeš kako prepoznaješ da je neko lice tužno, ili kako znaš da je rečenica ironična, ili po čemu razlikuješ svog psa od tuđeg. Odgovor postoji u tebi i nedostupan je jeziku. Sve što nije moglo da se izgovori, nije moglo ni da se zapiše kao pravilo.

Uz to je došla i druga nevolja. Pravila se ne sabiraju mirno — ona se sudaraju. Sistem sa stotinu pravila je pregledan, sa hiljadu je težak, a sa deset hiljada postaje neodrživ, jer svako novo pravilo može da poremeti neko staro na način koji niko ne predviđa. Održavanje velikih ekspertskih sistema počelo je da košta više od koristi koju donose.

Konačno, ti sistemi su bili krti. Unutar svog uskog sveta radili su besprekorno; korak izvan njega davali su besmislice, i to samouvereno, jer nisu imali nikakav pojam o tome gde im je granica.

III. Dve zime

Raskorak između obećanja i rezultata dva puta je doveo do naglog povlačenja novca. Ti periodi se zovu zimama veštačke inteligencije.

Prva je došla sredinom sedamdesetih. Prethodio joj je izveštaj naručen od britanske vlade koji je hladno zaključio da oblast nije ispunila nijedno od velikih obećanja, i sličan raniji izveštaj o mašinskom prevođenju u Americi. Finansiranje je preseklo gotovo preko noći.

Druga je stigla krajem osamdesetih, kada je tržište ekspertskih sistema i specijalizovanih računara za njih propalo za nekoliko godina. Termin veštačka inteligencija postao je toliko kompromitovan da su istraživači počeli da ga izbegavaju u naslovima radova i pišu „mašinsko učenje" ili „prepoznavanje obrazaca" da bi uopšte dobili sredstva.

Vredi to zapamtiti dok slušaš današnja predviđanja. Oblast ima dugu istoriju perioda u kojima je zvučala neizbežno, praćenih periodima u kojima je zvučala smešno.

IV. Drugi put, koji je sve vreme postojao

Zanimljivo je da ideja učenja iz primera nije nastala kao odgovor na taj neuspeh. Bila je tu od početka, samo je izgubila prvu rundu.

Krajem pedesetih napravljen je perceptron — uređaj koji je iz primera učio da razvrstava jednostavne oblike, i to podešavanjem brojeva umesto primenom pravila. Bio je to prvi predak svega o čemu se danas priča. Krajem šezdesetih objavljena je knjiga koja je matematički precizno pokazala šta takav uređaj u toj osnovnoj varijanti ne može — a rezultat je bio da je istraživanje neuronskih mreža stalo skoro dve decenije.

Sredinom osamdesetih vraćeno je u igru rešenje koje omogućava da se uči i u mrežama sa više slojeva. Radilo je, ali sporo i na malim problemima. Ono što je nedostajalo nisu bile ideje, nego dve sasvim prizemne stvari: dovoljno primera i dovoljno računske snage.

Obe su stigle tek u dvadeset prvom veku. Internet je proizveo količine slika i teksta kakve niko nije mogao da sakupi ranije. Grafičke kartice, napravljene za video-igre, ispostavile su se kao savršen alat za baš onu vrstu množenja brojeva koju treniranje mreža zahteva.

Prelom se dogodio 2012. godine, na takmičenju u prepoznavanju objekata na milionima fotografija. Duboka mreža je pobedila sve pristupe zasnovane na ručno smišljenim obeležjima, i to ne za dlaku nego za razliku koja je ostavila oblast bez odgovora. Ta godina se uzima kao početak današnjeg doba. Sve što je usledilo — prepoznavanje govora, prevođenje, generisanje slika, jezički modeli — nastavak je istog puta.

V. Tri načina da se uči iz podataka

Pre nego što krenemo dalje, treba razlikovati tri situacije, jer se pojavljuju kroz ceo kurs.

Nadgledano učenje

Uz svaki primer postoji i tačan odgovor. Slika je označena kao mačka ili pas, mejl kao neželjen ili ne, stan sa svojom cenom. Model uči da preslika ulaz u odgovor. Ovo je daleko najčešći slučaj i njime se bave lekcije tri, četiri i pet.

Nenadgledano učenje

Tačnih odgovora nema — samo hrpa podataka i zadatak da se u njoj nađe struktura. Grupisanje kupaca po ponašanju, otkrivanje neobičnih transakcija, ili, što je za nas najvažnije, učenje značenja reči iz samog teksta. Šesta lekcija pokazuje kako iz toga nastaje mapa značenja.

Učenje potkrepljivanjem

Nema ni odgovora ni gomile podataka, nego okruženje u kome se nešto radi i povremeno stiže nagrada ili kazna. Tako se uče igre, hodanje robota i upravljanje sistemima. Ovim putem je 2016. godine savladan go, igra koja se dugo smatrala nedostižnom. Isti pristup se danas koristi i u poslednjoj fazi pravljenja jezičkih asistenata, o čemu govori sedma lekcija.

VI. Šta je pobedom izgubljeno

Ovo je deo koji se u pričama o trijumfu obično preskoči, a bez njega se ne razume nijedna današnja rasprava o veštačkoj inteligenciji.

Stari ekspertski sistem se mogao pročitati. Kada bi postavio dijagnozu, moglo se tražiti obrazloženje i dobiti spisak pravila koja su ga do nje dovela — a onda se sa tim spiskom moglo raspravljati. Znanje je stajalo u sistemu na jeziku kojim ljudi govore.

Naučeni model nema tu osobinu. Njegovo znanje je razliveno kroz milijarde brojeva i nijedan od njih ne znači ništa sam za sebe. Model radi bolje i ne ume da objasni zašto. Za medicinu, sudstvo i odobravanje kredita to nije tehnička sitnica nego suštinski problem, i osma lekcija mu se vraća.

Postoji i šira pouka koju je jedan od utemeljivača oblasti sažeo prilično gorko. Kad god su se istraživači trudili da u sistem ugrade sopstveno znanje o problemu, kratkoročno su dobijali bolje rezultate — i dugoročno gubili od jednostavnijih metoda koje su prosto dobile više podataka i više računske snage. To se ponovilo u šahu, u prepoznavanju govora, u vidu i u jeziku. Ljudska pamet uneta u sistem rukom skoro uvek na kraju izgubi od učenja koje se dobro skalira.

Šta iz ovoga treba poneti

Pisanje pravila nije palo zato što je bilo glupo, nego zato što najveći deo onoga što znamo ne ume da se izgovori. Mašinsko učenje zaobilazi taj problem tako što ne traži od čoveka objašnjenje, nego samo primere.

Cena tog zaobilaženja je da ni sistem više ne ume da objasni. Dobili smo mašine koje umeju ono što mi ne umemo da opišemo, a izgubili smo mogućnost da nam kažu kako to rade. Ta razmena je u temelju svega što sledi u kursu.

Sledeća lekcija ulazi u samu mehaniku: kako model zapravo uči iz primera, šta se tačno podešava i po kom merilu.

Vežba · opciono

Prvi deo se radi olovkom i papirom i ne traži nikakav program. Napiši pravila po kojima bi računar razlikovao rukom napisanu jedinicu od sedmice. Sme da vidi samo crno-belu sliku. Budi precizan koliko i program: „sedmica ima vodoravnu crtu gore" mora da se pretvori u nešto merljivo.

Kad ti se učini da si gotov, napiši desetak jedinica i sedmica rukom, po mogućstvu tuđom takođe, pa proveri koliko tvojih pravila preživi. Obično padnu na sedmici sa precrtanom nogom, na jedinici sa velikom kapicom i na svemu što je pisano ukoso.

Drugi deo je za one koji rade kod. Uzmi standardni skup rukom pisanih cifara i istreniraj najjednostavniji mogući klasifikator na nekoliko hiljada primera. Uporedi njegovu tačnost sa svojim spiskom pravila.

Poenta nije u procentima nego u utrošku. Tvoja pravila su te koštala sat vremena razmišljanja i ne rade dobro. Model nije koštao nijednu tvoju misao o obliku cifara i radi bolje. Cela lekcija stane u tu razliku.

SLEDEĆA LEKCIJA

3. Parametri, greška i spuštanje niz brdo

Najjednostavniji model koji uči, merilo po kome se procenjuje, i postupak kojim se popravlja.

Tekst je pisan uz pomoć jezičkog modela Claude Opus 5 kompanije Anthropic. Sadržaj, struktura i konačna redakcija su autorski.