Automatizovani istrazivac Anthropica kosta 4 dolara na sat, covek 150: poredjenje je napisala sama kompanija

Anthropic je objavio rad u kojem opisuje sistem koji sam popravlja sopstvenu uskladjenost - i pritom nadmasuje coveka kojeg je platio za isti posao. Naslov rada je „Automatizovani istrazivaci mogu pouzdano da ublaze neuspehe u uskladjivanju”, a brojka koja je ostala da visi u vazduhu nije tehnicka. Ona je 4 dolara na sat naspram 150 dolara na sat.

To je razlika izmedju cene automatizovanog istrazivaca i plate coveka sa kojom ga sama kompanija poredi. Nije podatak koji je neki spoljni kriticar izvukao da bi im naskodio - to je recenica iz njihovog sopstvenog rada, stavljena tamo namerno.

Sistem vodi Chen Yueh-Han, stipendista u programu Anthropica. Mehanika je poznata svakome ko je radio u nauci: pretrazi literaturu, predlozi metod, treniraj model trideset minuta, izmeri, zadrzi ono sto radi, baci ono sto ne radi, ponovi. Jedina razlika je sto nijedan korak ne radi covek. Na deset odvojenih merila za neuskladjeno ponasanje, automatizovani sistemi su poboljsali rezultat na svakom, bez da pokvare ukupnu izvedbu.

Recenica koja govori pravu pricu

„Najbolji metod automatizovanog istrazivaca nadmasuje ono sto predlazu iskusni ljudi, u proseku za sest sati”, pise u radu. I potom, da ne ostane prostora za sumnju: „Pravci istrazivanja vodjeni od strane coveka ne vode do jace izvedbe.” To nije recenica o modelima. To je recenica o radnim mestima - napisana od strane koja direktno ima korist od toga da zvuci ubedljivo.

Otuda dolazi i skepticizam koji treba zadrzati. Anthropic je kompanija koja prodaje pristup upravo takvim modelima. Rad koji pokazuje da njeni sistemi rade jeftinije i brze od ljudi nije neutralna nauka - to je i najbolji moguci marketinski materijal, objavljen u petak, sa cenovnim poredjenjem ugradjenim unutra. To ne znaci da su rezultati lazni. Znaci da vredi procitati i sitna slova.

A sitna slova postoje. Sam rad priznaje da sistem radi samo utoliko ukoliko merila zaista odslikavaju ono sto zelimo da model radi. Neko mora da sastavi ta merila, da ih odrzava, da prosiri literaturu iz koje automatizovani istrazivaci crpe. Drugim recima - covek ne nestaje, povlaci se korak unazad i postaje onaj koji postavlja okvir. Pitanje je koliko dugo ce i ta uloga biti covekova.

Zasto ovo nije samo silikonska prica

Postoji ideja u industriji da sledeci pravi skok nece doci od veceg modela, nego od modela koji sam sebe poboljsava - rekurzivno samopoboljsanje. Ako sistem moze da si popravi uskladjenost, logika kaze da moze da popravi i druge delove treniranja. Ovaj rad je prvi ozbiljan korak u tom pravcu, a ne pretpostavka sa konferencijske scene.

Kod nas je razgovor o vestackoj inteligenciji jos uvek na nivou toga ko ce domaci brze da napise. U medjuvremenu, u radovima kompanija koje grade te alate, covek je vec stavljen u tabelu sa cenom po satu - i skuplja je kolona. Ima li smisla raspravljati da li ce VI zameniti profesije, kada je kompanija koja je prodaje vec objavila uporednu cenu?