Zašto mala poboljšanja modela donose velike promene

Trka za izgradnju najvećeg mogućeg modela veštačke inteligencije udara u zid smanjenih prinosa. Iako se udarne vesti često fokusiraju na masivne sisteme sa bilionima parametara, pravi napredak se dešava na marginama. Mala poboljšanja u načinu na koji ovi modeli obrađuju podatke stvaraju ogromne pomake u onome što softver zapravo može da uradi na dnevnom nivou. Udaljavamo se od perioda u kojem je sirova skala bila jedina metrika koja je važna. Danas je fokus na tome koliko inteligencije možemo da uguramo u manji otisak. Ova promena čini tehnologiju pristupačnijom i bržom za sve. Više nije reč o izgradnji većeg mozga. Reč je o tome da postojeći mozgovi rade sa mnogo više efikasnosti. Kada model postane deset procenata manji, a zadrži svoju tačnost, to ne štedi samo novac na troškovima servera. To omogućava čitavu novu kategoriju aplikacija koje su ranije bile nemoguće zbog hardverskih ograničenja. Ova tranzicija je najvažniji trend u tehnološkom sektoru upravo sada jer pomera snagu naprednog računanja iz masivnih data centara pravo na vaš dlan.

Kraj ere u kojoj je veće bolje

Da bismo razumeli zašto su ove sitne izmene važne, moramo pogledati šta one zapravo jesu. Većina napretka dolazi iz tri oblasti: kustosiranje podataka, kvantizacija i arhitektonska usavršavanja. Dugo vremena su istraživači verovali da je više podataka uvek bolje. Skenirali su ceo internet i hranili njime mašine. Sada znamo da su visokokvalitetni podaci mnogo vredniji od samog obima. Čišćenjem skupova podataka i uklanjanjem redundantnih informacija, inženjeri mogu da treniraju manje modele koji nadmašuju svoje veće prethodnike. Ovo se često naziva podacima kvaliteta udžbenika. Još jedan glavni faktor je kvantizacija. To je proces smanjenja preciznosti brojeva koje model koristi za svoje proračune. Umesto korišćenja decimala visoke preciznosti, model može koristiti jednostavne cele brojeve. Ovo zvuči kao da bi pokvarilo rezultate, ali pametna matematika omogućava modelu da ostane skoro jednako pametan dok zahteva delić memorije. Više o ovim tehničkim pomacima možete pročitati u nedavnom istraživanju o QLoRA i kompresiji modela.

Konačno, postoje arhitektonske promene poput mehanizama pažnje koji se fokusiraju na najrelevantnije delove rečenice. Ovo nisu masivni remonti. To su suptilna prilagođavanja matematike koja omogućavaju sistemu da ignoriše buku. Kada kombinujete ove faktore, dobijate model koji staje na standardni laptop umesto da zahteva sobu punu specijalizovanih čipova. Ljudi često precenjuju potrebu za masivnim modelima za jednostavne zadatke. Oni potcenjuju koliko se logike može spakovati u nekoliko milijardi parametara. Vidimo trend gde dovoljno dobro postaje standard za većinu potrošačkih proizvoda. Ovo omogućava programerima da integrišu pametne funkcije u aplikacije bez naplaćivanja pretplate za pokrivanje visokih cloud troškova. To je fundamentalna promena u načinu na koji se softver gradi i distribuira.

Zašto je lokalna inteligencija važnija od cloud snage

Globalni uticaj ovih malih poboljšanja je teško preceniti. Većina sveta nema pristup brzom internetu potrebnom za interakciju sa masivnim cloud modelima. Kada inteligencija zahteva stalnu vezu sa serverom u Virdžiniji ili Dablinu, ona ostaje luksuz za bogate. Mala poboljšanja modela menjaju ovo omogućavajući softveru da radi lokalno na hardveru srednje klase. To znači da student u ruralnom području ili radnik na tržištu u razvoju može pristupiti istom nivou pomoći kao i neko u tehnološkom centru. To izjednačava uslove igre na način na koji sirovo skaliranje nikada nije moglo. Cena inteligencije pada ka nuli. Ovo je posebno važno za privatnost i bezbednost. Kada podaci ne moraju da napuste uređaj, rizik od proboja je znatno manji. Vlade i pružaoci zdravstvenih usluga gledaju na ove efikasne modele kao na način da pruže usluge bez ugrožavanja podataka građana.

Ova promena utiče i na životnu sredinu. Treninzi velikih razmera troše ogromne količine električne energije i vode za hlađenje. Fokusiranjem na efikasnost, industrija može smanjiti svoj ugljenični otisak dok i dalje isporučuje bolje proizvode. Naučni časopisi poput Nature su istakli kako bi efikasna veštačka inteligencija mogla smanjiti ekološki danak industrije. Evo nekoliko načina na koje se ova globalna promena manifestuje:

• Lokalne prevodilačke usluge koje rade bez ikakve internet veze.
• Medicinski dijagnostički alati koji rade na prenosivim tabletima u udaljenim klinikama.
• Obrazovni softver koji se prilagođava potrebama učenika na jeftinom hardveru.
• Filtriranje privatnosti u realnom vremenu za video pozive koje se dešava u potpunosti na uređaju.
• Automatizovano praćenje useva za farmere koristeći jeftine dronove i lokalnu obradu.

Ovo nije samo o tome da stvari budu brže. Radi se o tome da budu univerzalne. Kada hardverski zahtevi padnu, potencijalna baza korisnika raste za milijarde ljudi. Ovaj trend je usko povezan sa najnovijim trendovima u razvoju veštačke inteligencije koji daju prioritet pristupačnosti nad sirovom snagom.

Utorak sa oflajn asistentom

Razmotrite dan u životu terenskog inženjera po imenu Markus. On radi na vetrogeneratorima na moru gde pristup internetu ne postoji. U prošlosti, ako bi Markus naišao na mehanički kvar koji nije prepoznao, morao je da fotografiše, sačeka dok se ne vrati na obalu i konsultuje priručnik ili starijeg kolegu. To bi moglo da odloži popravke za nekoliko dana. Sada nosi robusni tablet sa visoko optimizovanim lokalnim modelom. Uperi kameru u komponente turbine i model identifikuje problem u realnom vremenu. Pruža vodič za popravku korak po korak na osnovu specifičnog serijskog broja mašine. Model koji Markus koristi nije gigant od bilion parametara. To je mala, specijalizovana verzija koja je usavršena da razume mašinstvo. Ovo je konkretan primer kako malo poboljšanje u efikasnosti modela stvara ogromnu promenu u produktivnosti.

Kasnije tog dana, Markus koristi isti uređaj da prevede tehnički dokument od stranog dobavljača. Prevod je skoro savršen jer je model obučen na malom, ali visokokvalitetnom skupu inženjerskih tekstova. Nikada nije morao da otpremi nijedan fajl u cloud. Ova pouzdanost je ono što tehnologiju čini korisnom u stvarnom svetu. Mnogi ljudi pretpostavljaju da veštačka inteligencija mora biti generalista da bi bila od pomoći, ali Markus dokazuje da su specijalizovani, mali sistemi često superiorni za profesionalne zadatke. Mala priroda modela je zapravo funkcija, a ne greška. To znači da je sistem brži, privatniji i jeftiniji za rad. Markus je dobio svoje najnovije ažuriranje prošle nedelje, a razlika u brzini je bila primetna odmah.

Kontradikcija ovde je da, dok modeli postaju manji, posao koji obavljaju postaje veći. Vidimo pomak od ćaskanja sa botom ka integrisanju alata u radni proces. Ljudi imaju tendenciju da precenjuju važnost modela koji može da piše poeziju. Oni potcenjuju vrednost modela koji može savršeno da izvuče podatke iz zamućene fakture ili identifikuje pukotinu u čeličnoj gredi. Ovo su zadaci koji pokreću globalnu ekonomiju. Kako se ova mala poboljšanja nastavljaju, linija između pametnog softvera i običnog softvera će nestati. Sve će jednostavno raditi bolje. Ovo je realnost trenutnog tehnološkog okruženja.

Teška pitanja o kompromisu efikasnosti

Međutim, moramo primeniti određeni sokratovski skepticizam prema ovom trendu. Ako se krećemo ka manjim, optimizovanijim modelima, šta ostavljamo za sobom? Jedno teško pitanje je da li fokus na efikasnost vodi ka platou dovoljno dobrog. Ako je model optimizovan da bude brz, da li gubi sposobnost da se nosi sa rubnim slučajevima koje bi veći model mogao da uhvati? Moramo se zapitati da li žurba za smanjivanjem modela stvara novu vrstu pristrasnosti. Ako koristimo samo visokokvalitetne podatke za treniranje ovih sistema, ko definiše šta je kvalitet? Možda ćemo slučajno filtrirati glasove i perspektive marginalizovanih grupa jer se njihovi podaci ne uklapaju u standard udžbenika.

Имате причу о вештачкој интелигенцији, алат, тренд или питање које мислите да бисмо требали да покријемо? Пошаљите нам своју идеју за чланак — волели бисмо да је чујемо.

Tu je i pitanje skrivenih troškova. Iako je pokretanje malog modela jeftino, istraživanje i razvoj potrebni za smanjivanje velikog modela su neverovatno skupi. Da li samo prebacujemo potrošnju energije iz faze zaključivanja u fazu obuke i optimizacije? Takođe, kako ovi modeli postaju sve češći na ličnim uređajima, šta se dešava sa našom privatnošću? Čak i ako model radi lokalno, metapodaci o tome kako ga koristimo i dalje mogu biti prikupljeni. Moramo se zapitati da li je pogodnost lokalne inteligencije vredna potencijala za invazivnije praćenje. Ako svaka aplikacija na vašem telefonu ima svoj mali mozak, ko prati šta ti mozgovi uče o vama? Takođe moramo uzeti u obzir dugovečnost hardvera. Ako softver nastavi da postaje efikasniji, da li će nas kompanije i dalje terati da nadograđujemo svoje uređaje svakih ? Ili će ovo dovesti do održive ere u kojoj je telefon star pet godina i dalje savršeno sposoban da pokreće najnovije alate? Ovo su kontradikcije sa kojima se moramo suočiti kako se tehnologija razvija.

Inženjering iza kompresije

Za napredne korisnike i programere, prelazak na manje modele je stvar tehničkih specifičnosti. Najvažnija metrika više nije samo broj parametara. To su bitovi po parametru. Vidimo prelazak sa 16-bitnih težina sa pokretnim zarezom na 8-bitnu, pa čak i 4-bitnu kvantizaciju. Ovo omogućava modelu koji bi inače zahtevao 40 gigabajta VRAM-a da stane u manje od 10 gigabajta. Ovo je masivan pomak za lokalno skladištenje i GPU zahteve. Programeri sada gledaju na LoRA, ili Low-Rank Adaptation, da fino podese ove modele na specifične zadatke bez ponovnog treniranja celog sistema. Ovo čini integracije radnog procesa mnogo lakšim. Tehničku dokumentaciju o ovim metodama možete pronaći na MIT Technology Review.

Prilikom izgradnje aplikacija, morate uzeti u obzir sledeća tehnička ograničenja:

• Propusni opseg memorije je često veće usko grlo od sirove računarske snage za lokalno zaključivanje.
• API ograničenja za cloud modele postaju manje relevantna kako lokalni hosting postaje održiv za proizvodnju.
• Upravljanje kontekstualnim prozorom je i dalje izazov za manje modele jer imaju tendenciju da brže gube trag o dugim razgovorima.
• Izbor između FP8 i INT4 preciznosti može značajno uticati na stopu halucinacija u kreativnim zadacima.
• Zahtevi za lokalnim skladištenjem se smanjuju, ali potreba za NVMe drajvovima velike brzine ostaje za brzo učitavanje modela.

Takođe vidimo porast spekulativnog dekodiranja, gde sićušni model predviđa sledećih nekoliko tokena, a veći model ih verifikuje. Ovaj hibridni pristup nudi brzinu malog modela sa tačnošću giganta. To je pametan način da se zaobiđu tradicionalni kompromisi veličine modela. Za svakoga ko želi da ostane ispred u ovoj oblasti, razumevanje ovih tehnika kompresije je važnije od znanja kako izgraditi model od nule. Budućnost pripada optimistima koji mogu da urade više sa manje. Fokus se pomera sa sirove snage na pametan inženjering.

Pokretna meta optimalnih performansi

Zaključak je da se era u kojoj je veće uvek bolje bliži kraju. Najznačajnija dostignuća više nisu u dodavanju više slojeva ili više podataka. Ona su o usavršavanju, efikasnosti i pristupačnosti. Vidimo promenu koja će napredno računanje učiniti uobičajenim kao kalkulator. Ovaj napredak nije samo tehničko dostignuće. To je društveno. On donosi snagu najnaprednijih istraživanja svima, bez obzira na njihov hardver ili internet vezu. To je demokratizacija inteligencije kroz zadnja vrata optimizacije.

Napomena urednika: Kreirali smo ovaj sajt kao višejezični centar za vesti i vodiče o veštačkoj inteligenciji za ljude koji nisu kompjuterski genijalci, ali ipak žele da razumeju veštačku inteligenciju, koriste je sa više samopouzdanja i prate budućnost koja već stiže.

Dok gledamo ka sledećoj , otvoreno pitanje ostaje: hoćemo li nastaviti da pronalazimo načine da smanjimo inteligenciju, ili ćemo na kraju udariti u fizičku granicu koja nas tera nazad u cloud? Za sada, trend je jasan. Malo je novo veliko. Sistemi koje ćemo koristiti sutra biće definisani ne po tome koliko znaju, već po tome koliko dobro koriste ono što imaju.