Miksi pienet malliparannukset luovat suuria muutoksia

Kilpajuoksu mahdollisimman suuren tekoälymallin rakentamiseksi on törmännyt tuottavuuden vähenemisen seinään. Vaikka otsikot keskittyvät usein valtaviin, biljoonien parametrien järjestelmiin, todellinen kehitys tapahtuu marginaalissa. Pienet parannukset siinä, miten nämä mallit käsittelevät dataa, luovat valtavia muutoksia siihen, mitä ohjelmistot voivat päivittäin tehdä. Olemme siirtymässä ajasta, jolloin raaka skaala oli ainoa merkityksellinen mittari. Nykyään keskitytään siihen, kuinka paljon älykkyyttä voimme puristaa pienempään kokoon. Tämä muutos tekee teknologiasta helpommin saavutettavaa ja nopeampaa kaikille. Kyse ei ole enää suurempien aivojen rakentamisesta, vaan olemassa olevien aivojen saamisesta toimimaan huomattavasti tehokkaammin. Kun malli pienenee kymmenellä prosentilla mutta säilyttää tarkkuutensa, se ei ainoastaan säästä palvelinkustannuksissa. Se mahdollistaa kokonaan uuden sovellusluokan, joka oli aiemmin mahdoton laitteistorajoitusten vuoksi. Tämä siirtymä on teknologia-alan tärkein trendi juuri nyt, koska se siirtää edistyneen laskennan voiman valtavista datakeskuksista suoraan kätesi ulottuville.

Suurempi on parempi -aikakauden loppu

Ymmärtääksemme, miksi nämä pienet viilaukset ovat tärkeitä, meidän on katsottava, mitä ne todellisuudessa ovat. Suurin osa edistyksestä tulee kolmelta alueelta: datan kuratoinnista, kvantisoinnista ja arkkitehtuurin hienosäädöstä. Pitkään tutkijat uskoivat, että enemmän dataa on aina parempi. He keräsivät koko internetin sisällön ja syöttivät sen koneisiin. Nyt tiedämme, että korkealaatuinen data on paljon arvokkaampaa kuin pelkkä määrä. Puhdistamalla tietojoukkoja ja poistamalla turhaa tietoa insinöörit voivat kouluttaa pienempiä malleja, jotka päihittävät suuremmat edeltäjänsä. Tätä kutsutaan usein oppikirjatasoiseksi dataksi. Toinen merkittävä tekijä on kvantisointi. Se on prosessi, jossa vähennetään mallin laskutoimituksissaan käyttämien lukujen tarkkuutta. Sen sijaan, että käytettäisiin korkean tarkkuuden desimaaleja, malli saattaa käyttää yksinkertaisia kokonaislukuja. Tämä kuulostaa siltä, että se pilaisi tulokset, mutta nerokas matematiikka sallii mallin pysyä lähes yhtä älykkäänä vaatien vain murto-osan muistista. Voit lukea lisää näistä teknisistä muutoksista tuoreesta QLoRA-tutkimuksesta ja mallien pakkauksesta.

Lopuksi on olemassa arkkitehtuurin muutoksia, kuten huomiomekanismeja, jotka keskittyvät lauseen olennaisimpiin osiin. Nämä eivät ole valtavia uudistuksia, vaan hienovaraisia matemaattisia säätöjä, joiden avulla järjestelmä voi jättää kohinan huomiotta. Kun yhdistät nämä tekijät, saat mallin, joka mahtuu tavalliselle kannettavalle tietokoneelle sen sijaan, että se vaatisi huoneellisen erikoissiruja. Ihmiset yliarvioivat usein valtavien mallien tarpeen yksinkertaisissa tehtävissä ja aliarvioivat sen, kuinka paljon logiikkaa voidaan pakata muutamaan miljardiin parametriin. Näemme trendin, jossa ”riittävän hyvä” on tulossa standardiksi useimmissa kuluttajatuotteissa. Tämä mahdollistaa kehittäjille älykkäiden ominaisuuksien integroimisen sovelluksiin ilman, että käyttäjiltä tarvitsee periä tilausmaksuja korkeiden pilvikustannusten kattamiseksi. Tämä on perustavanlaatuinen muutos siinä, miten ohjelmistoja rakennetaan ja jaellaan.

Miksi paikallinen älykkyys on tärkeämpää kuin pilviteho

Näiden pienten parannusten globaalia vaikutusta on vaikea liioitella. Suurimmalla osalla maailman ihmisistä ei ole pääsyä nopeaan internetiin, jota vaaditaan valtavien pilvipohjaisten mallien käyttöön. Kun älykkyys vaatii jatkuvaa yhteyttä palvelimeen Virginiassa tai Dublinissa, se pysyy rikkaiden ylellisyytenä. Pienet malliparannukset muuttavat tämän sallimalla ohjelmiston toimia paikallisesti keskitason laitteistolla. Tämä tarkoittaa, että opiskelija maaseudulla tai työntekijä kehittyvillä markkinoilla voi saada saman tason apua kuin joku teknologia-alan keskuksessa. Se tasoittaa pelikenttää tavalla, johon raaka skaalaus ei koskaan pystynyt. Älykkyyden hinta on laskemassa kohti nollaa. Tämä on erityisen tärkeää yksityisyyden ja turvallisuuden kannalta. Kun datan ei tarvitse poistua laitteelta, tietomurron riski on huomattavasti pienempi. Hallitukset ja terveydenhuollon tarjoajat tarkastelevat näitä tehokkaita malleja tapana tarjota palveluita vaarantamatta kansalaisten tietoja.

Muutos vaikuttaa myös ympäristöön. Laajamittaiset koulutusajot kuluttavat valtavia määriä sähköä ja vettä jäähdytykseen. Keskittymällä tehokkuuteen ala voi pienentää hiilijalanjälkeään ja tarjota silti parempia tuotteita. Tieteelliset lehdet, kuten Nature, ovat korostaneet, kuinka tehokas tekoäly voisi vähentää alan ympäristökuormitusta. Tässä on muutamia tapoja, joilla tämä globaali muutos ilmenee:

• Paikalliset käännöspalvelut, jotka toimivat ilman internet-yhteyttä.
• Lääketieteelliset diagnostiikkatyökalut, jotka toimivat kannettavilla tableteilla syrjäisillä klinikoilla.
• Opetusohjelmistot, jotka mukautuvat opiskelijan tarpeisiin edullisella laitteistolla.
• Reaaliaikainen yksityisyyden suodatus videopuheluille, joka tapahtuu kokonaan laitteella.
• Automatisoitu sadon seuranta viljelijöille käyttäen edullisia droneja ja paikallista prosessointia.

Kyse ei ole vain asioiden nopeuttamisesta, vaan niiden tekemisestä yleisesti saatavilla oleviksi. Kun laitteistovaatimukset laskevat, potentiaalinen käyttäjäkunta kasvaa miljardeilla ihmisillä. Tämä trendi liittyy läheisesti uusimpiin tekoälykehityksen suuntauksiin, jotka asettavat saavutettavuuden raa’an tehon edelle.

Tiistai offline-avustajan kanssa

Ajatellaanpa kenttäinsinööri Marcuksen päivää. Hän työskentelee offshore-tuulivoimaloilla, joissa internet-yhteyttä ei ole. Aiemmin, jos Marcus kohtasi mekaanisen vian, jota hän ei tunnistanut, hänen piti ottaa kuvia, odottaa paluuta rannalle ja konsultoida manuaalia tai vanhempaa kollegaa. Tämä saattoi viivästyttää korjauksia päivillä. Nyt hän kantaa mukanaan kestävää tablettia, jossa on erittäin optimoitu paikallinen malli. Hän osoittaa kameralla turbiinin osia, ja malli tunnistaa ongelman reaaliajassa. Se tarjoaa vaiheittaisen korjausoppaan koneen sarjanumeron perusteella. Marcuksen käyttämä malli ei ole biljoonan parametrin jättiläinen, vaan pieni, erikoistunut versio, joka on hiottu ymmärtämään konetekniikkaa. Tämä on konkreettinen esimerkki siitä, kuinka pieni parannus mallin tehokkuudessa luo valtavan muutoksen tuottavuudessa.

Myöhemmin samana päivänä Marcus käyttää samaa laitetta kääntääkseen teknisen asiakirjan ulkomaiselta toimittajalta. Käännös on lähes täydellinen, koska malli on koulutettu pienellä mutta korkealaatuisella teknisten tekstien joukolla. Hänen ei tarvinnut ladata yhtäkään tiedostoa pilveen. Tämä luotettavuus tekee teknologiasta hyödyllisen todellisessa maailmassa. Monet ihmiset olettavat, että tekoälyn on oltava yleisosaaja ollakseen hyödyllinen, mutta Marcus todistaa, että erikoistuneet, pienet järjestelmät ovat usein ylivertaisia ammatillisissa tehtävissä. Mallin pieni koko on itse asiassa ominaisuus, ei virhe. Se tarkoittaa, että järjestelmä on nopeampi, yksityisempi ja halvempi käyttää. Marcus sai viimeisimmän päivityksensä viime viikolla, ja nopeusero oli havaittavissa välittömästi.

Ristiriita tässä on se, että vaikka mallit pienenevät, niiden tekemä työ kasvaa. Näemme siirtymän pois botin kanssa chattailemisesta kohti työkalun integroimista työnkulkuun. Ihmiset yliarvioivat usein sen tärkeyden, että malli osaa kirjoittaa runoutta. He aliarvioivat mallin arvon, joka osaa poimia täydellisesti tietoa epäselvästä laskusta tai tunnistaa hiushalkeaman teräspalkista. Nämä ovat tehtäviä, jotka pyörittävät maailmantaloutta. Kun nämä pienet parannukset jatkuvat, raja älykkään ohjelmiston ja tavallisen ohjelmiston välillä katoaa. Kaikki vain toimii paremmin. Tämä on nykyisen teknologia-ympäristön todellisuus.

Vaikeita kysymyksiä tehokkuuden kompromisseista

Meidän on kuitenkin sovellettava hieman sokraattista skeptisyyttä tähän trendiin. Jos olemme siirtymässä kohti pienempiä, optimoidumpia malleja, mitä jätämme taaksemme? Yksi vaikea kysymys on, johtaako keskittyminen tehokkuuteen ”riittävän hyvä” -tasanteeseen. Jos malli on optimoitu olemaan nopea, menettääkö se kykynsä käsitellä reunatapauksia, jotka suurempi malli saattaisi havaita? Meidän on kysyttävä, luoko kiire mallien pienentämiseen uudenlaista vinoumaa. Jos käytämme vain korkealaatuista dataa näiden järjestelmien kouluttamiseen, kuka määrittelee, mikä on laatua? Saatamme vahingossa suodattaa pois marginaaliryhmien äänet ja näkökulmat, koska heidän datansa ei sovi oppikirjastandardiin.

Onko sinulla tekoälytarinaa, -työkalua, -trendiä tai kysymystä, jonka mielestäsi meidän pitäisi käsitellä? Lähetä meille artikkeli-ideasi — kuulisimme sen mielellämme.

On myös kysymys piilokustannuksista. Vaikka pienen mallin käyttö on halpaa, suuren mallin pienentämiseen vaadittava tutkimus ja kehitys on uskomattoman kallista. Siirrämmekö vain energiankulutusta päättelyvaiheesta koulutus- ja optimointivaiheeseen? Lisäksi, kun näistä malleista tulee yleisempiä henkilökohtaisissa laitteissa, mitä tapahtuu yksityisyydellemme? Vaikka malli toimisi paikallisesti, metatiedot siitä, miten käytämme sitä, voidaan silti kerätä. Meidän on kysyttävä, onko paikallisen älykkyyden mukavuus invasiivisemman seurannan arvoista. Jos jokaisella puhelimesi sovelluksella on oma pieni aivonsa, kuka valvoo, mitä nuo aivot oppivat sinusta? Meidän on myös harkittava laitteiston pitkäikäisyyttä. Jos ohjelmistot muuttuvat jatkuvasti tehokkaammiksi, painostavatko yritykset meitä silti päivittämään laitteitamme joka ? Vai johtaako tämä kestävään aikakauteen, jossa viisi vuotta vanha puhelin on yhä täysin kykenevä ajamaan uusimpia työkaluja? Nämä ovat ristiriitoja, jotka meidän on kohdattava teknologian kehittyessä.

Pakkauksen takana oleva tekniikka

Tehokäyttäjille ja kehittäjille siirtyminen pienempiin malleihin on teknisten yksityiskohtien kysymys. Tärkein mittari ei ole enää vain parametrien määrä, vaan bitit per parametri. Näemme siirtymän 16-bittisistä liukulukupainoista 8-bittiseen ja jopa 4-bittiseen kvantisointiin. Tämä mahdollistaa sen, että malli, joka normaalisti vaatisi 40 gigatavua VRAM-muistia, mahtuu alle 10 gigatavuun. Tämä on valtava muutos paikallisen tallennustilan ja GPU-vaatimusten kannalta. Kehittäjät tarkastelevat nyt LoRAa (Low-Rank Adaptation) hienosäätääkseen näitä malleja tiettyihin tehtäviin ilman koko järjestelmän uudelleenkoulutusta. Tämä tekee työnkulkujen integroinnista paljon helpompaa. Löydät teknistä dokumentaatiota näistä menetelmistä osoitteesta MIT Technology Review.

Sovelluksia rakennettaessa on otettava huomioon seuraavat tekniset rajoitukset:

• Muistin kaistanleveys on paikallisessa päättelyssä usein suurempi pullonkaula kuin raaka laskentateho.
• Pilvimallien API-rajoitukset muuttuvat vähemmän merkityksellisiksi, kun paikallinen isännöinti muuttuu tuotantokelpoiseksi.
• Konteksti-ikkunan hallinta on edelleen haaste pienemmille malleille, koska ne menettävät helpommin pitkien keskustelujen punaisen langan.
• Valinta FP8- ja INT4-tarkkuuden välillä voi vaikuttaa merkittävästi hallusinaatioiden määrään luovissa tehtävissä.
• Paikallisen tallennustilan vaatimukset pienenevät, mutta nopeiden NVMe-asemien tarve säilyy nopean mallin lataamisen varmistamiseksi.

Näemme myös spekulatiivisen dekoodauksen nousun, jossa pieni malli ennustaa seuraavat muutamat tokenit ja suurempi malli vahvistaa ne. Tämä hybridilähestymistapa tarjoaa pienen mallin nopeuden ja jättiläisen tarkkuuden. Se on nerokas tapa kiertää perinteiset mallikoon kompromissit. Jokaiselle, joka haluaa pysyä kehityksen kärjessä tällä alalla, näiden pakkaustekniikoiden ymmärtäminen on tärkeämpää kuin tietää, miten rakentaa malli tyhjästä. Tulevaisuus kuuluu optimoijille, jotka osaavat tehdä enemmän vähemmällä. Painopiste siirtyy raa’asta tehosta nerokkaaseen insinööritaitoon.

Optimaalisen suorituskyvyn liikkuva maali

Lopputulos on se, että ”suurempi on aina parempi” -aikakausi on tulossa päätökseensä. Merkittävimmät edistysaskeleet eivät enää liity useampien kerrosten tai datan lisäämiseen, vaan hienosäätöön, tehokkuuteen ja saavutettavuuteen. Näemme muutoksen, joka tekee edistyneestä laskennasta yhtä yleistä kuin taskulaskin. Tämä edistys ei ole vain tekninen saavutus, vaan sosiaalinen sellainen. Se tuo edistyneimmän tutkimuksen voiman kaikkien ulottuville laitteistosta tai internet-yhteydestä riippumatta. Se on älykkyyden demokratisointia optimoinnin takaportin kautta.

Toimittajan huomautus: Loimme tämän sivuston monikieliseksi tekoälyuutisten ja -oppaiden keskukseksi ihmisille, jotka eivät ole tietokonenörttejä, mutta haluavat silti ymmärtää tekoälyä, käyttää sitä luottavaisemmin ja seurata jo saapuvaa tulevaisuutta.

Kun katsomme kohti seuraavaa , avoin kysymys pysyy: löydämmekö jatkossakin tapoja pienentää älykkyyttä, vai törmäämmekö lopulta fyysiseen rajaan, joka pakottaa meidät takaisin pilveen? Toistaiseksi suunta on selvä. Pieni on uusi suuri. Huomisen käyttämiämme järjestelmiä ei määritä se, kuinka paljon ne tietävät, vaan se, kuinka hyvin ne käyttävät sitä, mitä niillä on.