Voivatko avoimet mallit todella haastaa suurimmat laboratoriot?

Älykkyyden suuri hajauttaminen

Kuilu suljettujen järjestelmien ja julkisten mallien välillä kapenee nopeammin kuin useimmat analyytikot ennustivat. Vielä vuosi sitten vallitsi yksimielisyys siitä, että miljardien rahoituksella toimivat jättilaboratoriot säilyttäisivät pysyvän etumatkan. Nykyään tuota etumatkaa mitataan enää kuukausissa, ei vuosissa. Avoimen painoarvon mallit (open weights models) suoriutuvat nyt tasolla, joka haastaa kehittyneimmätkin suljetut järjestelmät koodauksessa, päättelyssä ja luovassa kirjoittamisessa. Tämä muutos ei ole vain tekninen kuriositeetti, vaan se edustaa perustavanlaatuista muutosta siinä, kuka hallitsee laskennan tulevaisuutta. Kun kehittäjä voi ajaa suorituskykyistä mallia omalla laitteistollaan, valta siirtyy pois keskittäviltä palveluntarjoajilta. Tämä trendi viittaa siihen, että ”mustan laatikon” mallien aikakausi kohtaa ensimmäisen todellisen haasteensa hajautetulta globaalilta yhteisöltä.

Näiden saavutettavien järjestelmien nousu on pakottanut arvioimaan uudelleen, mitä alan johtajuus tarkoittaa. Enää ei riitä, että omistaa suurimman siruklusterin, jos lopputulos on lukittu kalliin ja rajoittavan rajapinnan taakse. Kehittäjät äänestävät ajallaan ja laskentatehollaan. He valitsevat malleja, joita he voivat tarkastella, muokata ja ottaa käyttöön ilman lupapyyntöjä. Tämä liike kasvaa, koska se vastaa yksityisyyden ja kustomoinnin tarpeisiin, joita suljetut mallit usein sivuuttavat. Tuloksena on kilpailukykyisempi ympäristö, jossa painopiste on siirtynyt pelkästä skaalasta tehokkuuteen ja saavutettavuuteen. Tämä on uuden aikakauden alku, jossa kyvykkäimmät työkalut ovat myös helpoimmin saatavilla.

Kehityksen kolme heimoa

Ymmärtääksesi, mihin tämä teknologia on menossa, on tarkasteltava kolmea erilaista organisaatiotyyppiä. Ensimmäisenä ovat eturintaman laboratoriot, kuten OpenAI ja Google. Niiden tavoitteena on saavuttaa korkein mahdollinen yleisälykkyyden taso. Ne priorisoivat skaalaa ja raakaa voimaa yli kaiken muun. Niille avoimuus nähdään usein turvallisuusriskinä tai kilpailuedun menetyksenä. Ne rakentavat massiivisia, suljettuja ekosysteemejä, jotka tarjoavat korkeaa suorituskykyä, mutta vaativat täydellistä riippuvuutta niiden pilvi-infrastruktuurista. Niiden mallit ovat suorituskyvyn kultainen standardi, mutta ne tulevat käyttöehtojen ja jatkuvien kustannusten kera.

Toisena ovat akateemiset laboratoriot. Instituutiot, kuten Stanford Institute for Human-Centered AI, keskittyvät läpinäkyvyyteen ja toistettavuuteen. Niiden tavoitteena ei ole myydä tuotetta, vaan ymmärtää, miten nämä järjestelmät toimivat. Ne julkaisevat havaintonsa, tietoaineistonsa ja koulutusmenetelmänsä. Vaikka niiden mallit eivät aina vastaa eturintaman laboratorioiden raakaa voimaa, ne tarjoavat perustan koko alalle. Ne kysyvät kysymyksiä, joita kaupalliset laboratoriot saattavat välttää, kuten miten vinoumat syntyvät tai miten koulutuksesta tehdään energiatehokkaampaa. Niiden työ varmistaa, että alan tiede pysyy julkisena hyödykkeenä eikä yrityssalaisuutena.

Lopuksi on tuotelaboratoriot ja yritysten avoimen painoarvon kannattajat. Meta ja Mistral kuuluvat tähän kategoriaan. Ne julkaisevat malleja yleisölle rakentaakseen ekosysteemin. Tekemällä painoarvoistaan saatavilla olevia, ne kannustavat tuhansia kehittäjiä optimoimaan koodiaan ja rakentamaan yhteensopivia työkaluja. Tämä on strateginen siirto suljettujen alustojen dominanssin murtamiseksi. Jos kaikki rakentavat arkkitehtuurisi päälle, sinusta tulee alan standardi. Tämä lähestymistapa yhdistää puhtaan tutkimuksen ja kaupalliset tuotteet. Se mahdollistaa käyttöönoton tason, johon akateemiset laboratoriot eivät yllä, säilyttäen samalla vapauden, jota eturintaman laboratoriot eivät salli.

Avoimuuden illuusio modernissa ohjelmistokehityksessä

Termiä open source käytetään alalla usein löyhästi, mikä aiheuttaa merkittävää hämmennystä. Todellinen avoin lähdekoodi, kuten Open Source Initiative sen määrittelee, vaatii, että lähdekoodi, rakennusohjeet ja data ovat vapaasti saatavilla. Useimmat modernit mallit eivät täytä näitä kriteerejä. Sen sijaan näemme avoimen painoarvon mallien nousun. Tässä mallissa yritys tarjoaa koulutusprosessin lopputuloksen, mutta pitää koulutusdatan ja reseptin salaisina. Tämä on ratkaiseva ero. Voit ajaa mallia ja nähdä, miten se käyttäytyy, mutta et voi helposti luoda sitä tyhjästä tai tietää tarkalleen, mitä tietoa sille syötettiin sen luomisen aikana.

Markkinointikieli monimutkaistaa tätä entisestään käyttämällä termejä kuten permissive tai community licenses. Nämä lisenssit sisältävät usein ehtoja, jotka rajoittavat mallin käyttöä suurilta yrityksiltä tai tietyissä tehtävissä. Vaikka nämä mallit ovat paljon saavutettavampia kuin suljettu API, ne eivät aina ole ilmaisia perinteisessä mielessä. Tämä luo avoimuuden kirjon. Toisessa päässä ovat täysin suljetut mallit kuten GPT-4. Keskellä ovat avoimen painoarvon mallit kuten Llama 3. Toisessa ääripäässä ovat projektit, jotka julkaisevat kaiken, mukaan lukien datan. Mallin sijainnin ymmärtäminen tällä kirjolla on elintärkeää jokaiselle yritykselle tai kehittäjälle, joka suunnittelee pitkän aikavälin strategiaa.

Tämän puoliavoimen lähestymistavan hyödyt ovat silti massiivisia. Se mahdollistaa paikallisen isännöinnin, mikä on vaatimus monille aloille, joilla on tiukat datan suvereniteettisäännöt. Se mahdollistaa myös hienosäädön (fine tuning), jossa malli koulutetaan pienellä määrällä spesifiä dataa, jotta siitä tulee tietyn alan asiantuntija. Tällainen kontrolli on mahdotonta suljetulla API:lla. Meidän on kuitenkin oltava tarkkoja siitä, mikä on aidosti avointa. Jos yritys voi peruuttaa lisenssisi tai jos koulutusdata on mysteeri, toimit edelleen jonkun muun suunnittelemassa järjestelmässä. Nykyinen trendi kulkee kohti suurempaa läpinäkyvyyttä, mutta emme ole vielä pisteessä, jossa tehokkaimmat mallit olisivat todella avointa lähdekoodia.

Paikallinen kontrolli pilvijättien aikakaudella

Kehittäjälle, joka työskentelee korkean tietoturvan ympäristössä, siirtyminen kohti avoimia painoarvoja on käytännön välttämättömyys. Kuvittele keskisuuren rahoitusyhtiön pääinsinööri. Aiemmin heidän olisi pitänyt lähettää arkaluontoista asiakasdataa kolmannen osapuolen palvelimelle saadakseen suuren kielimallin hyödyt. Tämä loi massiivisen yksityisyysriskin ja riippuvuuden ulkoisen palveluntarjoajan toimintavarmuudesta. Nykyään tuo insinööri voi ladata suorituskykyisen mallin ja ajaa sitä sisäisellä palvelimella. Heillä on täysi kontrolli datavirtaan. He voivat muokata mallia ymmärtämään yrityksen spesifiä jargonia ja vaatimustenmukaisuussääntöjä. Tämä ei ole vain mukavuustekijä, vaan perustavanlaatuinen muutos siinä, miten yritys hallitsee arvokkainta omaisuuttaan, eli dataansa.

Tämän insinöörin työpäivä on muuttunut merkittävästi. API-avainten hallinnan ja nopeusrajoituksista murehtimisen sijaan he käyttävät aikansa paikallisen päättelyn (inference) optimointiin. He saattavat käyttää Hugging Face -tyyppistä työkalua löytääkseen malliversion, joka on pakattu mahtumaan käytettävissä olevalle laitteistolle. He voivat ajaa testejä klo 3 yöllä murehtimatta jokaisen generoidun tokenin kustannuksista. Jos malli tekee virheen, he voivat tarkastella painoarvoja ja yrittää ymmärtää miksi, tai he voivat käyttää hienosäätöä sen korjaamiseen. Tällainen autonomia oli useimmille yrityksille ajatuksenakin mahdoton vain kaksi vuotta sitten. Se mahdollistaa nopeamman iteraatiosyklin ja vankemman lopputuotteen.

Tämä vapaus ulottuu myös yksittäiseen käyttäjään. Kirjoittaja tai tutkija voi ajaa kannettavallaan mallia, jossa ei ole Piilaakson komitean suunnittelemaa suodatinta. He voivat tutkia ideoita ja luoda sisältöä ilman, että välikäsi päättää, mikä on sopivaa. Tämä on ero työkalun vuokraamisen ja omistamisen välillä. Vaikka pilvijätit tarjoavat hiotun ja helppokäyttöisen kokemuksen, avoin ekosysteemi tarjoaa jotain arvokkaampaa: toimijuutta. Laitteistojen tehostuessa ja mallien muuttuessa tehokkaammiksi, näitä järjestelmiä paikallisesti ajavien ihmisten määrä vain kasvaa. Tämä hajautettu lähestymistapa varmistaa, että teknologian hyödyt eivät rajoitu vain niihin, joilla on varaa kalliisiin kuukausitilauksiin.

Yritykset huomaavat myös, että avoimet mallit toimivat suojana alustariskejä vastaan. Jos suljettu palveluntarjoaja muuttaa hinnoitteluaan tai käyttöehtojaan, kyseisen API:n päälle rakennettu yritys on pulassa. Käyttämällä avoimia painoarvoja, yritys voi vaihtaa laitteistotoimittajaa tai siirtää koko pinoaan eri pilveen menettämättä ydinälykkyyttään. Tämä joustavuus ajaa suurta osaa nykyisestä käyttöönotosta. Kyse ei ole enää siitä, mikä malli on hieman parempi benchmark-testeissä, vaan siitä, mikä malli antaa yritykselle eniten pitkän aikavälin vakautta. Viimeaikaiset parannukset avoimen lähdekoodin AI-ekosysteemissä ovat tehneet tästä varteenotettavan strategian kaikenkokoisille yrityksille.

Ilmaisten mallien korkea hinta

Innostuksesta huolimatta meidän on kysyttävä vaikeita kysymyksiä avoimuuden piilokustannuksista. Suuren mallin ajaminen paikallisesti ei ole ilmaista. Se vaatii merkittäviä investointeja laitteistoon, erityisesti huippuluokan GPU-kortteihin, joissa on paljon muistia. Monille pienille yrityksille tämän laitteiston ostaminen ja ylläpito voi ylittää API-tilauksen kustannukset useiden vuosien ajalta. Lisäksi on sähkökustannukset ja tarve erikoistuneelle osaamiselle käyttöönoton hallitsemiseksi. Vaihdammeko vain ohjelmistotilauksen laitteisto- ja energialaskuun? Paikallisen tekoälyn taloudellinen todellisuus on monimutkaisempi kuin otsikot antavat ymmärtää.

Yksityisyys on toinen alue, jossa skeptisyys on tarpeen. Vaikka mallin ajaminen paikallisesti on parempi tietoturvan kannalta, mallit itsessään on usein koulutettu internetistä ilman suostumusta kerätyllä datalla. Tekeekö avoimen mallin käyttö sinusta osallisen tähän käytäntöön? Lisäksi, jos malli on avoin, se on avoin myös pahantahtoisille toimijoille. Samoja työkaluja, jotka mahdollistavat lääkärin lääketieteellisten muistiinpanojen tiivistämisen, voi hakkeri käyttää phishing-hyökkäysten automatisointiin. Miten tasapainotamme demokratisoinnin hyödyt ja väärinkäytön riskit? Laboratoriot, jotka julkaisevat painoarvonsa, väittävät usein, että yhteisö tarjoaa tarvittavat turvatarkastukset, mutta tätä on vaikea todentaa. Meidän on pohdittava, onko keskitetyn valvonnan puute ominaisuus vai virhe.

Lopuksi meidän on tarkasteltava avoimen mallin kestävyyttä. Näiden järjestelmien kouluttaminen maksaa miljoonia dollareita. Jos yritykset kuten Meta tai Mistral päättävät, ettei painoarvojen julkaiseminen ole enää niiden edun mukaista, avoimen yhteisön edistyminen voi pysähtyä. Hyödymme tällä hetkellä yritysstrategiasta, joka suosii avoimuutta markkinaosuuden saavuttamiseksi. Jos strategia muuttuu, yhteisö saattaa huomata olevansa taas vuosia eturintaman laboratorioiden perässä. Onko mahdollista rakentaa todella itsenäinen, suorituskykyinen malli ilman monen miljardin dollarin yrityksen tukea? Nykyinen riippuvuus yritysten anteliaisuudesta on koko liikkeen mahdollinen yksittäinen vikapiste.

Paikallisen päättelyn konepellin alla

Tehokäyttäjälle varsinainen työ tapahtuu näiden mallien integroinnissa olemassa oleviin työnkulkuihin. Yksi suurimmista haasteista on laitteistovaatimus. 70 miljardin parametrin mallin ajamiseen tarvitaan yleensä vähintään kaksi huippuluokan kuluttaja-GPU:ta tai ammattilaistason kortti, jossa on 48 Gt VRAM-muistia. Tämä on johtanut kvantisointitekniikoiden (quantization) nousuun. Vähentämällä mallin painoarvojen tarkkuutta 16-bitistä 4-bittiin tai jopa 2-bittiin, kehittäjät voivat sovittaa paljon suurempia malleja halvemmalle laitteistolle. Tämä prosessi sisältää pienen tarkkuuden heikkenemisen, mutta useimmissa tehtävissä ero on merkityksetön. Työkalut kuten Llama.cpp ovat tehneet mahdolliseksi ajaa näitä malleja tavallisilla CPU-suorittimilla ja Mac-laitteistolla, mikä laskee merkittävästi kynnystä aloittamiseen.

Toinen kriittinen tekijä on API-raja. Käytettäessä suljettua palveluntarjoajaa, sinua rajoittaa usein se, kuinka monta pyyntöä voit tehdä minuutissa. Paikallisen mallin kohdalla ainoa rajoite on laitteistosi nopeus. Tämä mahdollistaa monimutkaiset työnkulut, joissa mallia kutsutaan satoja kertoja yhden prosessin aikana. Esimerkiksi kehittäjä voi käyttää mallia tuhansien koodirivien analysointiin tai synteettisen tietoaineiston luomiseen testausta varten. Nämä tehtävät olisivat kohtuuttoman kalliita ja hitaita pilvi-API:lla. Paikallinen tallennus mahdollistaa myös massiivisten konteksti-ikkunoiden käytön. Voit syöttää kokonaisen dokumenttikirjaston malliin murehtimatta syöttötokenien kustannuksista.

Työnkulkujen integrointi muuttuu myös hienostuneemmaksi. Kehittäjät käyttävät viitekehyksiä, joiden avulla he voivat vaihtaa malleja lennosta yhdellä koodirivillä. Tämä tarkoittaa, että järjestelmä voi käyttää pientä, nopeaa mallia yksinkertaisiin tehtäviin ja suurta, hidasta mallia monimutkaiseen päättelyyn. Tämä hybridilähestymistapa optimoi sekä kustannukset että suorituskyvyn. Esteitä on kuitenkin yhä. Paikallisista malleista puuttuvat usein suljettujen vastineidensa hiotut turvasuodattimet ja laaja dokumentaatio. Vankan paikallisen ympäristön pystyttäminen vaatii syvällistä ymmärrystä Linuxista, Pythonista ja GPU-ajureista. Niille, jotka hallitsevat tämän, palkintona on suorituskyvyn ja yksityisyyden taso, johon yksikään pilvipalveluntarjoaja ei pysty vastaamaan.

Julkisen teknologian uusi standardi

Avoimien ja suljettujen mallien välinen kilpailu on tärkein teknologian tarina tänään. Se on taistelu internetin perustavanlaatuisesta arkkitehtuurista. Jos suljetut mallit voittavat, tekoälyn tulevaisuus näyttää nykyisiltä mobiilisovelluskaupoilta, joissa kaksi tai kolme jättiläistä hallitsee sitä, mikä on mahdollista. Jos avoimet mallit jatkavat nykyistä rataansa, tulevaisuus muistuttaa enemmän itse verkkoa – hajautettua verkkoa, jossa kuka tahansa voi rakentaa ja innovoida. Viimeaikainen siirtymä kohti korkealaatuisia avoimia painoarvoja on vahva merkki siitä, että jälkimmäinen on todennäköisempää. Se on vakuuttava visio maailmasta, jossa älykkyys on hyödyke eikä ylellisyyttä.

Siirtyessämme eteenpäin, painopiste siirtyy todennäköisesti raa’asta mallisuorituskyvystä näitä malleja ympäröivään ekosysteemiin. Voittaja ei ole yritys, jolla on korkein benchmark-pistemäärä, vaan se, joka tekee muiden rakentamisesta helpointa. Etäisyys tutkimuspaperin ja hyödyllisen tuotteen välillä on yhä suuri, mutta avoin yhteisö rakentaa siltoja, joita tarvitaan sen ylittämiseen. Tämä on nopean muutoksen aikaa, ja kehittäjien ja yritysten tänään tekemät valinnat määrittelevät teknologia-ympäristön seuraavalle vuosikymmenelle. Suljetun laatikon aikakausi on päättymässä, ja avoimen painoarvon aikakausi on vasta alkamassa.

Toimittajan huomautus: Loimme tämän sivuston monikieliseksi tekoälyuutisten ja -oppaiden keskukseksi ihmisille, jotka eivät ole tietokonenörttejä, mutta haluavat silti ymmärtää tekoälyä, käyttää sitä luottavaisemmin ja seurata jo saapuvaa tulevaisuutta.