Varför öppna AI-modeller spelar roll (även om du inte ser dem)

Den osynliga skyddsvallen för modern computing

Öppna modeller är den tysta infrastrukturen i vår moderna värld. Även om du aldrig laddar ner en fil från Hugging Face eller kör en egen lokal server, så styr dessa modeller priset du betalar för proprietära tjänster och tempot för hur snabbt nya funktioner dyker upp. De fungerar som ett konkurrenskraftigt golv. Utan dem skulle ett fåtal företag ha totalt monopol på århundradets viktigaste teknik. Öppna modeller ger en basnivå av kapacitet som tvingar de stora spelarna att fortsätta innovera och hålla sina priser någorlunda rimliga. Det här är inte bara en hobby för entusiaster eller en nisch för forskare. Det är ett fundamentalt skifte i hur makt fördelas i tech-branschen. När en modell som Llama släpps sätter den en ny standard för vad som är möjligt på vanlig hårdvara. Denna press ser till att de stängda modellerna du använder varje dag förblir vassa och prisvärda. Att förstå nyanserna i denna öppenhet är första steget till att se vart branschen är på väg.

Vi avkodar marknadsföringssnacket om öppenhet

Det råder stor förvirring kring vad ”öppen” faktiskt betyder i det här sammanhanget. Riktig open source-mjukvara låter vem som helst se koden, ändra den och distribuera den. I världen av stora språkmodeller blir den här definitionen lite rörig. De flesta modeller som folk kallar open source är faktiskt open weight-modeller. Det betyder att företaget har släppt de slutgiltiga tränade parametrarna för modellen, men de har inte släppt de enorma dataseten som användes för att träna den eller de specifika skripten för att rensa data. Utan datan kan du inte replikera modellen från grunden. Du har bara den färdiga produkten. Sen har vi de tillåtande licenserna. Vissa företag använder anpassade licenser som ser öppna ut men har begränsningar för kommersiell användning eller specifika klausuler som hindrar konkurrenter från att använda modellen. Till exempel kan en modell vara gratis för privatpersoner men kräva en betald licens om ditt företag har mer än 700 miljoner aktiva användare per månad. Det är långt ifrån de traditionella GPL- eller MIT-licenserna som byggde internet. Vi ser också marknadsföringsspråk som använder ordet ”öppen” för att beskriva ett API som är publikt tillgängligt men helt kontrollerat av ett enda företag. Det är inte öppet alls. Det är bara en produkt med en offentlig entré. Genuint öppna modeller låter dig ladda ner filerna och köra dem på din egen hårdvara utan internetuppkoppling. Den här skillnaden är livsviktig eftersom den avgör vem som har den slutgiltiga ”kill switchen”. Om du förlitar dig på ett API kan leverantören ändra reglerna eller stänga ner dig när som helst. Om du har vikterna på din hårddisk äger du kapaciteten.

Varför nationer satsar på publika vikter

Den globala effekten av dessa modeller är svår att överskatta. För många länder är det en betydande risk för den nationella digitala suveräniteten att förlita sig på ett fåtal USA-baserade företag för hela sin AI-infrastruktur. Regeringar i Europa och Asien tittar alltmer på öppna modeller för att bygga sina egna lokaliserade versioner av AI. Detta gör att de kan säkerställa att modellerna speglar deras kulturella värderingar och språkliga nyanser snarare än bara de från Silicon Valley. Det håller också data inom landets gränser, vilket är en stor fråga för integritet och säkerhet. Små och medelstora företag drar också nytta av detta. De kan bygga specialiserade verktyg utan rädsla för att deras kärnteknologi ska ryckas undan fötterna på dem. Öppna modeller sänker också tröskeln för utvecklare på tillväxtmarknader. Någon i Lagos eller Jakarta kan få tillgång till samma state-of-the-art-teknik som någon i San Francisco, förutsatt att de har hårdvaran för att köra den. Detta jämnar ut spelplanen på ett sätt som proprietära API:er aldrig kan. Förekomsten av dessa modeller skapar också ett massivt ekosystem av sekundära verktyg. Utvecklare skapar sätt att få modellerna att köra snabbare eller använda mindre minne. Denna kollektiva innovation rör sig mycket snabbare än vad något enskilt företag kan göra. Det skapar en feedback-loop där öppna förbättringar till slut hittar tillbaka till de proprietära modeller vi alla använder i .

En dag utan molnet

Låt oss titta på hur det här ser ut en vanlig dag för en mjukvaruutvecklare som heter Sarah. Sarah jobbar på en medicinsk startup som hanterar känslig patientdata. Hennes företag kan inte använda molnbaserad AI eftersom risken för dataläckor är för hög och de regulatoriska hindren för stora. Istället använder Sarah en open weight-modell som körs på en säker lokal server. På morgonen använder hon modellen för att hjälpa henne refaktorera en komplex kodbit. Eftersom modellen är lokal behöver hon inte oroa sig för att hennes proprietära kod används för att träna en framtida version av en kommersiell AI. Senare använder hon en finjusterad version av modellen för att sammanfatta patientanteckningar. Denna specifika modell har tränats på medicinsk terminologi, vilket gör den mer exakt för hennes behov än en generell modell. Under lunchrasten läser Sarah ett blogginlägg om AI-branschanalys om de senaste trenderna inom lokal inferens. Hon inser att hon kan optimera sitt arbetsflöde ytterligare. På eftermiddagen experimenterar hon med en ny kvantiseringsteknik som gör att hon kan köra en större modell på sin befintliga hårdvara. Det är det fina med det öppna ekosystemet. Hon väntar inte på att ett big tech-bolag ska släppa en ny funktion. Hon kan implementera den själv med verktyg skapade av communityn. Vid dagens slut har hon förbättrat precisionen i sitt sammanfattningsverktyg med femton procent. Det här scenariot blir allt vanligare i många branscher. Från advokatbyråer till kreativa byråer upptäcker folk att kontrollen och integriteten som öppna modeller erbjuder är värda den extra ansträngningen att sätta upp dem. De bygger verktyg som är skräddarsydda för deras specifika behov istället för att försöka pressa in sina problem i en generisk AI-assistents mall. Detta skifte syns också inom utbildningssektorn. Universitet använder öppna modeller för att lära studenter hur AI fungerar under huven. De kan inspektera vikterna och experimentera med olika träningstekniker. Detta skapar en mer informerad och kompetent arbetskraft för framtiden. Möjligheten att köra dessa system offline innebär också att forskare i avlägsna områden kan fortsätta sitt arbete utan en stabil internetuppkoppling.

Det höga priset för gratis mjukvara

Även om fördelarna är tydliga måste vi ställa svåra frågor om den sanna kostnaden för denna öppenhet. Vem betalar egentligen för den massiva beräkningskraft som krävs för att träna dessa modeller? Om ett företag som Meta spenderar hundratals miljoner dollar på att träna en modell och sedan ger bort vikterna, vad är deras långsiktiga plan? Är detta ett sätt att slå ut mindre konkurrenter som inte har råd att ge bort sina produkter gratis? Vi måste också överväga säkerhetsriskerna. Om en modell är helt öppen betyder det att säkerhetsspärrarna kan tas bort. Detta kan låta illasinnade aktörer använda tekniken för skadliga syften, som att skapa deepfakes eller generera skadlig kod. Hur balanserar vi behovet av öppen innovation med behovet av allmän säkerhet?

En annan oro är den dolda kostnaden för hårdvara. Att köra dessa modeller lokalt kräver kraftfulla GPU:er som är dyra och drar mycket el. Är friheten med öppna modeller bara tillgänglig för dem som har råd med hårdvaran? Och vad händer med datan? Om vi inte vet vilken data som användes för att träna dessa modeller, hur kan vi vara säkra på att de inte är partiska eller bryter mot upphovsrätten? Open Source Initiative har arbetat med att definiera dessa standarder, men branschen rör sig snabbare än politiken. Vi måste också fråga oss om termen ”öppen” används som en sköld för att undvika reglering. Genom att hävda att deras modeller är öppna kan företag försöka flytta ansvaret för hur dessa modeller används till slutanvändarna. Det här är inga lätta frågor att besvara, men de är nödvändiga för alla som försöker förstå branschens framtid.

Under huven på lokal inferens

För de som vill integrera dessa modeller i sina professionella arbetsflöden spelar de tekniska detaljerna roll. Det vanligaste sättet att köra dessa modeller lokalt är genom specialiserade ramverk. Dessa verktyg använder kvantisering för att minska storleken på modellerna, vilket gör att de får plats i VRAM på konsument-GPU:er. Till exempel kan en modell som ursprungligen kräver 40 GB minne komprimeras till 8 GB med minimal kvalitetsförlust. Detta görs genom att ändra precisionen på vikterna från 16-bitars till 4-bitars eller ännu lägre. När det gäller API:er finns många öppna modeller tillgängliga via leverantörer som Hugging Face eller Together AI. Dessa tjänster erbjuder mycket högre rate limits än proprietära leverantörer, vilket gör dem idealiska för applikationer med hög volym. Den verkliga kraften kommer dock från lokal lagring och finjustering. Genom att använda tekniker som LoRA kan du träna en modell på din egen data på några timmar på en enda GPU. Detta skapar ett högspecialiserat verktyg som presterar bättre än mycket större modeller på specifika uppgifter. Du måste också tänka på kontextfönstret. Många öppna modeller stöder nu kontextfönster på 32k eller till och med 128k tokens, vilket gör att du kan bearbeta hela dokument på en gång. Integrationen av dessa modeller i befintlig mjukvara blir allt enklare tack vare standardiserade API:er. Det betyder att du ofta kan byta från en stängd modell till en öppen genom att ändra en enda rad kod i din applikation. I förväntar vi oss att dessa verktyg blir ännu mer tillgängliga för den genomsnittliga utvecklaren.

• Llama.cpp för CPU- och GPU-inferens på flera plattformar
• Ollama för förenklad hantering av lokala modeller

Det slutgiltiga utslaget om valmöjligheter

Valet mellan öppna och stängda modeller är inte binärt. De flesta kommer att fortsätta använda en blandning av båda. Stängda modeller från företag som Meta AI eller andra erbjuder bekvämlighet, finess och state-of-the-art-prestanda för generella uppgifter. Öppna modeller erbjuder kontroll, integritet och möjligheten att specialisera sig. Även om du aldrig laddar ner en modell själv, så är det faktum att andra kan det som håller hela branschen ärlig. Det säkerställer att AI förblir ett verktyg för alla snarare än en bevakad hemlighet för ett fåtal. Konkurrensen som drivs av det öppna communityt är den kraftfullaste kraften för det goda i tech-världen idag. Den tvingar fram transparens och demokratiserar tillgången till de mest kraftfulla verktygen som någonsin skapats.

Har du en AI-historia, ett verktyg, en trend eller en fråga som du tycker att vi borde täcka? Skicka oss din artikelidé — vi skulle älska att höra den.

Redaktörens anmärkning: Vi skapade den här webbplatsen som ett flerspråkigt nav för AI-nyheter och guider för människor som inte är datornördar, men som ändå vill förstå artificiell intelligens, använda den med större självförtroende och följa den framtid som redan är här.

Hittat ett fel eller något som behöver korrigeras? Meddela oss.