Kunnen open modellen echt de grootste labs uitdagen?

De grote decentralisatie van intelligentie

De kloof tussen gesloten propriëtaire systemen en publieke modellen wordt sneller kleiner dan de meeste analisten hadden voorspeld. Nog maar een jaar geleden was de consensus dat enorme labs met miljarden aan financiering een permanente voorsprong in capaciteit zouden behouden. Vandaag de dag wordt die voorsprong in maanden in plaats van jaren gemeten. Open weights-modellen presteren nu op niveaus die wedijveren met de meest geavanceerde gesloten systemen op het gebied van coderen, redeneren en creatief schrijven. Deze verschuiving is niet zomaar een technisch curiosum. Het vertegenwoordigt een fundamentele verandering in wie de toekomst van rekenkracht controleert. Wanneer een developer een high-performance model op eigen hardware kan draaien, verschuift de machtsdynamiek weg van gecentraliseerde aanbieders. Deze trend suggereert dat het tijdperk van het black box-model zijn eerste echte uitdaging krijgt van een gedistribueerde wereldwijde community.

De opkomst van deze toegankelijke systemen heeft gedwongen tot een herwaardering van wat het betekent om een leider in dit vakgebied te zijn. Het is niet langer voldoende om het grootste cluster chips te hebben als het resulterende model achter een dure en restrictieve interface zit opgesloten. Developers stemmen met hun tijd en compute. Ze kiezen modellen die ze kunnen inspecteren, aanpassen en inzetten zonder om toestemming te vragen. Deze beweging wint aan momentum omdat het inspeelt op de kernbehoeften van privacy en maatwerk die gesloten modellen vaak negeren. Het resultaat is een competitievere omgeving waar de focus is verschoven van louter schaal naar efficiëntie en toegankelijkheid. Dit is het begin van een nieuw tijdperk waarin de meest capabele tools ook het meest beschikbaar zijn.

Drie stammen van ontwikkeling

Om te begrijpen waar deze technologie naartoe gaat, moet je kijken naar de drie verschillende soorten organisaties die eraan bouwen. Ten eerste zijn er de frontier labs. Dit zijn de giganten zoals OpenAI en Google. Hun doel is om het hoogst mogelijke niveau van algemene intelligentie te bereiken. Ze geven prioriteit aan schaal en pure kracht boven alles. Voor hen wordt openheid vaak gezien als een risico voor de veiligheid of een verlies van concurrentievoordeel. Ze bouwen enorme, gesloten ecosystemen die hoge prestaties bieden, maar die totale afhankelijkheid van hun cloud-infrastructuur vereisen. Hun modellen zijn de gouden standaard voor prestaties, maar ze komen met voorwaarden in de vorm van gebruiksbeleid en terugkerende kosten.

Ten tweede hebben we de academische labs. Instellingen zoals het Stanford Institute for Human-Centered AI richten zich op transparantie en reproduceerbaarheid. Hun doel is niet om een product te verkopen, maar om te begrijpen hoe deze systemen werken. Ze publiceren hun bevindingen, hun datasets en hun trainingsmethodologieën. Hoewel hun modellen misschien niet altijd de pure kracht van frontier labs evenaren, bieden ze de basis voor de rest van de industrie. Ze stellen de vragen die commerciële labs misschien vermijden, zoals hoe bias ontstaat of hoe training energiezuiniger kan worden gemaakt. Hun werk zorgt ervoor dat de wetenschap van het vakgebied een publiek goed blijft in plaats van een bedrijfsgeheim.

Tot slot zijn er de product labs en corporate open weight-voorstanders. Meta en Mistral vallen in deze categorie. Zij brengen modellen uit aan het publiek om een ecosysteem op te bouwen. Door hun weights beschikbaar te maken, moedigen ze duizenden developers aan om hun code te optimaliseren en compatibele tools te bouwen. Dit is een strategische zet om de dominantie van gesloten platforms tegen te gaan. Als iedereen op jouw architectuur bouwt, word jij de industriestandaard. Deze aanpak overbrugt de kloof tussen puur onderzoek en commerciële producten. Het maakt een niveau van inzetbaarheid mogelijk dat academische labs niet kunnen bereiken, terwijl een niveau van vrijheid behouden blijft dat frontier labs niet toestaan.

De illusie van openheid in moderne software

De term open source wordt in deze industrie vaak losjes gebruikt, wat tot aanzienlijke verwarring leidt. Echte open source software, zoals gedefinieerd door het Open Source Initiative, vereist dat de broncode, de bouwinstructies en de data vrij beschikbaar zijn. De meeste moderne modellen voldoen niet aan deze criteria. In plaats daarvan zien we een opkomst van open weights-modellen. In deze opzet levert het bedrijf het eindresultaat van het trainingsproces, maar houdt het de trainingsdata en het recept geheim. Dit is een cruciaal onderscheid. Je kunt het model draaien en zien hoe het zich gedraagt, maar je kunt het niet eenvoudig vanaf nul recreëren of precies weten welke informatie het tijdens zijn creatie heeft gekregen.

Marketingtaal compliceert dit vaak verder door termen als permissieve of community-licenties te gebruiken. Deze licenties bevatten vaak clausules die beperken hoe het model kan worden gebruikt door zeer grote bedrijven of voor specifieke taken. Hoewel deze modellen veel toegankelijker zijn dan een gesloten API, zijn ze niet altijd gratis in de traditionele zin. Dit creëert een spectrum van openheid. Aan de ene kant heb je volledig gesloten modellen zoals GPT-4. In het midden heb je open weights-modellen zoals Llama 3. Aan de uiterste kant heb je projecten die alles vrijgeven, inclusief de data. Begrijpen waar een model op dit spectrum staat is essentieel voor elke onderneming of developer die op de lange termijn plant.

De voordelen van deze semi-open aanpak zijn nog steeds enorm. Het maakt lokale hosting mogelijk, wat een vereiste is voor veel industrieën met strikte regels voor data-soevereiniteit. Het maakt ook fine-tuning mogelijk, waarbij een model wordt getraind op een kleine hoeveelheid specifieke data om er een expert in een bepaald vakgebied van te maken. Dit niveau van controle is onmogelijk met een gesloten API. We moeten echter precies zijn over wat echt open is. Als een bedrijf je licentie kan intrekken of als de trainingsdata een mysterie is, werk je nog steeds binnen een systeem dat door iemand anders is ontworpen. De huidige trend gaat richting meer transparantie, maar we zijn nog niet op een punt waarop de krachtigste modellen echt open source zijn.

Lokale controle in een tijdperk van cloud-giganten

Voor een developer die in een high-security omgeving werkt, is de verschuiving naar open weights een praktische noodzaak. Stel je een lead engineer voor bij een middelgroot financieel bedrijf. In het verleden moesten ze gevoelige klantgegevens naar een server van derden sturen om de voordelen van een large language model te krijgen. Dit creëerde een enorm privacyrisico en een afhankelijkheid van de uptime van een externe aanbieder. Vandaag de dag kan die engineer een high-performance model downloaden en op een interne server draaien. Ze hebben totale controle over de datastroom. Ze kunnen het model aanpassen om het specifieke jargon en de compliance-regels van het bedrijf te begrijpen. Dit is niet zomaar een gemak. Het is een fundamentele verandering in hoe het bedrijf zijn meest waardevolle bezit beheert: zijn data.

Een dag uit het leven van deze engineer is aanzienlijk veranderd. In plaats van API-keys te beheren en zich zorgen te maken over rate limits, besteden ze hun tijd aan het optimaliseren van lokale inference. Ze gebruiken misschien een tool zoals Hugging Face om een versie van een model te vinden die is gecomprimeerd om op hun beschikbare hardware te passen. Ze kunnen om 3 uur ’s nachts tests draaien zonder zich zorgen te maken over de kosten van elke gegenereerde token. Als het model een fout maakt, kunnen ze naar de weights kijken en proberen te begrijpen waarom, of ze kunnen fine-tuning gebruiken om het te corrigeren. Dit niveau van autonomie was voor de meeste bedrijven twee jaar geleden ondenkbaar. Het zorgt voor een snellere iteratiecyclus en een robuuster eindproduct.

Deze vrijheid strekt zich ook uit tot de individuele gebruiker. Een schrijver of onderzoeker kan op zijn laptop een model draaien dat geen filter heeft dat door een commissie in Silicon Valley is ontworpen. Ze kunnen ideeën verkennen en content genereren zonder dat een tussenpersoon beslist wat gepast is. Dit is het verschil tussen het huren van een tool en het bezitten ervan. Terwijl de cloud-giganten een gepolijste, gebruiksvriendelijke ervaring bieden, biedt het open ecosysteem iets waardevollers: agency. Naarmate hardware krachtiger wordt en modellen efficiënter, zal het aantal mensen dat deze systemen lokaal draait alleen maar groeien. Deze gedecentraliseerde aanpak zorgt ervoor dat de voordelen van deze technologie niet beperkt blijven tot degenen die dure maandelijkse abonnementen kunnen betalen.

Ondernemingen ontdekken ook dat open modellen een hedge zijn tegen platformrisico. Als een gesloten aanbieder zijn prijzen of servicevoorwaarden wijzigt, komt een bedrijf dat op die API is gebouwd in de problemen. Door open weights te gebruiken, kan een bedrijf van hardware-aanbieder wisselen of zijn hele stack naar een andere cloud verplaatsen zonder zijn kernintelligentie te verliezen. Deze flexibiliteit drijft veel van de adoptie die we vandaag zien. Het gaat niet langer om welk model iets beter scoort op een benchmark. Het gaat erom welk model het bedrijf de meeste stabiliteit op de lange termijn geeft. De recente verbeteringen in het open source AI-ecosysteem hebben dit een levensvatbare strategie gemaakt voor bedrijven van alle groottes.

De hoge prijs van gratis modellen

Ondanks het enthousiasme moeten we moeilijke vragen stellen over de verborgen kosten van openheid. Een groot model lokaal draaien is niet gratis. Het vereist aanzienlijke investeringen in hardware, specifiek high-end GPU’s met veel geheugen. Voor veel kleine bedrijven kunnen de kosten voor het kopen en onderhouden van deze hardware de kosten van een API-abonnement voor meerdere jaren overstijgen. Er zijn ook de kosten van elektriciteit en de behoefte aan gespecialiseerd talent om de inzet te beheren. Ruilen we simpelweg een software-abonnement in voor een hardware- en energierekening? De economische realiteit van lokale AI is complexer dan de koppen suggereren.

Privacy is een ander gebied waar scepsis vereist is. Hoewel een model lokaal draaien beter is voor databeveiliging, worden de modellen zelf vaak getraind op data die zonder toestemming van het internet is geschraapt. Maakt het gebruik van een open model je medeplichtig aan deze praktijk? Bovendien, als een model open is, is het ook open voor kwaadwillenden. Dezelfde tools die een arts in staat stellen medische notities samen te vatten, kunnen door een hacker worden gebruikt om phishing-aanvallen te automatiseren. Hoe balanceren we de voordelen van democratisering met de risico’s van misbruik? Labs die hun weights vrijgeven, beweren vaak dat de community de nodige veiligheidscontroles zal bieden, maar dit is een lastige claim om te verifiëren. We moeten overwegen of het gebrek aan gecentraliseerd toezicht een feature of een bug is.

Tot slot moeten we kijken naar de duurzaamheid van het open model. Het trainen van deze systemen kost miljoenen dollars. Als bedrijven als Meta of Mistral besluiten dat het niet langer in hun belang is om hun weights vrij te geven, zou de vooruitgang van de open community kunnen stagneren. We profiteren momenteel van een bedrijfsstrategie die openheid verkiest om marktaandeel te winnen. Als die strategie verandert, zou de community zichzelf weer jaren achter de frontier labs kunnen vinden. Is het mogelijk om een echt onafhankelijk, high-performance model te bouwen zonder de steun van een miljardenbedrijf? De huidige afhankelijkheid van corporate vrijgevigheid is een potentieel single point of failure voor de hele beweging.

Onder de motorkap van lokale inference

Voor de power user vindt het echte werk plaats in de integratie van deze modellen in bestaande workflows. Een van de grootste uitdagingen is de hardware-eis. Om een model met 70 miljard parameters te draaien, heb je doorgaans minstens twee high-end consumenten-GPU’s of een professionele kaart met 48GB VRAM nodig. Dit heeft geleid tot de opkomst van kwantisatietechnieken. Door de precisie van de model-weights te verminderen van 16-bit naar 4-bit of zelfs 2-bit, kunnen developers veel grotere modellen op goedkopere hardware laten passen. Dit proces brengt een klein verlies in nauwkeurigheid met zich mee, maar voor de meeste taken is het verschil verwaarloosbaar. Tools zoals Llama.cpp hebben het mogelijk gemaakt om deze modellen op standaard CPU’s en Mac-hardware te draaien, wat de drempel voor toetreding aanzienlijk verlaagt.

Een andere kritieke factor is de API-limiet. Bij gebruik van een gesloten aanbieder word je vaak beperkt door het aantal verzoeken dat je per minuut kunt doen. Bij een lokaal model is je enige limiet de snelheid van je hardware. Dit maakt complexe workflows mogelijk waarbij het model honderden keren in één proces wordt aangeroepen. Een developer kan bijvoorbeeld een model gebruiken om duizenden regels code te analyseren of om een volledige synthetische dataset voor tests te genereren. Deze taken zouden onbetaalbaar en traag zijn op een cloud-API. Lokale opslag maakt ook het gebruik van enorme context-vensters mogelijk. Je kunt een hele bibliotheek aan documenten in een model voeren zonder je zorgen te maken over de kosten van de input-tokens.

Workflow-integratie wordt ook steeds geavanceerder. Developers gebruiken frameworks waarmee ze modellen met één regel code kunnen wisselen. Dit betekent dat een systeem een klein, snel model kan gebruiken voor eenvoudige taken en een groot, traag model voor complex redeneren. Deze hybride aanpak optimaliseert zowel kosten als prestaties. Er zijn echter nog steeds hindernissen. Lokale modellen missen vaak de gepolijste veiligheidsfilters en de uitgebreide documentatie van hun gesloten tegenhangers. Het opzetten van een robuuste lokale omgeving vereist een diepgaand begrip van Linux, Python en GPU-drivers. Voor degenen die het kunnen beheren, is de beloning een niveau van prestaties en privacy dat geen enkele cloud-aanbieder kan evenaren.

De nieuwe standaard voor publieke tech

De concurrentie tussen open en gesloten modellen is het belangrijkste verhaal in de technologie van vandaag. Het is een strijd over de fundamentele architectuur van het internet. Als gesloten modellen winnen, zal de toekomst van AI lijken op de huidige mobiele app stores, waarbij twee of drie giganten controleren wat mogelijk is. Als open modellen hun huidige traject voortzetten, zal de toekomst meer lijken op het web zelf: een gedecentraliseerd netwerk waar iedereen kan bouwen en innoveren. De recente verschuiving naar hoogwaardige open weights is een sterk teken dat het laatste waarschijnlijker wordt. Het is een overtuigende visie van een wereld waarin intelligentie een nutsvoorziening is in plaats van een luxe.

Naarmate we verder gaan, zal de focus waarschijnlijk verschuiven van pure modelprestaties naar het ecosysteem rondom deze modellen. De winnaar zal niet het bedrijf met de hoogste benchmark-score zijn, maar degene die het voor anderen het makkelijkst maakt om te bouwen. De afstand tussen een onderzoeksartikel en een nuttig product is nog steeds groot, maar de open community bouwt de bruggen die nodig zijn om deze te overbruggen. Dit is een tijd van snelle verandering, en de keuzes die developers en ondernemingen vandaag maken, zullen de tech-omgeving voor het komende decennium bepalen. Het tijdperk van de gesloten doos loopt ten einde en het tijdperk van de open weight is net begonnen.

Noot van de redactie: We hebben deze site gemaakt als een meertalige AI-nieuws- en gidsenhub voor mensen die geen computernerds zijn, maar toch kunstmatige intelligentie willen begrijpen, er met meer vertrouwen mee willen omgaan en de toekomst willen volgen die al aanbreekt.