De nieuwe AI-krachtcentrales: Modellen, Chips, Cloud en Data

Het einde van het virtuele tijdperk

Het tijdperk waarin kunstmatige intelligentie puur een softwarefenomeen was, is voorbij. Jarenlang focuste de techwereld zich op de elegantie van algoritmen en de nieuwigheid van chat-interfaces. Die focus is verschoven naar de brute realiteit van fysieke middelen. We zien nu een enorme verschuiving van invloed van degenen die code schrijven naar degenen die elektriciteit, water en land controleren. Het vermogen om een slimmer model te bouwen hangt niet langer alleen af van het talent van onderzoekers. Het hangt af van het vermogen om duizenden hectaren land en een directe verbinding met een hoogspanningsnet veilig te stellen. Dit is een terugkeer naar het industriële tijdperk, waar de grootste spelers degenen zijn met de zwaarste infrastructuur. De flessenhals is niet langer menselijke creativiteit. Het is de capaciteit van een transformator bij een onderstation of de doorstroomsnelheid van een koelsysteem. Als je de stroom niet kunt krijgen, kun je de compute niet draaien. Als je de compute niet kunt draaien, bestaat je software niet. Deze fysieke realiteit herschikt de wereldwijde hiërarchie van technologiebedrijven en landen. De winnaars zijn degenen die fysieke materie op grote schaal kunnen omzetten in digitale intelligentie.

De fysieke stack van intelligentie

De infrastructuur die nodig is voor moderne AI is veel complexer dan een simpele verzameling servers. Het begint bij het elektriciteitsnet. Datacenters hebben tegenwoordig honderden megawatts aan stroom nodig om te kunnen werken. Deze vraag dwingt techbedrijven om direct te onderhandelen met nutsbedrijven en zelfs te investeren in hun eigen energieproductie. Fysieke grond met de juiste bestemming en nabijheid van glasvezelverbindingen is waardevoller geworden dan de software zelf. Water is de volgende kritieke hulpbron. Deze enorme clusters van chips genereren enorme hitte. Traditionele luchtkoeling is vaak onvoldoende voor de nieuwste hardware. Bedrijven stappen over op vloeistofkoelsystemen die dagelijks miljoenen liters water nodig hebben om te voorkomen dat de processors smelten. Buiten de faciliteit is de supply chain voor de hardware ongelooflijk geconcentreerd. Het gaat niet alleen om het ontwerp van de chips. Het gaat om geavanceerde verpakkingstechnieken zoals CoWoS, waarmee meerdere chips met elkaar kunnen worden verbonden. Het gaat om High Bandwidth Memory dat de datasnelheden levert die nodig zijn voor training. De productie van deze componenten vindt wereldwijd plaats in een handvol faciliteiten. Deze concentratie creëert een fragiel systeem waarbij een enkele verstoring de vooruitgang voor de hele industrie kan stoppen. De beperkingen zijn niet abstract. Het zijn tastbare limieten aan hoeveel intelligentie we kunnen produceren in .

• Capaciteit van de netaansluiting en de tijd die nodig is voor upgrades van nutsbedrijven.
• Vergunningsprocessen voor grootschalige industriële koeling en waterverbruik.
• Lokale weerstand van gemeenschappen die zich zorgen maken over geluidsoverlast en energieprijzen.
• Beschikbaarheid van gespecialiseerde elektrische componenten zoals hoogspanningstransformatoren.
• Exportcontroles op geavanceerde lithografie- en verpakkingsapparatuur.

Geopolitiek van het elektriciteitsnet

De verdeling van AI-kracht wordt een kwestie van nationale veiligheid. Overheden realiseren zich dat het vermogen om informatie te verwerken net zo essentieel is als het vermogen om olie of staal te produceren. Dit heeft geleid tot een toename van exportcontroles die bedoeld zijn om te voorkomen dat rivalen de meest geavanceerde chips en de machines die nodig zijn om ze te maken, in handen krijgen. De focus verschuift echter van de chips naar de stroom. Landen met stabiele, goedkope en overvloedige energie worden de nieuwe hubs voor compute. Daarom zien we enorme investeringen in regio’s met onderbenutte netten of groot potentieel voor hernieuwbare energie. De concentratie van productie in Oost-Azië blijft een belangrijk spanningspunt. Eén bedrijf als TSMC verwerkt het overgrote deel van de geavanceerde chipproductie. Als die productie wordt onderbroken, zou het wereldwijde aanbod van AI-capaciteit van de ene op de andere dag verdwijnen. Dit heeft geleid tot een verwoede poging van de VS en Europa om binnenlandse productie te subsidiëren. Maar een fabriek bouwen is het makkelijke deel. Het veiligstellen van het gespecialiseerde personeel en de enorme hoeveelheden elektriciteit die nodig zijn om deze fabrieken te laten draaien, is een uitdaging van tientallen jaren. Het wereldwijde machtsevenwicht is nu gekoppeld aan de stabiliteit van het elektriciteitsnet en de veiligheid van de maritieme routes die geheugenmodules en netwerkhardware vervoeren. Dit is een spel met hoge inzet waarbij de toegangsprijs in tientallen miljarden dollars wordt gemeten. Je kunt meer gedetailleerde data over wereldwijde elektriciteitstrends vinden in recente rapporten van het Internationaal Energieagentschap.

Wanneer servers de buurt ontmoeten

De impact van deze infrastructuur-boom is het meest voelbaar op lokaal niveau. Denk aan een ambtenaar in een middelgrote stad. Een groot techbedrijf komt met een voorstel voor een datacenter. Op papier ziet het eruit als een overwinning voor de belastingbasis. In werkelijkheid is het een complexe onderhandeling over de toekomst van de stad. De ambtenaar moet uitzoeken of het lokale net een plotselinge belasting van 200 megawatt aankan zonder stroomuitval voor bewoners te veroorzaken. Ze moeten de voordelen van belastinginkomsten afwegen tegen het geluid van duizenden koelventilatoren die 24 uur per dag draaien. Voor een bewoner die in de buurt van een van deze locaties woont, verandert de dagelijkse ervaring. De stille buitenwijken van een stad worden een industriezone. De lokale grondwaterspiegel kan dalen omdat de faciliteit miljoenen liters water uit de grond trekt voor de koeltorens. Dit is waar het abstracte idee van AI de realiteit van lokale weerstand ontmoet. Op plaatsen zoals Noord-Virginia of delen van Ierland komen gemeenschappen in opstand. Ze vragen zich af waarom hun elektriciteitsprijzen stijgen om de operaties van een wereldwijde techgigant te subsidiëren. Ze stellen de milieu-impact van deze enorme betonblokken ter discussie. Voor een startup die een nieuwe applicatie probeert te bouwen, is de uitdaging anders. Zij hebben niet het kapitaal om hun eigen energiecentrales te bouwen. Ze zijn overgeleverd aan de grote cloudproviders die de toegang tot compute controleren. Als de cloudprovider geen capaciteit meer heeft of de prijzen verhoogt vanwege energiekosten, is de startup failliet. Dit creëert een gelaagd systeem waarbij alleen de rijkste bedrijven het zich kunnen veroorloven om te innoveren. De zichtbaarheid van een product in de markt is niet hetzelfde als duurzame leverage. Echte leverage komt voort uit het bezitten van de fysieke activa waar de software op vertrouwt. Deze verschuiving naar kernenergie door techbedrijven is een duidelijk teken van hoe wanhopig ze zijn voor stabiele energie.

De verborgen kosten van schaal

We moeten moeilijke vragen stellen over de duurzaamheid van deze groei op de lange termijn. Wie betaalt er eigenlijk voor de verborgen kosten van AI-infrastructuur? Wanneer een datacenter tijdens een droogte een aanzienlijk deel van de watervoorraad van een stad verbruikt, zijn de kosten niet alleen financieel. Het zijn sociale kosten die door de gemeenschap worden gedragen. Zijn de belastingvoordelen die aan deze bedrijven worden gegeven de druk op publieke middelen waard? We moeten ook kijken naar de concentratie van macht in de handen van een paar bedrijven die de gebruikersrelatie en de compute controleren. Als drie of vier bedrijven het merendeel van de AI-capaciteit ter wereld bezitten, wat betekent dat dan voor de concurrentie? Is het mogelijk voor een nieuwe speler om op te komen als de kapitaalvereisten zo hoog zijn? We bouwen een systeem dat ongelooflijk efficiënt is, maar ook ongelooflijk fragiel. Een enkel defect in een gespecialiseerde transformatorfabriek of een droogte in een belangrijke koelhub zou een cascade van storingen in het hele ecosysteem kunnen veroorzaken. Wat gebeurt er met de makers en bedrijven die hun volledige workflows op deze modellen hebben gebouwd als de fysieke infrastructuur faalt? We moeten ook kijken naar de milieu-impact. Hoewel bedrijven beweren koolstofneutraal te zijn, dwingt het enorme volume aan benodigde energie velen om oudere, vervuilendere energiecentrales langer open te houden dan gepland. Is het voordeel van een iets betere chatbot de vertraging in onze overgang naar schone energie waard? Dit zijn niet alleen technische vragen. Het zijn ethische en politieke vragen die het volgende decennium van technologische ontwikkeling zullen bepalen. Onze huidige AI-infrastructuuranalyse laat zien dat de kloof tussen de ‘haves’ en ‘have-nots’ groter wordt op basis van fysieke toegang.

Heeft u een AI-verhaal, tool, trend of vraag die wij volgens u zouden moeten behandelen? Stuur ons uw artikelidee — we horen het graag.

Onder de motorkap van high performance

Voor degenen die de technische beperkingen van dit nieuwe tijdperk moeten begrijpen, moet de focus verder gaan dan de modelparameters. De echte flessenhalzen zitten nu in netwerken en geheugen. Het trainen van een grootschalig model vereist duizenden GPU’s die in perfecte synchronisatie werken. Dit is alleen mogelijk via high-speed netwerktechnologieën zoals InfiniBand of gespecialiseerde Ethernet-configuraties. De latentie tussen deze chips kan het verschil zijn tussen een model dat in weken traint en een model dat er maanden over doet. Dan is er nog de kwestie van geheugen. High Bandwidth Memory (HBM) is schaars omdat het productieproces aanzienlijk moeilijker is dan standaard DRAM. Dit beperkt het aantal high-end chips dat geproduceerd kan worden, zelfs als de logic wafers beschikbaar zijn. Aan de softwarekant stuiten ontwikkelaars op de limieten van wat API’s kunnen bieden. Rate limits gaan niet langer alleen over het voorkomen van misbruik. Ze zijn een weerspiegeling van de fysieke capaciteit van de onderliggende hardware. Voor power users is de beweging naar lokale opslag en lokale uitvoering een reactie op deze beperkingen. Als je een kleiner, geoptimaliseerd model op je eigen hardware kunt draaien, omzeil je de wachtrij bij het datacenter. Lokale hardware heeft echter zijn eigen limieten op het gebied van thermisch beheer en stroomverbruik. De integratie van deze modellen in bestaande workflows wordt ook belemmerd door het gebrek aan gestandaardiseerde interfaces. Elke provider heeft zijn eigen proprietary stack, waardoor het moeilijk is om over te stappen als één provider te maken krijgt met een fysieke storing. De concentratie van productie is ook zichtbaar in de markt voor geavanceerde verpakkingen. TSMC’s vooruitgang in chipverpakking is de enige reden waarom we de prestaties kunnen blijven opschalen terwijl we de limieten van traditioneel silicium bereiken. Dit is de geek-realiteit van de industrie.

• InfiniBand en NVLink throughput-limieten voor multi-node trainingsclusters.
• HBM3e leveringsbeperkingen en de impact daarvan op de totale GPU-productievolumes.
• API-latentiepieken veroorzaakt door schommelingen in het regionale elektriciteitsnet.
• Lokale NVMe-opslagsnelheden als flessenhals voor data-ingestie bij fine-tuning.
• Thermische throttling-limieten voor rackconfiguraties met hoge dichtheid in oudere faciliteiten.

De nieuwe realiteit voor ontwikkelaars

De overgang van een software-first naar een hardware-first wereld is voltooid. De bedrijven die de volgende fase van ontwikkeling zullen leiden, zijn degenen die hun supply chains en hun energiebronnen veilig hebben gesteld. Voor de rest van de industrie is de uitdaging om te innoveren binnen de beperkingen die door de fysieke wereld worden gesteld. Dit betekent efficiëntere code schrijven die minder compute vereist. Het betekent manieren vinden om kleinere modellen te gebruiken die op minder gespecialiseerde hardware kunnen draaien. De dagen van oneindige, goedkope schaling liggen achter ons. We gaan een periode in waarin de beschikbaarheid van een netaansluiting een belangrijkere metriek is dan het aantal geschreven regels code. Het begrijpen van deze fysieke krachtcentrales is de enige manier om te begrijpen waar de technologie naartoe gaat in . De toekomst ligt niet alleen in de cloud. Hij ligt in de grond, de draden en het water die de cloud mogelijk maken.

Noot van de redactie: We hebben deze site gemaakt als een meertalige AI-nieuws- en gidsenhub voor mensen die geen computernerds zijn, maar toch kunstmatige intelligentie willen begrijpen, er met meer vertrouwen mee willen omgaan en de toekomst willen volgen die al aanbreekt.