Daan: Ja, ik denk dat er de afgelopen drie of vier jaar verschillende initiatieven zijn geweest. Intel speelde daarin een grote rol, maar ook bij het opnieuw uitvinden van de manier waarop servers in modulaire componenten werden ingebouwd. En inderdaad is modulariteit voor servers precies hoe het klinkt. We verdelen de verschillende serversubsystemen in enkele standaardbouwstenen, definiëren enkele interfaces tussen die standaardbouwstenen, zodat ze kunnen samenwerken. En dat heeft een aantal voordelen. Ten eerste: vanuit duurzaamheidsoogpunt vermindert het de belichaamde koolstof van die hardwarecomponenten. Sommige van deze hardwarecomponenten zijn behoorlijk complex en zeer energie-intensief om te vervaardigen. Stel je dus voor dat een bord met 30 lagen bijvoorbeeld een mooi stuk hardware van koolstof is. Ik wil niet het hele systeem, als maar een klein deel zo’n complexiteit nodig heeft. Ik kan de prijs van complexiteit alleen betalen waar ik die nodig heb.
En door intelligent te zijn in de manier waarop we het ontwerp in verschillende delen opsplitsen, verkleinen we de ecologische voetafdruk. Ook hergebruik van onderdelen wordt mogelijk. Dus als we een systeem upgraden, misschien naar een nieuwe telemetriebenadering of een nieuwe beveiligingstechnologie, hoeft er slechts een klein bordje te worden vervangen in plaats van het hele systeem te vervangen. Of misschien komt er een nieuwe microprocessor uit en kan de processormodule worden vervangen zonder te investeren in nieuwe voedingen, nieuwe behuizing, alles nieuw. En zodat circulariteit en hergebruik een grote kans worden. En dus kan het belichaamde koolstofaspect, dat ongeveer 10% van de koolstofvoetafdruk in deze datacenters bedraagt, aanzienlijk worden verbeterd. En een ander voordeel van modulariteit, naast duurzaamheid, is dat het alleen maar de investeringen in onderzoek en ontwikkeling vermindert. Dus als ik honderd verschillende soorten servers ga ontwikkelen, als ik die servers kan bouwen op basis van dezelfde bouwstenen, alleen anders geconfigureerd, zal ik minder geld en minder tijd moeten investeren. En dat is de echte motor van de beweging naar modulariteit.
laurier: Wat zijn enkele van die technieken en technologieën, zoals vloeistofkoeling en ultra-high density computing, die grote ondernemingen kunnen gebruiken om efficiënter te computeren? En wat zijn hun effecten op het waterverbruik, het energieverbruik en de algehele prestaties, zoals u eerder noemde?
Daan: Ja, dat zijn twee, denk ik, hele belangrijke kansen. En laten we ze één voor één bekijken. In de opkomende wereld van kunstmatige intelligentie denk ik dat vloeistofkoeling waarschijnlijk een van de belangrijkste kansen voor fruit is. In een luchtgekoeld datacenter gaat er dus een enorme hoeveelheid energie naar ventilatoren, koelmachines en verdampingskoelsystemen. En dat is eigenlijk een aanzienlijk deel. Dus als je het datacenter verplaatst naar een volledig vloeibare koeloplossing, is dit een kans voor ongeveer 30% van het energieverbruik, wat nogal een wow-getal is. Ik denk dat mensen vaak verbaasd zijn over de hoeveelheid energie die wordt verspild. En als je een datacenter binnengaat, heb je bijna gehoorbescherming nodig omdat het zo luid is en hoe heter de componenten, hoe hoger de ventilatorsnelheden, en hoe meer energie er wordt verbrand aan de koelkant, en vloeistofkoeling neemt veel van het bureau weg .
Wat dit goedmaakt, is dat de vloeistofkoeling een beetje complex is. Niet iedereen kan er volledig gebruik van maken. Er zijn meer kosten vooraf, maar op de lange termijn bespaart het daadwerkelijk geld. De totale eigendomskosten met vloeistofkoeling zijn dus zeer gunstig, en hoe we nieuwe datacenters van de grond af aan ontwerpen. Vloeistofkoeling is een heel opwindende mogelijkheid en ik denk dat hoe sneller we over kunnen gaan op vloeistofkoeling, hoe meer energie we kunnen besparen. Maar het is een ingewikkelde wereld daarbuiten. Er zijn veel verschillende situaties en veel verschillende infrastructuren om te ontwerpen. Daarom moet je niet bagatelliseren hoe moeilijk het is voor een individueel bedrijf. Een van de andere voordelen van vloeistofkoeling is dat we ons niet meer bezig hoeven te houden met het verdampen van koelwater. Veel datacenters in Noord-Amerika bevinden zich in droge gebieden en gebruiken grote hoeveelheden water voor verdampingskoeling.
Vanuit het oogpunt van energieverbruik is dit goed, maar het waterverbruik kan echt buitengewoon zijn. Ik heb gezien dat alleen al in Noord-Amerikaanse datacenters de aantallen een biljoen liter water per jaar naderen. En in vochtige klimaten zoals bijvoorbeeld Zuidoost-Azië of Oost-China is dat verdampingskoelingsvermogen niet zo effectief en wordt er veel meer energie verbrand. En dus als je echt agressieve cijfers over de energie-efficiëntie wilt krijgen, kun je dat gewoon niet doen met verdampingskoeling in die vochtige klimaten. En dus zijn die geografische gebieden een soort van speerpunt voor de overstap naar vloeistofkoeling.
De andere mogelijkheid die u noemde was dichtheid, en het brengen van computers met steeds hogere dichtheid is al tientallen jaren een trend. Dat is wat de wet van Moore ons vooruit drijft. En ik denk dat het gewoon belangrijk is om te begrijpen dat dit nog niet is gebeurd. Hoe vaak we ook nadenken over racks voor GPU’s en accelerators, we kunnen het stroomverbruik nog steeds aanzienlijk verbeteren met traditionele servers met steeds hogere dichtheden, waardoor we in de toekomst een hele reeks racks in één rack met computers kunnen verpakken. En dat zijn aanzienlijke besparingen. En bij Intel hebben we aangekondigd dat we een aankomende processor hebben met 288 CPU-kernen en 288 kernen in één pakket, waarmee we racks kunnen bouwen met maar liefst 11.000 CPU-kernen. De energiebesparingen daar zijn dus aanzienlijk, niet alleen omdat die chips heel erg efficiënt zijn, maar omdat de hoeveelheid netwerkapparatuur en aanverwante zaken rond die systemen veel kleiner is omdat je die bronnen efficiënter gebruikt met die zeer hoge dichtheid. componenten. Dus als we doorgaan, zal het misschien zelfs versnellen van onze weg naar dit type computer met ultrahoge dichtheid ons helpen de energiebesparingen te bereiken die we nodig hebben om tegemoet te komen aan enkele van de grotere modellen die eraan komen.
laurier: Ja, dat is zeker logisch. En dit is een goed onderdeel van dit tweede deel, waarin wordt beschreven hoe datacenters en zowel hardware als software kunnen samenwerken om energie-efficiëntere technologie te creëren zonder de functionaliteit in gevaar te brengen. Dus hoe kunnen bedrijven investeren in energiezuinigere hardware, zoals hardwarebewuste software, en zoals u eerder zei, grote taalmodellen of LLM’s met een kleinere, verkleinde infrastructuur, en toch de vruchten plukken van AI?
Daan: Ik denk dat er veel kansen zijn, en misschien wel de meest opwindende die ik nu zie, is dat we, hoewel we behoorlijk verbaasd en enthousiast zijn over wat deze echt grote modellen kunnen doen, ook al vereisen ze tientallen megawatts aan supercomputerkracht , kun je veel van die voordelen daadwerkelijk behalen met veel kleinere modellen, zolang je er maar tevreden mee bent ze binnen een specifiek kennisdomein te beheren. Daarom noemen we ze vaak professionele modellen. Neem bijvoorbeeld een open source-model zoals de Llama 2 geproduceerd door Meta. Er is dus een versie van dat model met 7 miljard parameters. Ik denk ook dat er 13 en 70 miljard parameterversies van dat model zijn vergeleken met GPT-4, misschien zoiets als een biljoen elementenmodel. Het is dus veel, veel, veel kleiner, maar als je dat datamodel verfijnt voor een specifieke gebruikssituatie, dus als je een onderneming bent, werk je waarschijnlijk aan iets vrij beperkts en specifieks dat je probeert te doen .