De belangstelling voor cloudalternatieven is nog nooit zo groot geweest.
Een voorbeeld hiervan: CoreWeave, een GPU-infrastructuuraanbieder die begon als een cryptocurrency-mijnbouwoperatie, haalde deze week $1,1 miljard aan nieuwe financiering op van investeerders, waaronder Coatue, Fidelity en Altimeter Capital. De ronde brengt de waardering na verzilvering op 19 miljard dollar, waardoor het totaal aan schulden en eigen vermogen op 5 miljard dollar komt – een opmerkelijk getal voor een bedrijf dat nog geen tien jaar oud is.
Het is niet alleen CoreWeave.
Lambda Labs, dat ook een reeks in de cloud gehoste GPU-instances aanbiedt, heeft begin april een ‘special purpose financieringsvehikel’ van maximaal $ 500 miljoen veiliggesteld, maanden na het afsluiten van een Series C-ronde van $ 320 miljoen. De non-profitorganisatie Voltage Park, gesteund door crypto-miljardair Jed McCaleb, kondigde afgelopen oktober aan dat het $500 miljoen gaat investeren in GPU-compatibele datacenters. En Together AI, een cloud-GPU-host die ook generatief AI-onderzoek doet, ontving in maart 106 miljoen dollar in een ronde onder leiding van Salesforce.
Dus waarom al het enthousiasme voor – en het geld dat in – de alternatieve cloudruimte stroomt?
Het antwoord is, zoals je zou verwachten, generatieve AI.
Naarmate de generatieve AI-boom zich voortzet, neemt ook de vraag naar hardware toe om generatieve AI-modellen op schaal uit te voeren en te trainen. GPU’s zijn architectonisch gezien de logische keuze voor het trainen, verfijnen en uitvoeren van modellen, omdat ze duizenden kernen bevatten die parallel kunnen werken om de lineaire algebraïsche vergelijkingen uit te voeren waaruit generatieve modellen bestaan.
Maar het installeren van een GPU is duur. Daarom wenden de meeste ontwikkelaars en organisaties zich tot de cloud.
Spelers op het gebied van cloud computing – Amazon Web Services (AWS), Google Cloud en Microsoft Azure – bieden geen tekort aan GPU’s en speciale hardware-instances die zijn geoptimaliseerd voor generatieve AI-workloads. Maar voor in ieder geval sommige modellen en projecten kunnen alternatieve clouds uiteindelijk goedkoper uitvallen en een betere beschikbaarheid bieden.
Op CoreWeave kost het huren van een Nvidia A100 40GB – een populaire keuze voor modeltraining en gevolgtrekking – $ 2,39 per uur, wat neerkomt op $ 1.200 per maand. Op Azure kost dezelfde GPU $3,40 per uur, of $2.482 per maand; op Google Cloud is het $ 3,67 per uur, of $ 2.682 per maand.
Aangezien generatieve AI-workloads doorgaans op clusters van GPU’s draaien, lopen de kostendelta’s snel op.
“Bedrijven als CoreWeave nemen deel aan wat wij gespecialiseerde ‘GPU as a Service’-cloudproviders noemen”, vertelde Sid Nag, vice-president van clouddiensten en -technologieën bij Gartner, aan TechCrunch. “Gezien de grote vraag naar GPU’s bieden ze een alternatief voor hyperscalers, waarbij ze Nvidia GPU’s hebben gebruikt en een andere route naar de markt en toegang tot die GPU’s hebben geboden.”
Nag wijst erop dat zelfs enkele grote technologiebedrijven zijn gaan vertrouwen op alternatieve cloudproviders omdat ze te maken krijgen met uitdagingen op het gebied van de computercapaciteit.
Afgelopen juni meldde CNBC dat Microsoft een miljardenovereenkomst heeft getekend met CoreWeave om ervoor te zorgen dat OpenAI, de maker van ChatGPT en een nauwe Microsoft-partner, over voldoende rekenkracht beschikt om zijn generatieve AI-modellen te trainen. Nvidia, maker van de meeste CoreWeave-chips, ziet dit als een welkome trend, misschien om redenen van hefboomwerking; Er wordt gezegd dat het een aantal alternatieve cloudproviders preferentiële toegang heeft gegeven tot zijn GPU’s.
Lee Sustar, hoofdanalist bij Forrester, ziet cloudproviders als CoreWeave gedeeltelijk slagen omdat ze niet over de ‘bagage’ van de infrastructuur beschikken waar gevestigde providers mee te maken hebben.
“Gezien de dominantie van hyperscalar op de algehele publieke cloudmarkt, die enorme infrastructuurinvesteringen en een reeks diensten vereist die weinig of geen inkomsten genereren, hebben uitdagers als CoreWeave een kans om te slagen door zich te concentreren op hoogwaardige AI-diensten zonder de last van hyperscale. totale investering”, zei hij.
Maar is deze groei duurzaam?
De rustler twijfelt. Hij denkt dat de groei van alternatieve cloudaanbieders zal afhangen van de vraag of zij GPU’s in grote aantallen online kunnen blijven zetten en tegen concurrerend lage prijzen kunnen aanbieden.
Concurreren op prijs zou in de toekomst een uitdaging kunnen worden, omdat leiders als Google, Microsoft en AWS de investeringen in op maat gemaakte hardware om modellen te laten draaien en trainen verhogen. Google biedt zijn eigen TPU; Microsoft heeft onlangs twee aangepaste chips geïntroduceerd, Azure Maia en Azure Cobalt; en AWS heeft Trainium, Inferentia en Graviton.
“Hypercalers zullen hun aangepaste silicium inzetten om hun afhankelijkheid van Nvidia te verminderen, terwijl Nvidia zal kijken naar CoreWeave en andere GPU-centrische AI-clouds”, aldus Sustar.
Dan is er nog het feit dat hoewel veel generatieve AI-workloads het beste op GPU’s draaien, niet alle workloads deze nodig hebben, vooral als ze niet tijdgevoelig zijn. CPU’s kunnen de nodige berekeningen uitvoeren, maar meestal langzamer dan GPU’s en aangepaste hardware.
Meer existentieel gezien bestaat de dreiging dat de generatieve AI-zeepbel zal barsten, waardoor providers met een overvloed aan GPU’s achterblijven en niet genoeg klanten die erom vragen. Maar de toekomst ziet er op de korte termijn rooskleurig uit, zeggen Sustar en Nag, die allebei een gestage stroom wolken verwachten.
“GPU-georiënteerde cloud-startups zullen het geven [incumbents] Er is veel concurrentie, vooral onder klanten die al op meerdere clouds opereren en de complexiteit van beheer, beveiliging, risico’s en compliance in meerdere clouds aankunnen”, aldus Sustar. “Dergelijke cloudklanten voelen zich op hun gemak bij het uitproberen van een nieuwe AI-cloud als deze over geloofwaardig leiderschap, solide financiële steun en GPU’s zonder wachttijden beschikt.”