Franse startup heeft een flinke investering binnengehaald om de computerinfrastructuur opnieuw te ontwerpen voor ontwikkelaars die AI-applicaties efficiënter willen bouwen en trainen.
FlexAI, zoals het bedrijf wordt genoemd, opereert in het geheim sinds oktober 2023, maar het in Parijs gevestigde bedrijf is woensdag officieel gelanceerd met 28,5 miljoen euro ($30 miljoen) aan financiering, terwijl het zijn eerste product plaagde: een on-demand cloudservice voor AI-training.
Dit is een grote verandering voor een zaadronde, wat meestal een heel belangrijke stamboom van de oprichter betekent – en dat is hier het geval. Mede-oprichter en CEO van FlexAI Brijesh Tripathi was voorheen senior design engineer bij GPU-gigant en nu AI-lieveling Nvidia, voordat hij verschillende senior engineering- en architectuurfuncties bij Apple kreeg; Tesla (werkt rechtstreeks onder Elon Musk); Zoox (voordat Amazon de startup voor autonoom rijden kocht); en meest recentelijk was Tripathi vice-president van Intel’s AI- en supercomputingplatformdivisie, AXG.
Mede-oprichter en CTO van FlexAI, Dali Kilani, heeft ook een indrukwekkend cv en vervulde verschillende technische functies bij bedrijven als Nvidia en Zynga, terwijl hij meest recentelijk diende als CTO bij de Franse startup Lifen, die digitale infrastructuur voor de gezondheidszorg ontwikkelt.
De startronde werd geleid door Alpha Intelligence Capital (AIC), Elaia Partners en Heartcore Capital, met deelname van Frst Capital, Motier Ventures, Partech en InstaDeep CEO Karim Beguir.
FlexAI-team in Parijs
Een computerpuzzel
Om te begrijpen wat Tripathi en Kilani met FlexAI proberen te doen, is het eerst de moeite waard om te begrijpen waar AI-ontwikkelaars en -beoefenaars tegenaan lopen in termen van benaderingen van “berekeningen”; dit verwijst naar de verwerkingskracht, infrastructuur en middelen die nodig zijn om rekentaken uit te voeren, zoals het verwerken van gegevens, het uitvoeren van algoritmen en het uitvoeren van machine learning-modellen.
“Het gebruik van welke infrastructuur dan ook in de AI-ruimte is complex; het is niet voor bangeriken en niet voor onervaren mensen”, vertelde Tripathi aan TechCrunch. “Het vereist dat je te veel weet over hoe je de infrastructuur moet bouwen voordat je deze kunt gebruiken.”
Het publieke cloud-ecosysteem dat zich de afgelopen decennia heeft ontwikkeld, dient daarentegen als een goed voorbeeld van hoe de industrie is ontstaan uit de behoefte van ontwikkelaars om applicaties te bouwen zonder zich al te veel zorgen te maken over de backend.
“Als je een kleine ontwikkelaar bent en een app wilt schrijven, hoef je niet te weten waar deze draait of wat de backend is. Je hoeft alleen maar een EC2-instantie (Amazon Elastic Compute cloud) te starten en wij zijn klaar gedaan”, zei Tripathi. “Dat kun je vandaag de dag niet meer doen met AI-computing.”
Op het gebied van AI moeten ontwikkelaars uitzoeken hoeveel GPU’s (grafische verwerkingseenheden) ze met elkaar moeten verbinden via welk soort netwerk, beheerd via een software-ecosysteem waarvoor ze volledig verantwoordelijk zijn. Als de GPU of het netwerk uitvalt, of als er iets in die keten misgaat, is het de verantwoordelijkheid van de ontwikkelaar om dit op te lossen.
“We willen de AI-computerinfrastructuur op hetzelfde niveau van eenvoud brengen als de cloud voor algemene doeleinden – na twintig jaar, ja, maar er is geen reden waarom AI-computing niet dezelfde voordelen zou zien”, aldus Tripathi. “We willen het punt bereiken waarop het uitvoeren van AI-workloads niet vereist dat je een datacenterexpert wordt.”
Nu de huidige versie van het product op de proef wordt gesteld door een handvol bètagebruikers, zal FlexAI later dit jaar zijn eerste commerciële product lanceren. Het is in feite een cloudservice die ontwikkelaars verbindt met ‘virtueel heterogeen computergebruik’, wat betekent dat ze hun werklasten kunnen uitvoeren en AI-modellen kunnen inzetten op meerdere architecturen, waarbij ze per gebruik betalen, in plaats van GPU’s per dollar per uur te huren.
GPU’s zijn cruciale radertjes in de AI-ontwikkeling en dienen bijvoorbeeld voor het trainen en uitvoeren van grootschalige taalmodellen (LLM’s). Nvidia is een van de vooraanstaande spelers op GPU-gebied en een van de belangrijkste begunstigden van de AI-revolutie gelanceerd door OpenAI en ChatGPT. In de twaalf maanden sinds OpenAI in maart 2023 een API voor ChatGPT lanceerde, waardoor ontwikkelaars ChatGPT-functionaliteit in hun apps konden inbouwen, is de aandelenkoers van Nvidia gestegen van ongeveer $500 miljard naar meer dan $2 biljoen.
LLM’s barsten uit de technologie-industrie en de vraag naar GPU’s schiet tegelijkertijd omhoog. Maar GPU’s zijn duur in gebruik, en het huren ervan bij cloudproviders voor kleinere klussen of ad-hocgebruiksscenario’s is niet altijd zinvol en kan onbetaalbaar zijn; dit is de reden waarom AWS zich bezighoudt met tijdelijke verhuur voor kleinere AI-projecten. Maar een huur is nog steeds een huur, en daarom wil FlexAI de onderliggende complexiteiten wegnemen en gebruikers indien nodig toegang geven tot AI-computing.
“Multicloud voor AI”
Het uitgangspunt van FlexAI is dat de meeste ontwikkelaars dat niet doen Echt het maakt vooral uit welke GPU’s of chips ze gebruiken, of het nu Nvidia, AMD, Intel, Graphcore of Cerebras is. Hun grootste zorg is het kunnen ontwikkelen van hun AI en het bouwen van applicaties binnen hun budgetbeperkingen.
Dit is waar FlexAI’s concept van “universeel AI-computing” om de hoek komt kijken, waarbij FlexAI gebruikersverzoeken aanneemt en deze toewijst aan welke architectuur dan ook die zinvol is voor die specifieke taak, en zorgt voor alle noodzakelijke conversies tussen platforms, of het nu gaat om Intel’s Gaudi-infrastructuur, AMD door Rocm of Nvidia’s CUDA.
“Dit betekent dat de ontwikkelaar zich alleen richt op het bouwen, trainen en gebruiken van het model”, zei Tripathi. “Wij regelen alles hieronder. Wij beheren storingen, herstel, betrouwbaarheid en u betaalt voor wat u gebruikt.”
In veel opzichten streeft FlexAI ernaar om voor AI te versnellen wat al in de cloud gebeurt, wat meer betekent dan het repliceren van een pay-per-use-model: het betekent dat je naar ‘multicloud’ kunt overstappen door gebruik te maken van de verschillende sterke punten van verschillende GPU’s en chip-infrastructuren.
FlexAI zal bijvoorbeeld de specifieke werklast van een gebruiker kanaliseren, afhankelijk van wat zijn prioriteiten zijn. Als een bedrijf een beperkt budget heeft voor het trainen en verfijnen van hun AI-modellen, kunnen ze dit afstemmen binnen het FlexAI-platform om de maximale hoeveelheid rekenkracht voor hun geld te krijgen. Dit kan betekenen dat je via Intel moet gaan voor goedkopere (maar langzamere) rekenkracht, maar als een ontwikkelaar een klein stukje werk heeft dat de snelst mogelijke output vereist, dan kunnen ze dit in plaats daarvan via Nvidia kanaliseren.
Onder de motorkap is FlexAI in feite een ‘vraagaggregator’, die de hardware zelf via traditionele middelen verhuurt en, door gebruik te maken van zijn ‘sterke connecties’ met mensen bij Intel en AMD, preferentiële prijzen veiligstelt die het over zijn klantenbestand verspreidt. Dit betekent niet noodzakelijkerwijs dat het Nvidia omzeilt, maar het zou voor een groot deel kunnen betekenen dat – terwijl Intel en AMD vechten voor het GPU-schroot dat Nvidia heeft achtergelaten – er voor hen een enorme stimulans is om met aggregators als FlexAI te spelen.
“Als ze het voor klanten kunnen laten werken en tientallen tot honderden klanten op hun infrastructuur kunnen brengen, zullen ze dat ook doen [Intel and AMD] hij zal heel gelukkig zijn”, zei Tripathi.
Dit staat in contrast met vergelijkbare GPU-cloudspelers in de ruimte, zoals het goed gefinancierde CoreWeave en Lambda Labs, die zich uitsluitend op Nvidia-hardware richten.
“Ik wil AI-computing naar het punt brengen waar cloud computing voor algemene doeleinden nu is”, aldus Tripathi. “Je kunt geen multicloud doen op AI. Je moet de specifieke hardware, aantal GPU’s, infrastructuur, connectiviteit kiezen en deze vervolgens zelf onderhouden. Tegenwoordig is dit de enige manier om AI-computing echt te krijgen.”
Toen hem werd gevraagd wie de exacte lanceringspartners waren, zei Tripathi dat hij ze niet allemaal kon noemen vanwege een gebrek aan ‘formele toezeggingen’ van sommigen van hen.
“Intel is een sterke partner, zij zorgen zeker voor de infrastructuur, en AMD is een partner die voor de infrastructuur zorgt”, zei hij. “Maar er is nog een laag partnerschap gaande met Nvidia en een paar andere siliciumbedrijven die we nog niet willen delen, maar ze zitten allemaal in de mix en het MOU [memorandums of understanding] worden momenteel ondertekend.”
Het Elon-effect
Tripathi heeft bij enkele van de grootste technologiebedrijven ter wereld gewerkt en is meer dan toegerust om de uitdagingen die voor ons liggen aan te pakken.
“Ik weet genoeg over GPU’s; Ik maakte vroeger GPU’s’, zegt Tripathi over zijn zevenjarige periode bij Nvidia, die eindigde in 2007 toen hij overstapte naar Apple toen dat de eerste iPhone lanceerde. “Bij Apple concentreerde ik me op het oplossen van echte klantproblemen. Ik was erbij toen Apple begon met het bouwen van hun eerste SoC’s [system on chips] voor telefoons.”
Tripathi bracht van 2016 tot 2018 ook twee jaar door bij Tesla als hoofdhardware-ingenieur, waar hij de laatste zes maanden rechtstreeks onder Elon Musk werkte nadat de twee mensen boven hem abrupt het bedrijf verlieten.
“Wat ik bij Tesla heb geleerd en meeneem in mijn startup is dat er geen andere grenzen zijn dan wetenschap en natuurkunde”, zei hij. ‘De manier waarop de dingen vandaag de dag worden gedaan, is niet de manier waarop het zou moeten of moeten worden gedaan. Je moet volgen wat het juiste is om te doen vanuit de eerste principes, en om dat te doen, moet je elke zwarte doos verwijderen.”
Tripathi was betrokken bij de transitie van Tesla naar het maken van zijn eigen chips, een stap die sindsdien is nagebootst door onder meer GM en Hyundai.
“Een van de eerste dingen die ik bij Tesla deed, was uitzoeken hoeveel microcontrollers er in de auto zaten, en om dat te doen moesten we letterlijk door een aantal van die grote zwarte dozen waden met het metalen schild en de behuizing eromheen, om deze te vinden Er zitten hele kleine microcontrollers in”, zegt Tripathi. “En ten slotte legden we het op tafel, legden het neer en zeiden: ‘Elon, er zitten vijftig microcontrollers in de auto. En soms betalen we er duizend keer de marge voor, omdat ze beschermd en beschermd zijn in een grote metalen behuizing.’ En hij zegt: ‘laten we onze eigen maken.’ En dat hebben wij gedaan.”
GPU’s als onderpand
Verder kijkend naar de toekomst heeft FlexAI de ambitie om een eigen infrastructuur te bouwen, inclusief datacenters. Dit zal volgens Tripathi worden gefinancierd door middel van schuldfinanciering, voortbouwend op een recente trend waarbij rivalen in de ruimte, waaronder CoreWeave en Lambda Labs, Nvidia-chips gebruiken als onderpand om leningen veilig te stellen – in plaats van meer eigen vermogen te verstrekken.
“Bankiers weten nu hoe ze GPU’s als onderpand moeten gebruiken”, zegt Tripathi. ‘Waarom kapitaal geven? Totdat we een echte computerleverancier worden, is onze bedrijfswaarde niet voldoende om ons te voorzien van de honderden miljoenen dollars die nodig zijn om te investeren in het bouwen van datacenters. Als we alleen met kapitaal werkten, verdwijnen we als het geld op is. Maar als we het daadwerkelijk als onderpand op de GPU’s zetten, kunnen ze de GPU’s weghalen en in een ander datacenter onderbrengen.”