Wat als elke desktop met één enkele upgrade een AI-inferentiebeest zou kunnen worden? En wat als dat getransformeerde beest nog steeds aan de macht dronk alsof hij van een martini genoot?
Dat is het idee van Neuchips, een Taiwanese startup opgericht in 2019 en bekend om zijn superieure AI-efficiëntie. Het kwam op CES Unveiled 2024 – de mediashow voorafgaand aan het hoofdevenement – met een PCIe-uitbreidingskaart die de AI-mogelijkheden van een typische desktopcomputer kan upgraden, terwijl hij slechts 55 watt toevoegt aan het stroombudget van een pc.
Het is niet alleen een concept. De kaart werd op de beursvloer op een desktopcomputer aangesloten en bood realtime, offline chat met een chatbot, aangedreven door Meta’s populaire Llama 2 7B-model met grote tong (Neuchips zegt dat de kaart ook de Llama 2 13B zal gebruiken).
De kaart van Neuchips, de Evo PCIe Accelerator, is gebouwd rond de Raptor Gen AI-acceleratorchip van het bedrijf. De Raptor-chip levert “tot 200 tera-bewerkingen per seconde (TOPS)” en het bedrijf zegt dat hij geoptimaliseerd is voor op transformatoren gebaseerde modellen.
De kaart die Neuchips liet zien had een Raptor-chip, maar een enkele chip is niet de uiteindelijke vorm van de kaart. Ken Lau, CEO van Neuchips, een 26-jarige Intel-veteraan, zegt dat de Raptor kan worden gebruikt om kaarten met verschillende aantallen chips op een bord te ontwerpen.
“De chip is eigenlijk schaalbaar”, zegt Lau. “Dus we beginnen met één chip. En dan hebben we vier fiches. En dan acht chips.” Elke chip biedt tot 200 biljoen bewerkingen per seconde (TOPS), volgens het persbericht van Neuchip. De kaart heeft ook 32 GB LPDDR5-geheugen en bereikt 1,6 terabyte aan geheugenbandbreedte. Geheugenbandbreedte is belangrijk, omdat dit vaak een factor is bij het omgaan met AI-inferentie op één computer.
Neuchips wil eigenaren ook de tools geven die ze nodig hebben om de kaart effectief te gebruiken, maar met nog vele maanden te gaan tot de release, blijven de details hier een beetje schaars. Een vertegenwoordiger van Neuchips zei dat het bedrijf de compilersoftware heeft en de driver zal leveren. De demo die ik zag had een aangepaste interface voor interactie met de Llama2-7B-kaart van Neuchips, maar het leek onhandig.
Focus op efficiëntie
Er bestaat al hardware die iedereen op de PCie-sleuf van een desktopcomputer kan aansluiten om de AI-prestaties aanzienlijk te verbeteren. Het heet GPU en Nvidia heeft een voorsprong op de markt. Het zou moeilijk zijn om op het gebied van prestaties met Nvidia samen te werken. Nvidia heeft op CES 2024 zelfs nieuwe AI-gerichte kaarten aangekondigd; De RTX 4080 Super, die vanaf 31 januari voor $ 999 te koop is, biedt AI-prestaties tot 836 TOP.
Neuchips ziet echter een opening. “We zijn gefocust op energie-efficiëntie”, zegt Lau. “En over het omgaan met de vele verschillende modellen die er bestaan.”
Moderne grafische kaarten zijn krachtig, maar ook hongerig naar energie. De RTX 4080 Super kan tot 320 watt aan stroom verbruiken en heeft doorgaans een computer nodig met een voeding die minimaal 750 watt kan leveren. De Evo PCIe-accelerator van Neuchip verbruikt daarentegen slechts 55 watt aan stroom. Het verbruikt zelfs zo weinig stroom dat de kaart die Neuchips op CES demonstreerde geen externe PCIe-stroomaansluiting had. Dergelijke connectoren zijn nodig voor de meeste GPU-kaarten.
Er is mij ook verteld dat de laatste kaart, die in de tweede helft van 2024 moet worden verzonden, ongeveer de helft zo groot zal zijn als de kaart die op CES wordt getoond. Dat is een belangrijk detail, omdat de kaart die ik zag net zo groot was als de meeste huidige Nvidia GPU-kaarten, en te groot om in de meeste small form factor-desktops te passen. Een kleinere kaart zou de Evo PCIe-accelerator bruikbaar maken in een breed scala aan moderne pc-hardware.
De accelerator van Neuchips, hoewel misschien wel de meest prominente AI-acceleratorkaart op CES 2024, was niet de enige op de show. Verschillende start-ups komen met hun eigen AI-versnellers met unieke eigenschappen. Panmnesia heeft een CES Innovation Award gewonnen voor een AI-accelerator die een Compute eXpress Link-interface bevat voor toegang tot enorme geheugenpools. Andere AI-acceleratorbedrijven zijn DeepX en MemryX. Intel en AMD zijn er ook bij betrokken; elk biedt een AI-versneller in hun nieuwste CPU-architectuur.
Geen fout. Nvidia blijft de 800 kilo wegende gorilla in deze arena, en dat zal niet van de ene op de andere dag veranderen. Toch lijken nieuwe AI-versnellers zoals de Raptor- en Evo PCIe-kaarten van Neuchips klaar om nieuwe opties te bieden voor ontwikkelaars die niets om graphics geven of een verbeterde energie-efficiëntie nodig hebben terwijl ze AI-inferentie doen.
De Evo PCI-accelerator van Neuchips zal naar verwachting in de tweede helft van 2024 volledig op de markt komen. De prijzen moeten nog worden aangekondigd.
Uit artikelen op uw website
Gerelateerde artikelen op internet