AI is een ware rage – vooral AI voor het genereren van tekst, ook wel bekend als grote taalmodellen (denk aan modellen in de trant van ChatGPT). Uit een recent onderzoek onder bijna 1.000 bedrijfsorganisaties blijkt dat 67,2% de invoering van het Large Language Model (LLM) begin 2024 als een topprioriteit beschouwt.
Maar barrières staan dat in de weg. Volgens hetzelfde onderzoek verhinderde het gebrek aan maatwerk en flexibiliteit, in combinatie met het onvermogen om bedrijfskennis en intellectueel eigendom te behouden, veel bedrijven om LLM in de productie te implementeren.
Dat zette Varun Vummadi en Esha Manideep Dinne aan het denken: hoe zou een oplossing voor de uitdaging van de adoptie van LLM-ondernemingen eruit kunnen zien? Op zoek naar één richtten ze Giga ML op, een startup die een platform bouwt waarmee bedrijven LLM’s ter plaatse kunnen inzetten, waardoor de kosten zouden worden verlaagd en de privacy daarbij behouden blijft.
“Gegevensprivacy en het aanpassen van LLM’s zijn enkele van de grootste uitdagingen waarmee bedrijven worden geconfronteerd bij het adopteren van LLM’s om problemen op te lossen”, vertelde Vummadi in een e-mailinterview aan TechCrunch. “Giga ML lost beide uitdagingen op.”
Giga ML biedt zijn eigen set LLM’s, de “X1-serie”, voor taken zoals het genereren van code en het beantwoorden van veelgestelde vragen van klanten (bijvoorbeeld: “Wanneer kan ik mijn bestelling verwachten?”). De startup beweert dat de modellen, gebouwd bovenop Meta’s Llama 2, beter presteren dan populaire LLM’s op bepaalde benchmarks, vooral de MT-Bench-dialoogtestset. Maar het is moeilijk te zeggen hoe de X1 kwalitatief presteert; deze verslaggever probeerde de online demo van Giga ML, maar ondervond technische problemen. (Er trad een time-out op in de toepassing, ongeacht welke vraag ik typte.)
Zelfs als de modellen Giga ML zijn Zijn kunnen ze in sommige opzichten superieur zijn, maar kunnen ze echt een duik nemen in de open source, offline LLM-oceaan?
Toen ik met Vummadi sprak, kreeg ik het gevoel dat Giga ML niet zozeer probeert een best presterende LLM te creëren, maar in plaats daarvan tools bouwt waarmee bedrijven hun LLM lokaal kunnen verfijnen zonder afhankelijk te hoeven zijn van bronnen van derden. en platforms.
“De missie van Giga ML is om bedrijven te helpen LLM’s veilig en efficiënt in te zetten op hun eigen on-premise infrastructuur of virtuele private cloud”, aldus Vummadi. “Giga ML vereenvoudigt het proces van trainen, verfijnen en uitvoeren van LLM door dit te verzorgen via een eenvoudig te gebruiken API, waardoor alle bijbehorende rompslomp wordt geëlimineerd.”
Vummadi benadrukte de privacyvoordelen van het runnen van een offline model – voordelen die voor sommige bedrijven waarschijnlijk aantrekkelijk zullen zijn.
Predibase, een low-code AI-ontwikkelingsplatform, ontdekte dat minder dan een kwart van de bedrijven zich op zijn gemak voelt bij het gebruik van commerciële LLM’s vanwege zorgen over het delen van gevoelige of bedrijfseigen gegevens met leveranciers. Bijna 77% van de respondenten in de enquête zei dat ze geen commerciële LLM’s gebruiken, of niet van plan zijn deze te gebruiken, behalve prototyping in de productie, daarbij verwijzend naar privacy, kosten en gebrek aan aanpassingsproblemen.
“IT-managers op C-suite-niveau vinden het aanbod van Giga ML waardevol vanwege de veilige implementatie van LLM op locatie, aanpasbare modellen die zijn afgestemd op hun specifieke gebruikssituatie en snelle gevolgtrekking, die gegevensuitlijning en maximale efficiëntie garandeert,” zei Wummadi.
Giga ML, dat tot nu toe ~$3,74 miljoen aan durfkapitaalfinanciering heeft opgehaald van Nexus Venture Partners, Y Combinator, Liquid 2 Ventures, 8vdx en verschillende anderen, is van plan zijn tweekoppige team uit te breiden en de product-R&D in de nabije toekomst uit te breiden. Een deel van het kapitaal gaat ook naar de ondersteuning van het klantenbestand van Giga ML. zei Wummadi, waartoe momenteel naamloze ‘ondernemende’ bedrijven in de financiële en gezondheidszorgsector behoren.