Nvidia, dat altijd al de aanschaf van zijn nieuwste GPU’s heeft willen aanmoedigen, brengt een tool uit waarmee bezitters van kaarten uit de GeForce RTX 30- en 40-serie een AI-aangedreven chatbot offline op een Windows-pc kunnen draaien.
De tool, genaamd Chat met RTX, stelt gebruikers in staat het GenAI-model aan te passen aan OpenAI ChatGPT door het te verbinden met documenten, bestanden en notities die het vervolgens kan doorzoeken.
“In plaats van te zoeken in notities of opgeslagen inhoud, kunnen gebruikers eenvoudigweg zoekopdrachten typen”, schreef Nvidia in een blogpost. ‘Iemand zou bijvoorbeeld kunnen vragen: ‘Wat is het restaurant dat mijn partner heeft aanbevolen toen hij in Las Vegas was?’ en Chat met RTX scant de lokale bestanden waarnaar de gebruiker verwijst en reageert met context.
Chatten met RTX is standaard ingesteld op het open source-model van AI-startup Mistral, maar ondersteunt andere op tekst gebaseerde modellen, waaronder Meta Llama 2. Nvidia waarschuwt dat het downloaden van alle benodigde bestanden een behoorlijke hoeveelheid opslagruimte in beslag zal nemen – 50 GB tot 100 GB, afhankelijk van de model(len) geselecteerd.
Momenteel werkt Chat met RTX met tekst-, PDF-, .doc-, .docx- en .xml-formaten. Als u de toepassing naar een map verwijst die alle ondersteunde bestanden bevat, worden de bestanden in de gegevensset voor het verfijnen van het model geladen. Bovendien kan Chat met RTX de URL van een YouTube-afspeellijst gebruiken om transcripties van de video’s in de afspeellijst te laden, zodat elk model hun inhoud kan opvragen.
Nu zijn er bepaalde beperkingen waar u rekening mee moet houden, zoals Nvidia in de gids vermeldt.
Afbeeldingscredits: Nvidia
Chatten met RTX kan de context niet onthouden, waardoor de applicatie bij het beantwoorden van aanvullende vragen geen rekening houdt met eerdere vragen. Als u bijvoorbeeld vraagt: “Wat is een gewone vogel in Noord-Amerika?” en vervolg dan met “Wat zijn de kleuren?” Chatten met RTX weet niet dat je het over vogels hebt.
Nvidia erkent ook dat de relevantie van het antwoord van een app kan worden beïnvloed door een aantal factoren, waarvan sommige gemakkelijker te controleren zijn dan andere – waaronder de formulering van de vraag, de prestaties van het gekozen model en de hoogte van de boete. dataset afstemmen. Zoeken naar feiten die in meerdere documenten voorkomen, levert waarschijnlijk betere resultaten op dan zoeken naar een samenvatting van een document of een reeks documenten. En de kwaliteit van de reacties zal over het algemeen verbeteren met grotere datasets – omdat RTX Chat zich zal concentreren op meer inhoud over een bepaald onderwerp, zegt Nvidia.
Chatten met RTX is dus meer speelgoed dan iets voor productiegebruik. Toch valt er iets te zeggen voor apps die het gemakkelijk maken om AI-modellen lokaal uit te voeren – iets dat een groeiende trend is.
In een recent rapport voorspelde het World Economic Forum een ‘dramatische’ groei van betaalbare apparaten die GenAI-modellen offline kunnen draaien, waaronder computers, smartphones, IoT-apparaten en netwerkapparatuur. De redenen zijn volgens het WEF duidelijke voordelen: niet alleen zijn offline modellen inherent meer privé (de gegevens die ze verwerken verlaten nooit het apparaat waarop ze draaien), maar ze hebben ook een lagere latentie en zijn kosteneffectiever dan cloudgebaseerde modellen .
Natuurlijk opent de democratisering van tools voor het lanceren en trainen van modellen de deur voor kwaadwillende actoren – een vluchtige Google-zoekopdracht levert vele lijsten op met modellen die zijn afgestemd op giftige inhoud uit gewetenloze hoeken van het internet. Maar voorstanders van apps als Chat met RTX beweren dat de voordelen groter zijn dan de nadelen. We zullen moeten afwachten.