Computerwetenschappers hebben een nieuwe manier ontdekt om grote matrices sneller dan ooit tevoren te vermenigvuldigen door voorheen onbekende inefficiënties te elimineren, meldt Quanta Magazine. Dit zou uiteindelijk AI-modellen zoals ChatGPT kunnen versnellen, die sterk afhankelijk zijn van matrixvermenigvuldiging om te functioneren. De bevindingen, gepresenteerd in twee recente artikelen, hebben geleid tot wat naar verluidt de grootste verbetering is in de efficiëntie van matrixvermenigvuldiging in meer dan tien jaar.
De vermenigvuldiging van twee rechthoekige reeksen getallen, bekend als matrixvermenigvuldiging, speelt een sleutelrol in de huidige AI-modellen, waaronder spraak- en beeldherkenning, chatbots van alle grote fabrikanten, AI-beeldgeneratoren en videosynthesemodellen zoals Sora. Naast kunstmatige intelligentie is matrixwiskunde zo belangrijk voor moderne computers (denk aan beeldverwerking en datacompressie) dat zelfs kleine winsten in efficiëntie kunnen leiden tot reken- en energiebesparingen.
Grafische verwerkingseenheden (GPU’s) blinken uit in het verwerken van matrixvermenigvuldigingstaken vanwege hun vermogen om veel berekeningen tegelijk af te handelen. Ze splitsen grote matrixproblemen op in kleinere segmenten en lossen deze tegelijkertijd op met behulp van een algoritme.
Het verfijnen van dat algoritme was de sleutel tot vooruitgang in de efficiëntie van matrixvermenigvuldiging in de afgelopen eeuw – zelfs voordat computers in beeld kwamen. In oktober 2022 hebben we een nieuwe techniek besproken die is ontdekt door een Google DeepMind AI-model genaamd AlphaTensor, waarbij we ons richtten op praktische algoritmische verbeteringen voor bepaalde matrixgroottes, zoals 4×4-matrices.
Daarentegen blijkt uit het nieuwe onderzoek van Ran Duan en Renfei Zhou van Tsinghua University, Hongxun Wu van de University of California, Berkeley en Virginia Vasilevska Williams, Yinzhan Xu en Zixuan Xu van het Massachusetts Institute of Technology (in een ander artikel), streeft naar theoretische verbeteringen om de complexiteitsexponent, ω, te verminderen voor een brede toename van de efficiëntie over alle matrixgroottes. In plaats van directe, praktische oplossingen zoals AlphaTensor te vinden, richt de nieuwe techniek zich op fundamentele verbeteringen die de efficiëntie van matrixvermenigvuldiging op een meer algemene schaal zouden kunnen transformeren.
Het naderen van de ideale waarde
De traditionele methode voor het vermenigvuldigen van twee n-bij-n-matrices vereist n³ afzonderlijke vermenigvuldigingen. Een nieuwe techniek, die een verbetering is ten opzichte van de ‘lasermethode’ geïntroduceerd door Volker Strassen in 1986, heeft echter de bovengrens van de exponent (aangeduid als de bovengenoemde ω) verlaagd, waardoor deze dichter bij de ideale waarde van 2 komt, die de theoretisch minimaal aantal vereiste handelingen.
Voor de traditionele manier om twee rasters vol getallen te vermenigvuldigen, kan het nodig zijn om de berekeningen tot 27 keer uit te voeren voor een raster van 3×3. Maar met deze vooruitgang wordt het proces versneld doordat de noodzakelijke vermenigvuldigingsstappen aanzienlijk worden verminderd. De inspanning minimaliseert de bewerkingen tot iets meer dan tweemaal de grootte van één zijde van het kwadraat van het raster, aangepast met een factor 2,371552. Dit is een groot probleem omdat het bijna de optimale efficiëntie bereikt van een verdubbeling van de vierkante afmetingen, wat de snelste is waar we ooit op zouden kunnen hopen.
Hier is een korte samenvatting van het evenement. In 2020 introduceerden Josh Alman en Williams een aanzienlijke verbetering in de efficiëntie van matrixvermenigvuldiging door een nieuwe bovengrens voor ω vast te stellen op ongeveer 2,3728596. In november 2023 ontdekten Duan en Zhou een methode die de inefficiëntie van de lasermethode aanpakte, door een nieuwe bovengrens voor ω in te stellen op ongeveer 2,371866. Deze prestatie markeerde de grootste vooruitgang op dit gebied sinds 2010. Maar slechts twee maanden later publiceerden Williams en haar team een tweede artikel waarin optimalisaties werden beschreven die de bovengrens van ω verlaagden tot 2,371552.
De doorbraak in 2023 kwam voort uit de ontdekking van ‘verborgen verliezen’ in de lasermethode, waarbij nuttige gegevensblokken onbedoeld worden weggegooid. In de context van matrixvermenigvuldiging verwijzen ‘blokken’ naar kleinere segmenten waarin een grote matrix is verdeeld voor gemakkelijke verwerking, en ‘bloklabeling’ is een techniek om deze segmenten te categoriseren om te identificeren welke moeten worden behouden en welke moeten worden weggegooid. , waardoor het vermenigvuldigingsproces wordt geoptimaliseerd voor snelheid en efficiëntie. Door de manier aan te passen waarop de lasermethode de blokken markeert, konden de onderzoekers de hoeveelheid afval verminderen en de efficiëntie aanzienlijk verbeteren.
Hoewel de daling van de omega-constante op het eerste gezicht misschien klein lijkt – een daling van 0,0013076 ten opzichte van de recordwaarde van 2020 – vertegenwoordigt het cumulatieve werk van Duan, Zhou en Williams de meest significante vooruitgang op dit gebied sinds 2010.
“Dit is een grote technische doorbraak”, zegt William Kuszmaul, een theoretisch computerwetenschapper aan de Harvard University, zoals geciteerd door Quanta Magazine. “Het is de grootste verbetering in matrixvermenigvuldiging die we in meer dan tien jaar hebben gezien.”
Hoewel verdere vooruitgang wordt verwacht, zijn er beperkingen aan de huidige aanpak. De onderzoekers geloven dat een dieper begrip van het probleem zal leiden tot de ontwikkeling van nog betere algoritmen. Zoals Zhou in het Quanta-rapport opmerkte: “Mensen bevinden zich nog in de allereerste fase van het begrijpen van dit eeuwenoude probleem.”
Wat zijn dan de praktische toepassingen? Voor AI-modellen zou het verminderen van rekenstappen voor matrixwiskunde zich kunnen vertalen in snellere trainingstijd en efficiëntere taakuitvoering. Dit zou een snellere training van complexere modellen mogelijk kunnen maken, wat mogelijk kan leiden tot vooruitgang in AI-mogelijkheden en de ontwikkeling van meer geavanceerde AI-toepassingen. Bovendien zou het verbeteren van de efficiëntie AI-technologieën betaalbaarder kunnen maken door de rekenkracht en het energieverbruik die voor deze taken nodig zijn, te verminderen. Het zou ook de impact van kunstmatige intelligentie op het milieu verminderen.
De exacte impact op de snelheid van het AI-model hangt af van de specifieke architectuur van het AI-systeem en de mate waarin zijn taken afhankelijk zijn van matrixvermenigvuldiging. Vooruitgang op het gebied van algoritmische efficiëntie moet vaak worden gekoppeld aan hardware-optimalisatie om potentiële snelheidswinsten volledig te realiseren. Maar toch, naarmate de verbeteringen in algoritmische technieken in de loop van de tijd toenemen, zal AI sneller worden.