De vereenvoudiging, die in detail is bestudeerd door een groep onder leiding van MIT-onderzoekers, zou het gemakkelijker kunnen maken om te begrijpen waarom neurale netwerken bepaalde output produceren, hun beslissingen kunnen helpen verifiëren en zelfs vooringenomenheid kunnen onderzoeken. Voorlopig bewijs suggereert ook dat naarmate KAN’s groter worden, hun nauwkeurigheid sneller toeneemt dan netwerken die zijn opgebouwd uit traditionele neuronen.
“Het is interessant werk”, zegt Andrew Wilson, die de grondbeginselen van machine learning bestudeert aan de New York University. “Het is leuk dat mensen proberen het ontwerp hiervan fundamenteel te heroverwegen [networks].”
De basiselementen van KAN werden feitelijk in de jaren negentig voorgesteld, en onderzoekers zijn doorgegaan met het bouwen van eenvoudige versies van dergelijke netwerken. Maar een door MIT geleid team ging nog verder met het idee en liet zien hoe je grotere KAN’s kunt bouwen en trainen, er empirische tests op kunt uitvoeren en enkele KAN’s kunt analyseren om aan te tonen hoe mensen hun probleemoplossend vermogen kunnen interpreteren. “We hebben dit idee nieuw leven ingeblazen”, zegt teamlid Ziming Liu, een promovendus in het laboratorium van Max Tegmark aan het MIT. “En hopelijk met interpreteerbaarheid… wij [may] niet meer [have to] Ik denk dat neurale netwerken zwarte dozen zijn.”
Hoewel het nog vroeg is, trekt het werk van het team bij KANs de aandacht. Er zijn GitHub-pagina’s verschenen die laten zien hoe KAN’s kunnen worden gebruikt voor een groot aantal toepassingen, zoals beeldherkenning en het oplossen van vloeistofdynamica-problemen.
De formule vinden
De huidige doorbraak kwam toen Liu en collega’s van MIT, Caltech en andere instituten probeerden de innerlijke werking van standaard kunstmatige neurale netwerken te begrijpen.
Tegenwoordig maken bijna alle soorten AI, inclusief de vormen die worden gebruikt om grote taalmodellen en beeldherkenningssystemen te bouwen, gebruik van subnetwerken die bekend staan als meerlaagse perceptrons (MLP’s). Bij MLP zijn kunstmatige neuronen gerangschikt in dichte, onderling verbonden “lagen”. Elk neuron heeft iets in zich dat een ‘activeringsfunctie’ wordt genoemd: een wiskundige bewerking die een aantal inputs nodig heeft en deze op een vooraf gespecificeerde manier omzet in een output.