Meta traint al een krachtigere opvolger van Llama 3

Zuckerberg legde vandaag op Instagram uit dat Meta de nieuwe Meta AI-assistent, mogelijk gemaakt door Llama 3, zal integreren in producten als Whatsapp, Instagram, Facebook en Messenger.

Meta zei in haar blogpost waarin ze Llama 3 aankondigde dat het zich sterk heeft gericht op het verbeteren van de trainingsgegevens die zijn gebruikt om het model te ontwikkelen. Het ontving zeven keer meer gegevens dan zijn voorganger, Llama 2, aldus het bedrijf. Sommige AI-experts merkten op dat uit de door Meta vrijgegeven cijfers ook blijkt dat de creatie van Llama 3 enorme hoeveelheden energie nodig om de benodigde servers van stroom te voorzien.

De groeiende mogelijkheden van open-source AI-modellen hebben sommige experts ertoe aangezet zich zorgen te maken dat ze de ontwikkeling van cyber-, chemische of biologische wapens zouden kunnen vergemakkelijken – of zelfs vijandig tegenover de mens zouden kunnen worden. Meta heeft tools uitgebracht die volgens haar kunnen helpen ervoor te zorgen dat de lama geen potentieel schadelijke uitdrukkingen maakt.

Anderen op AI-gebied zeggen dat de Llama-modellen van Meta niet zo open zijn als ze zouden kunnen zijn. De open source-licentie van het bedrijf voor de modellen stelt bepaalde grenzen aan wat onderzoekers en ontwikkelaars kunnen bouwen.

“Het is geweldig om te zien dat steeds meer modellen openlijk hun gewicht loslaten”, zegt Luca Soldaini, senior toegepast onderzoeker bij het Allen Institute for AI, een non-profit laboratorium, in een verklaring na de release van Llama 3. “Maar de open gemeenschap heeft behoefte aan toegang tot al het andere deel van de AI-pijplijn: de gegevens, training, logs, code en evaluaties. Dit is wat uiteindelijk ons ​​collectieve begrip van deze modellen zal versnellen.”

Stella Biderman, een onderzoeker op het gebied van kunstmatige intelligentie die betrokken is bij EleutherAI, een non-profit open source AI-project, zegt dat Meta’s licentie voor Llama 2 de experimenten beperkte die AI-onderzoekers ermee konden uitvoeren, en voegde eraan toe dat de Llama 3-licentie zelfs nog restrictiever lijkt. “Meta maakt gewichten vrij, maar het is notoir beperkend in termen van wat je ermee kunt doen”, zegt Biderman.

In een deel van de licentie van het model staat dat bedrijven met “meer dan 700 miljoen actieve gebruikers per maand” een aparte licentie moeten aanvragen bij Meta – een clausule die blijkbaar is bedoeld om te voorkomen dat het project de naaste concurrenten van het bedrijf helpt.

Toch lijkt Llama 3 een nieuwe golf van AI-experimenten te veroorzaken. Clement Delange, CEO van HuggingFace, een opslagplaats voor open AI-modellen, waaronder Llama 3, zegt dat ontwikkelaars meer dan 30.000 varianten van Llama 2 hebben gemaakt. “Ik ben er zeker van dat we ook een stortvloed aan nieuwe modellen zullen zien, gebaseerd op Llama 3. ‘ zegt hij. ‘Geweldige community-actie van Meta.’