Aurich / Getty
Het plan van de Amerikaanse president Joe Biden om de dreiging van kunstmatige intelligentie het hoofd te bieden, loopt nu al het risico te worden ontspoord door congrestellers.
Een in oktober gepubliceerd uitvoerend bevel van het Witte Huis over AI roept de VS op om nieuwe normen te ontwikkelen voor het stresstesten van kunstmatige-intelligentiesystemen om hun vooroordelen, verborgen bedreigingen en leugenachtige neigingen op te sporen. Maar de instantie die belast is met het vaststellen van die normen, het National Institute of Standards and Technology (NIST), heeft niet het budget om de klus op eigen kracht te voltooien tegen de deadline van 26 juli 2024, volgens verschillende mensen met kennis van de technologie. werk.
Elham Tabassi, adjunct-directeur voor opkomende technologieën bij NIST, sprak vorige week op de NeurIPS AI-conferentie in New Orleans en beschreef dit als een “bijna onmogelijke deadline” voor het bureau.
Sommige congresleden zijn bezorgd dat NIST gedwongen zal worden zwaar te leunen op de AI-expertise van particuliere bedrijven die vanwege hun eigen AI-projecten belang hebben bij het vormgeven van de standaarden.
De Amerikaanse regering heeft NIST al ingeschakeld om AI te helpen reguleren. In januari 2023 publiceerde het Agentschap een raamwerk voor AI-risicobeheer als leidraad voor het bedrijfsleven en de overheid. NIST heeft ook manieren bedacht om het vertrouwen van het publiek in nieuwe AI-instrumenten te meten. Maar het bureau, dat alles standaardiseert, van voedselingrediënten tot radioactieve materialen en atoomklokken, beschikt over weinig middelen vergeleken met die van de bedrijven die voorop lopen op het gebied van AI. OpenAI, Google en Meta hebben waarschijnlijk meer dan $100 miljoen uitgegeven aan het trainen van de krachtige taalmodellen die ten grondslag liggen aan apps als ChatGPT, Bard en Llama 2.
Het budget van NIST voor 2023 bedroeg 1,6 miljard dollar, en het Witte Huis heeft verzocht dit in 2024 met 29 procent te verhogen voor initiatieven die niet direct verband houden met kunstmatige intelligentie. Verschillende bronnen die bekend zijn met de situatie bij NIST zeggen dat de huidige begroting van het agentschap zich niet zal uitstrekken tot een op zichzelf staande evaluatie van AI-beveiliging.
Op 16 december, dezelfde dag dat Tabassi op NeurIPS sprak, ondertekenden zes leden van het Congres een tweeledige open brief waarin zij hun bezorgdheid uitten over de mogelijkheid dat NIST particuliere bedrijven zou inhuren met weinig transparantie. “We hebben vernomen dat NIST van plan is subsidies of onderscheidingen te verlenen aan externe organisaties voor buitengewoon onderzoek”, schreven ze. In de brief wordt gewaarschuwd dat er geen publiek beschikbare informatie lijkt te zijn over hoe over deze prijzen zal worden beslist.
In de brief van de wetgevers wordt ook beweerd dat NIST haast heeft met het definiëren van normen, ook al bevindt het onderzoek naar het testen van AI-systemen zich nog in de beginfase. Als gevolg hiervan bestaat er ‘aanzienlijke onenigheid’ onder AI-experts over hoe beveiligingsproblemen met de technologie moeten worden aangepakt of zelfs kunnen worden gemeten en gedefinieerd, aldus het rapport. “De huidige stand van zaken op het gebied van AI-beveiligingsonderzoek schept uitdagingen voor NIST bij het beheren van zijn leidende rol op dit gebied”, aldus de brief.
NIST-woordvoerster Jennifer Huergo bevestigde dat het agentschap de brief had ontvangen en zei dat het “via de juiste kanalen zou reageren”.
NIST onderneemt enkele stappen om de transparantie te vergroten, waaronder het uitbrengen van een verzoek om informatie op 19 december, waarbij commentaar wordt gevraagd van externe experts en bedrijven over normen voor het evalueren en bundelen van AI-modellen. Het is onduidelijk of dit een reactie was op een brief van leden van het Congres.
De zorgen van wetgevers worden gedeeld door sommige experts op het gebied van kunstmatige intelligentie, die jarenlang manieren hebben ontwikkeld om AI-systemen te testen. “Als onpartijdig wetenschappelijk orgaan is NIST de beste hoop om de hype en speculatie over de risico’s van kunstmatige intelligentie te doorbreken”, zegt Rumman Chowdhury, datawetenschapper en CEO van Parity Consulting, gespecialiseerd in het testen van AI-modellen op vooroordelen en andere problemen. . “Maar om hun werk goed te kunnen doen, hebben ze meer nodig dan mandaten en goede wensen.”
Yacine Jernite, hoofd machine learning en society bij Hugging Face, een bedrijf dat open source AI-projecten ondersteunt, zegt dat big tech over veel meer middelen beschikt dan het bureau dat een sleutelrol heeft gekregen bij de implementatie van het ambitieuze AI-plan van het Witte Huis. “NIST heeft fantastisch werk geleverd door de risico’s van kunstmatige intelligentie te beheersen, maar de druk om onmiddellijke oplossingen te vinden voor problemen op de lange termijn maakt hun missie uiterst moeilijk”, zegt Jernite. “Ze beschikken over aanzienlijk minder middelen dan de bedrijven die de meest zichtbare AI-systemen ontwikkelen.”
Margaret Mitchell, hoofd ethiekwetenschapper bij Hugging Face, zegt dat de groeiende geheimhouding rond commerciële AI-modellen het meten een grotere uitdaging maakt voor een organisatie als NIST. “Wat we niet kunnen meten, kunnen we niet verbeteren”, zegt ze.
Het uitvoeringsbesluit van het Witte Huis roept NIST op om verschillende taken uit te voeren, waaronder de oprichting van een nieuw Artificial Intelligence Security Institute ter ondersteuning van de ontwikkeling van veilige kunstmatige intelligentie. In april werd een Britse taskforce aangekondigd die zich op AI-beveiliging zou richten. Het zal $126 miljoen aan startfinanciering ontvangen.
Het uitvoerend bevel gaf NIST een agressieve deadline om onder andere richtlijnen te bedenken voor het evalueren van AI-modellen, principes voor ‘red team’-modellen (tegenstrijdig testen) en het ontwikkelen van een plan om de Amerikaanse bondgenoten ertoe te brengen in te stemmen met de NIST-normen. en het bedenken van een plan om “verantwoordelijke mondiale technische normen voor de ontwikkeling van kunstmatige intelligentie te bevorderen”.
Hoewel het niet duidelijk is hoe NIST omgaat met grote technologiebedrijven, waren er onder meer Microsoft; Anthropic, een startup gevormd door voormalige OpenAI-medewerkers die geavanceerde AI-modellen bouwt; Het Partnership on AI, dat grote technologiebedrijven vertegenwoordigt; en het Future of Life Institute, een non-profitorganisatie die zich onder meer richt op existentiële risico’s.
“Als kwantitatief sociaal wetenschapper vind ik het geweldig en haat ik het dat mensen begrijpen dat macht afhangt van het meten”, zegt Chowdhury.
Dit verhaal verscheen oorspronkelijk op wired.com.