Organisaties die AI-systemen ontwikkelen of inzetten, weten dat het gebruik van AI een breed scala aan risico’s met zich meebrengt, waaronder juridische en regelgevende gevolgen, potentiële reputatieschade en ethische kwesties zoals vooringenomenheid en gebrek aan transparantie. Ze weten ook dat ze met goed bestuur risico’s kunnen beperken en ervoor kunnen zorgen dat AI-systemen op verantwoorde wijze worden ontwikkeld en gebruikt. De doelstellingen zijn onder meer ervoor te zorgen dat systemen eerlijk, transparant, verantwoordelijk en nuttig zijn voor de samenleving.
Zelfs organisaties die verantwoorde AI nastreven, hebben moeite om te beoordelen of ze hun doelen bereiken. Dat is de reden waarom het AI Policy Committee van IEEE-USA het ‘A flexible AI Governance Maturity Model Based on the NIST AI Risk Management Framework’ heeft uitgebracht, waarmee organisaties hun voortgang kunnen beoordelen en volgen. Het volwassenheidsmodel is gebaseerd op de richtlijnen die zijn uiteengezet in het Risk Management Framework (RMF) van het Amerikaanse National Institute of Standards and Technology (RMF) en andere NIST-documenten.
Voortbouwend op het werk van NIST
NIST’s RMF, een gerespecteerd AI-governancedocument, schetst best practices voor AI-risicobeheer. Maar het raamwerk biedt geen specifieke richtlijnen over hoe organisaties kunnen evolueren in de richting van de beste praktijken die het schetst, en suggereert evenmin hoe organisaties kunnen evalueren in welke mate zij de richtlijnen volgen. Organisaties kunnen daarom worstelen met vragen over hoe ze het raamwerk moeten implementeren. Bovendien kunnen externe belanghebbenden, waaronder investeerders en consumenten, het een uitdaging vinden om het document te gebruiken om de praktijken van AI-leveranciers te beoordelen.
Het nieuwe IEEE-USA Maturity Model vormt een aanvulling op het RMF, waardoor organisaties de fase van hun AI-verantwoordelijke managementtraject kunnen bepalen, hun voortgang kunnen volgen en een routekaart voor verbetering kunnen creëren. Volwassenheidsmodellen zijn instrumenten voor het meten van de mate van betrokkenheid of naleving van een technische standaard door een organisatie en haar vermogen om zich voortdurend te verbeteren in een bepaalde discipline. Organisaties gebruiken sinds de jaren tachtig modellen om hen te helpen complexe capaciteiten te beoordelen en te ontwikkelen.
De activiteiten van het raamwerk zijn opgebouwd rond de vier pijlers van het RMF, die dialoog, begrip en actie mogelijk maken om AI-risico’s en verantwoordelijkheden te beheren bij de ontwikkeling van betrouwbare AI-systemen. De pijlers zijn:
- Kaart: De context wordt onderkend en de risico’s verbonden aan de context worden geïdentificeerd.
- Maatregel: Geïdentificeerde risico’s worden beoordeeld, geanalyseerd of gemonitord.
- Beheer: Risico’s worden geprioriteerd en er wordt actie op ondernomen op basis van de verwachte impact.
- Regel: Er wordt een cultuur van risicobeheer gecultiveerd en aanwezig.
Flexibele vragenlijst
De basis van het IEEE-USA Maturity Model is een flexibele vragenlijst gebaseerd op de RMF. De vragenlijst bevat een lijst met stellingen, die elk een of meer aanbevolen RMF-activiteiten bestrijken. Eén verklaring luidt bijvoorbeeld: “We beoordelen en documenteren problemen met vooringenomenheid en eerlijkheid die worden veroorzaakt door onze AI-systemen.” Verklaringen richten zich op specifieke, verifieerbare acties die bedrijven kunnen ondernemen, en vermijden algemene en abstracte uitspraken als “Onze AI-systemen zijn eerlijk.”
De stellingen zijn onderverdeeld in onderwerpen die aansluiten bij de pijlers van het RFM. De onderwerpen zijn op hun beurt georganiseerd in fasen van de levenscyclus van de AI-ontwikkeling, zoals beschreven in het RMF: planning en ontwerp, gegevensverzameling en modelbouw, en implementatie. Een beoordelaar die een AI-systeem in een bepaalde fase evalueert, kan gemakkelijk alleen relevante onderwerpen onderzoeken.
Richtlijnen voor scoren
Het Maturity Model omvat deze scorerichtlijnen, die de idealen weerspiegelen die in het RMF zijn uiteengezet:
- Robuustheid, die zich uitstrekt van ad-hoc tot systematische uitvoering van activiteiten.
- dekking,variërend van deelname aan geen van de activiteiten tot deelname aan alle activiteiten.
- Een verscheidenheid aan ingangen, variërend vanhet hebben van activiteiten op basis van de input van één team en verschillende input van interne en externe belanghebbenden.
Beoordelaars kunnen ervoor kiezen om individuele uitspraken of grotere thema’s te evalueren, waardoor ze de mate van granulariteit van de evaluatie kunnen bepalen. Bovendien wordt van de beoordelaars verwacht dat zij gedocumenteerd bewijs leveren om de toegekende punten toe te lichten. Bewijs kan bestaan uit interne bedrijfsdocumenten zoals procedurehandleidingen, maar ook uit jaarverslagen, krantenartikelen en ander extern materiaal.
Na het scoren van individuele uitspraken of thema’s voegen de beoordelaars de resultaten samen om een totaalscore te verkrijgen. Het volwassenheidsmodel maakt flexibiliteit mogelijk, afhankelijk van de interesse van de evaluator. Resultaten kunnen bijvoorbeeld worden samengevoegd met behulp van NIST-kolommen, waardoor resultaten worden verkregen voor de functies “kaart”, “meting”, “bestuur” en “bestuur”.
Bij intern gebruik kan een volwassenheidsmodel organisaties helpen bepalen waar ze staan op het gebied van verantwoorde AI en stappen identificeren om hun bestuur te verbeteren.
Aggregatie kan systematische zwakke punten in de benadering van een organisatie ten aanzien van AI-verantwoording aan het licht brengen. Als de score van een bedrijf hoog is op ‘governance’-activiteiten, maar laag op bijvoorbeeld andere pijlers, kan het zijn dat er sprake is van gezond beleid dat niet wordt geïmplementeerd.
Een andere scoremogelijkheid is om de cijfers samen te voegen op basis van enkele dimensies van AI-verantwoordelijkheid die in het RMF worden benadrukt: prestaties, eerlijkheid, privacy, ecologie, transparantie, beveiliging, verklaarbaarheid, veiligheid en derde partijen (intellectueel eigendom en auteursrecht). Deze aggregatiemethode kan helpen bepalen of organisaties bepaalde kwesties negeren. Sommige organisaties kunnen bijvoorbeeld opscheppen over hun AI-verantwoordelijkheid op basis van hun activiteiten in een paar risicogebieden, terwijl ze andere categorieën negeren.
De weg naar betere besluitvorming
Bij intern gebruik kan een volwassenheidsmodel organisaties helpen bepalen waar ze staan op het gebied van verantwoorde AI en stappen identificeren om hun bestuur te verbeteren. Het model stelt bedrijven in staat doelen te stellen en hun voortgang te monitoren door middel van herhaalde evaluaties. Investeerders, klanten, consumenten en andere externe belanghebbenden kunnen het model gebruiken om beslissingen te nemen over het bedrijf en zijn producten.
Bij gebruik door interne of externe belanghebbenden kan het nieuwe IEEE-USA Maturity Model een aanvulling vormen op het NIST AI RMF en helpen de voortgang van een organisatie op het verantwoorde managementtraject te volgen.