| Ingediend | 30 oktober 2024 |
|---|---|
| Beantwoord | 8 januari 2025 (na 70 dagen) |
| Indiener | Doğukan Ergin (DENK) |
| Beantwoord door | Zsolt Szabó (VVD) |
| Onderwerpen | economie ict |
| Bron vraag | https://zoek.officielebekendmakingen.nl/kv-tk-2024Z17163.html |
| Bron antwoord | https://zoek.officielebekendmakingen.nl/ah-tk-20242025-981.html |
Ja, hier ben ik mee bekend.
Het is belangrijk dat er voor dit soort systemen een gedegen risicoanalyse wordt gemaakt. Het is straks verplicht om voor hoog-risico AI-systemen de risico’s af te wegen onder de AI-verordening. Vooruitlopend op de AI-verordening en ook voor AI-systemen die niet als hoog risico worden gecategoriseerd bestaan er al verschillende instrumenten om een dergelijke risicoafweging te maken, bijvoorbeeld de Impact Assessment Mensenrechten en Algoritmen (IAMA).
Alle AI-systemen moeten voldoen aan geldende wet- en regelgeving, ook de systemen met beperkte risico’s. Hiertoe bestaan vele instrumenten. In het algoritmekader wordt een overzicht geboden van de bestaande wettelijke verplichtingen, waaronder de AI-verordening. Ook wordt daarin verwezen naar maatregelen en worden verschillende instrumenten samengebracht om organisaties binnen de overheid te ondersteunen. Mensenrechtentoetsen, de AVG en het verbod op discriminatie zijn daar onderdeel van.
Niet alle AI-systemen hoeven in het Algoritmeregister te worden geregistreerd. Bijvoorbeeld als het gaat om een experiment dat geen impact heeft (gehad) op burgers of bedrijven, of als de impact van een AI-systeem met name indirect is.
Mij is bekend dat veel overheden, zowel binnen het Rijk als daarbuiten, bezig zijn met de vulling van het register, maar dat het inventariseren, beoordelen en registreren van AI-systemen tijd en capaciteit vraagt. Alle departementen hebben toegezegd ten minste de hoog-risico AI-systemen eind 2025 geregistreerd te hebben. In de Jaarrapportage Bedrijfsvoering Rijk zullen departementen inzicht verschaffen in de precieze voortgang.
Ik stimuleer overheden, zowel binnen de rijksoverheid als medeoverheden, om te publiceren in het algoritmeregister. Daarvoor neemt het Ministerie van BZK proactief contact op met overheden en wordt er ondersteund met verschillende instrumenten, zoals de handreiking algoritmeregister, templates van leveranciers, ondersteuning van een implementatieteam, zogenoemde aansluitsessies, een regiotour, een nieuwsbrief en artikelen met tips van organisaties die al gepubliceerd hebben.
Voor registratie in het algoritmeregister verwijs ik u naar vraag 4. Voor wat betreft de Europese databank, verplicht de AI-verordening de registratie van hoog risico AI-systemen door aanbieders en gebruiksverantwoordelijken van deze systemen in een EU-databank. Deze verplichting geldt per 2 augustus 2026 voor nieuwe hoog risico AI-systemen. Het is nog niet precies bekend hoe de EU-databank vormgegeven wordt.
Het Ministerie van Binnenlandse Zaken investeert in de kennis over biastoetsing binnen de overheid, zodat overheden- die daar zelf verantwoordelijk voor zijn – tijdig de juiste maatregelen nemen om dit te voorkomen. Het Ministerie van BZK heeft in 2021 een handreiking non-discriminatie laten opstellen. Recent is mede op basis van deze handreiking een e-learning module non-discriminatie uitgebracht.2 Daarnaast zijn er ook buiten het ministerie initiatieven die erop gericht zijn om nauwkeuriger aan de vereisten van non-discriminatie te voldoen, denk aan bias detectie tools of een gestandaardiseerde werkwijze voor profileringsalgoritmes. Door algoritmes te controleren aan de hand van deze standaard kunnen (indirecte) discriminatie en andere ongewenste effecten van profilering worden bestreden.3
Verschillende van deze hulpmiddelen komen samen in het algoritmekader, waarin ook de aanbeveling van het Rathenau-instituut4 is meegenomen om de manier waarop biastoetsing plaatsvindt te versterken.
Nee, die zorg deel ik niet. Alle AI-systemen die de overheid gebruikt moeten voldoen aan geldende wet- en regelgeving, waaronder de bepalingen van de AI-verordening die in fases van kracht wordt. Binnen de overheid zijn organisaties momenteel bezig met het inventariseren van de bestaande AI-systemen om vervolgens een inschatting te maken van de classificatie onder de AI-verordening. Op nationaal niveau zal voor deze EU-wetgeving toezicht worden ingericht op hoog-risico AI-systemen, bijvoorbeeld op de verplichting om hoog-risico AI-systemen te registeren in een EU-databank. Voor het niet registeren van deze AI-systemen kunnen sancties worden opgelegd door de toezichthouder. Ook het verkeerd inschatten van AI-systemen die onder de hoog-risico AI-toepassingsgebieden van de AI-verordening vallen, kan leiden tot sancties. Daarnaast spelen ook de Auditdienst Rijk (ADR) en de ARK door onder meer audits en onderzoeken een rol bij het in kaart brengen van risico’s op de inzet van AI bij de rijksoverheid.
DJI verkent de mogelijkheden van innovaties om de maatschappelijke opgave van DJI verder te kunnen verbeteren. Het is belangrijk dat er voor dit soort systemen een gedegen risicoanalyse wordt gemaakt (zie ook antwoord op vraag 2). In het geval van de robothond onderzoekt DJI in hoeverre een robothond de effectiviteit en efficiëntie van een celinspectie kan vergroten met inachtneming van waarborgen van gedetineerden, zoals privacy. De innovatiepilot loopt nog en duurt waarschijnlijk nog 2 jaar.
Aanbieders van hoog-risico AI-systemen moeten ervoor zorgen dat die systemen aan de eisen uit de AI-verordening voldoen. Dit houdt o.a. in dat systemen nauwkeurig werken en niet discrimineren. Deze (abstracte) eisen worden op Europees niveau nader uitgewerkt in concrete technische specificaties. Deze specificaties worden ook wel geharmoniseerde standaarden genoemd. Deze standaarden zijn er nog niet, maar worden momenteel op Europees niveau door o.a. Europese normalisatie-instituten ontwikkeld. Nederland en het kabinet zijn via het Nederlandse normalisatie-instituut (NEN) betrokken bij de uitwerking van deze standaarden.
Op dit moment zijn er al verschillende trajecten die bijdragen aan het borgen van veilige en rechtvaardige AI-systemen.
In het kader van de AI-verordening zal toezicht worden ingericht op de ontwikkeling en het gebruik van AI-systemen. Op AI-systemen met een onaanvaardbaar risico of AI-systemen die een hoog risico vormen voor de veiligheid, gezondheid en grondrechten van burgers, zal onder meer toezicht worden gehouden, waarbij overtredingen kunnen leiden tot hoge boetes. Momenteel werken de betrokken ministeries onder leiding van EZ, BZK en JenV uit hoe het toezicht op de AI-verordening het beste kan worden ingericht. Daarbij wordt het advies van de toezichthouders over deze inrichting betrokken.5
Naast de AI-verordening is er voor de inzet van AI en algoritmes ook (mogelijk) andere wet- en regelgeving van toepassing. Zo verwerken veel risicovolle toepassingen op het gebied van AI en algoritmes persoonsgegevens. Dit AVG-toezicht is de afgelopen jaren structureel versterkt.
De Directie Coördinatie Algoritmes (DCA) bij de Autoriteit Persoonsgegevens (AP) heeft daarnaast als coördinerend toezichthouder op algoritmes en AI oog voor belangrijke (publieke) waarden als rechtvaardigheid en veiligheid, bijvoorbeeld door het signaleren van risico’s en het delen van kennis op dit gebied met andere (sectorale) toezichthouders.
Op verzoek van uw Kamer is een eerste versie van een discriminatieprotocol opgesteld.6 Deze is opgenomen in het algoritmekader. In dit protocol zijn de lessen van en ervaringen met de Toeslagenaffaire en DUO verwerkt. Het kabinet investeert in vroegtijdige toetsing, maar mocht het ondanks alle voorzorgsmaatregelen toch misgaan, is het belangrijk om een werkwijze te hebben om de situatie te herstellen. Het discriminatieprotocol is een handvat, dat overheidsorganisaties kunnen gebruiken om hun eigen werkwijze in te richten. Een onderdeel van het protocol is om een noodplan achter de hand te hebben om een algoritme te kunnen stoppen. Ook richt het protocol zich op het herstellen van de schade. Onderdeel is het informeren van betrokkenen en zorgdragen voor adequate herstelprocedures.
Zie antwoord op vraag 11.
Voor de definitie van hoog-risico AI-systemen wordt gebaseerd op de definitie uit de AI-verordening. In de verordening zijn bepaalde toepassingsgebieden als hoog-risico geclassificeerd, vanwege het risico dat zij vormen voor onze gezondheid, veiligheid en grondrechten. Daarbij is het verbod op non-discriminatie een bijzonder relevante factor. De verantwoordelijkheid voor het juist classificeren ligt bij de overheidsorganisaties zelf, waarop toezicht gehouden kan worden door een toezichthouder op basis van de AI-verordening. Het algoritmeregister maakt het mogelijk om te filteren op AI-systemen die door overheidsorganisaties zelf gecategoriseerd zijn als hoog-risico.7
De AI-verordening verplicht gebruikers bij het gebruik van hoog-risico AI-systemen voor besluitvorming, de daardoor geraakte natuurlijke persoon hierover te informeren. Daarnaast heeft de natuurlijke persoon een recht op uitleg bij de inzet van bepaalde hoog-risico AI-toepassingen.
In het regeerprogramma staat verder dat het kabinet werk maakt van transparantie over het gebruik van AI en algoritmes door de overheid. Momenteel wordt nader bezien hoe hier invulling aan kan worden gegeven.
Zie o.a. antwoorden op vragen 6, 9, 10 en 11. Het is belangrijk dat de normen goed toepasbaar worden gemaakt, gestandaardiseerde werkwijzen worden ontwikkeld -met name voor de gevoelige (profilerings-)algoritmes, tijdig wordt getoetst, risico’s worden gemitigeerd en een werkwijze achter de hand is om schade te herstellen. Aanvullend wil het kabinet ervoor zorgen dat burgers, met name kwetsbare burgers (of organisaties die hen vertegenwoordigen) worden betrokken en hun input leveren. Dat kan via burgerpanels en/of ethische commissies.
Zie antwoord op vraag 6.
De verantwoordelijkheid hiervoor ligt primair bij de overheidsorganisaties die het AI-systeem inzetten. Zij worden geacht maatregelen te nemen om te voldoen aan wetgeving en daarvoor intern toezicht op te stellen. Het Ministerie van BZK stelt hiervoor hulpmiddelen ter beschikking, zoals de handreiking non-discriminatie by design, het impact assessment mensenrechten en algoritmes (IAMA) en het algoritmekader. Onrechtmatig handelen kan daarnaast opgespoord worden door toezichthouders.