| Ingediend | 16 april 2021 |
|---|---|
| Beantwoord | 3 juni 2021 (na 48 dagen) |
| Indieners | Bouchallikh , Laura Bromet (GL) |
| Beantwoord door | Kajsa Ollongren (viceminister-president , minister binnenlandse zaken en koninkrijksrelaties) (D66), Raymond Knops (staatssecretaris binnenlandse zaken en koninkrijksrelaties) (CDA) |
| Onderwerpen | bestuur gemeenten recht staatsrecht |
| Bron vraag | https://zoek.officielebekendmakingen.nl/kv-tk-2021Z06272.html |
| Bron antwoord | https://zoek.officielebekendmakingen.nl/ah-tk-20202021-3052.html |
Ja.
Het is belangrijk om onderzoek te doen naar de manier waarop algoritmische data-analyses in de praktijk door de overheid gebruikt worden en hoe het toezicht daarop georganiseerd is. Het Rekenkamerrapport maakt nog eens inzichtelijk dat er risico’s op het gebied van vooringenomenheid kunnen ontstaan wanneer in datasets (indirect) onderscheid wordt gemaakt met behulp van variabelen. De Rekenkamer Rotterdam concludeert dat er in deze gemeente aandacht is voor ethische principes bij het gebruik van algoritmen, maar dat deze aandacht nog niet wijdverspreid is. De gemeente Rotterdam is eerstverantwoordelijk om op dit rapport te reageren en dat heeft de gemeente ook gedaan.
In haar bestuurlijke reactie zegt de gemeente dat het genoemde algoritme geen fraude opspoort, maar risico op fraude inschat. Het gaat om een risico-inschattingsmodel dat op basis van beschikbare historische data uit het uitkeringsproces een inschatting maakt van de kans dat er iets met de rechtmatigheid van een uitkering aan de hand kan zijn. Op basis van de risico-inschatting worden uitkeringsgerechtigden uitgenodigd voor een gesprek. Daarna wordt de rechtmatigheid van de uitkering beoordeeld.
De gemeente Rotterdam zegt dat er geen sprake is van een zelflerend algoritme. Het ontwikkelen («trainen») van het algoritmisch model gebeurt door in data van historische rechtmatigheidsonderzoeken naar patronen te zoeken en te testen of deze patronen in ongeziene data (een apart gehouden deel van de historische rechtmatigheidsonderzoeken) een voorspellende waarde hebben over de mate van (on)rechtmatigheid. Hierin zit altijd een menselijke handeling.
Ik deel de conclusie dat door het gebruik van variabelen die een (indirecte) relatie hebben met een in de wet beschermde grond zoals leeftijd of godsdienst, vooringenomenheid in algoritmische modellen kan ontstaan. Dat moet worden voorkomen. Het gebruik van kenmerken die indirect verwijzen naar een beschermde grond is lastiger te herkennen dan kenmerken die direct verwijzen naar beschermde gronden. In het voorbeeld van de Rekenkamer Rotterdam wordt spreekvaardigheid genoemd als een kenmerk dat indirect kan verwijzen naar iemands afkomst of etniciteit. De gemeente Rotterdam zegt dat zij voorafgaand aan het Rekenkameronderzoek op eigen verzoek een onderzoek door Concern Auditing heeft laten uitvoeren op het algoritme. Door Concern Auditing is aangegeven dat er bij de ontwikkeling van het algoritme en de werking daarvan goed is nagedacht over keuzes en maatregelen om vooringenomenheid te voorkomen. Zo bevat de input geen beschermde gronden zoals nationaliteit en vindt er pseudonimisering plaats op de data waarop het algoritme draait. Ook wordt de output gescreend om te voorkomen dat er onnodige heronderzoeken plaatsvinden.
Niet alleen de gemeente Rotterdam zet algoritmen in ter ondersteuning van publieke taken; vele overheden doen dat. Daarom wordt vanuit het Ministerie van BZK beleid ontwikkeld dat overheden helpt om algoritmen op een verantwoorde manier in te zetten. Om vooringenomenheid van algoritmische modellen te voorkomen, is de Handreiking AI-systeemprincipes voor non-discriminatie ontwikkeld (die binnenkort aan uw Kamer zal worden toegezonden). De handreiking bevat een overzicht van de belangrijkste non-discriminatiewetgeving en allerlei voorbeelden van direct en indirect onderscheid die mogelijk kunnen leiden tot discriminatie. De handreiking helpt overheden om al in de ontwikkelfase van een algoritmisch systeem discriminerende patronen in modellen en gegevens zoveel mogelijk te identificeren, te voorkomen en te bestrijden. In de handreiking is een vertaalslag gemaakt van essentiële juridische kaders naar operationele ontwerpprincipes. Binnenkort zal het ministerie daarnaast een impact assessment mensenrechten en algoritmen (IAMA) publiceren. Dit impact assessment helpt overheden om risico’s voor mensenrechten (waaronder non-discriminatie) bij de ontwikkeling van systemen in kaart te brengen en af te zwakken. Verschillende instrumenten voor een verantwoorde inzet van algoritmen komen samen in de toolbox ethisch verantwoord innoveren voor overheden.3
Het is niet toegestaan om nationaliteit of etniciteit te gebruiken als indicator in risicomodellen tenzij er een objectieve rechtvaardiging voor die gegevensverwerking is en het gemaakt onderscheid proportioneel is. Naast de bovengenoemde instrumenten die overheden helpen om de juiste variabelen in modellen te gebruiken, kijken we ook naar de kwaliteit van bestaande modellen in de praktijk. Zo vindt er momenteel een rijksbrede inventarisatie plaats naar het onrechtmatig (niet volgens geldende wet- en regelgeving toegestane) en het oneigenlijk (niet objectief gerechtvaardigd) gebruik van nationaliteit, etniciteit en geboorteplaats in risicomodellen. Als gegevens zijn gebaseerd op onrechtmatig en oneigenlijk gebruik in risicomodellen, dan worden deze gegevens beschouwd als vervuilde data en worden deze opgeruimd door de overheidsinstellingen zelf. Gemeenten en andere overheidsinstellingen zijn bij deze inventarisatie betrokken in zoverre zij onderdeel zijn van de ketens en dienstverleningsprocessen aan burgers en bedrijven. Op 8 april jl. zond ik uw Kamer hierover een brief.5 De rijksbrede inventarisatie is een uitwerking van de motie van het lid Marijnissen (SP) c.s. om voor 1 maart een voorstel te doen hoe overal binnen overheidsinstellingen vervuilde data, risicomodellen en het gebruik van nationaliteit worden opgeruimd met inachtneming van de motie van het lid Klaver (GroenLinks) c.s. om hierbij niet alleen te kijken naar nationaliteit, maar ook naar etniciteit en geboorteplaats.
Het transparantievereiste uit de AVG (artikel 5, eerste lid, onder a) vergt dat persoonsgegevens worden verwerkt op een wijze die voor de betrokkenen transparant is. Dit beginsel wordt uitgewerkt in verschillende informatieverplichtingen. Bij artikel 5 AVG is overwogen dat overeenkomstig het transparantiebeginsel informatie en communicatie in verband met de verwerking van die persoonsgegevens eenvoudig toegankelijk en begrijpelijk moeten zijn, en dat duidelijke en eenvoudige taal moet worden gebruikt. Het beginsel betreft met name het informeren van de betrokkenen over de identiteit van de verwerkingsverantwoordelijke en de doeleinden van de verwerking. Tevens bevat het beginsel verdere informatie om te zorgen voor behoorlijke en transparante verwerking met betrekking tot de natuurlijke personen in kwestie en hun recht om bevestiging en mededeling te krijgen van hun persoonsgegevens die worden verwerkt.
De gemeente Rotterdam heeft aangegeven zich ervan bewust te zijn dat er duidelijker moet worden gecommuniceerd over het gebruik van algoritmen. Ook uit een interne beoordeling van het risico-inschattingsmodel, die de gemeente op eigen initiatief heeft laten uitvoeren voorafgaand aan het rapport van de Rekenkamer Rotterdam, was al gebleken dat transparantie rondom en communicatie over het gebruik van het algoritme aandacht behoeven. De gemeente heeft inmiddels actie uitgezet om dit te verbeteren. Dit zou in de komende maanden zichtbaar moeten worden.
In de SyRI-uitspraak wijst de rechtbank fraudebestrijding en het verzamelen en combineren van gegevens en het gebruik van algoritmen/profilering daarvoor niet zonder meer af. De rechtbank oordeelde dat het programma niet in verhouding stond met de inmenging in de privacy die de toepassing met zich meebracht. Het systeem was volgens de rechtbank onvoldoende transparant, o.a. over welke objectieve feitelijke gegevens tot een verhoogd risico konden leiden, over de werking van het risicomodel (dus welk type algoritme, welke methode voor risicoanalyse), en over hoe het model gevalideerd werd. Ook was het niet duidelijk hoe betrokkenen geïnformeerd werden of konden controleren of hun gegevens op de juiste manier werden verwerkt. Bovendien werden bij SyRI veel gegevens gecombineerd, zonder integraal toezicht van een onafhankelijke derde, wat strijdig is met doelbinding. Tot slot was niet duidelijk of het risico op discriminatie werd ondervangen.
In algemene zin bestaat er ruimte om algoritmen in te zetten bij het uitoefenen van taken en bevoegdheden. De wet biedt daar kaders voor, in het bijzonder de AVG. De rekenkamer en de bestuurlijke reactie van de gemeente Rotterdam adresseren dezelfde zorgen die ook in deze uitspraak geuit zijn. Daarbij gaat het met name om transparantie en om de validatie van de gebruikte modellen.
De gemeente Rotterdam heeft aangegeven dat het project feitelijk niet meer de status heeft van een pilot, ook al suggereert de naamgeving dit. De gemeente heeft toegezegd hierover duidelijk te zullen communiceren, bijvoorbeeld via haar website.
Uiteindelijk zijn gemeenten zelf verantwoordelijk voor naleving van de wet. Dat geldt ook wanneer zij algoritmen inzetten. Als rijksoverheid bieden wij kaders en beleid om dit zo goed mogelijk te doen.
In het rapport is niet gesteld dat de betrokken ambtenaren geen enkel besef hebben van de ethische risico’s die zijn verbonden aan het gebruik van algoritmen. Wel constateert de Rekenkamer Rotterdam dat instrumentarium om ethische risico’s in beeld te brengen en te toetsen, onvoldoende aanwezig is of wordt gebruikt. De gemeente Rotterdam heeft aangegeven ervoor zorg te dragen dat gemaakte keuzes rondom ethische vraagstukken, navolgbaar zullen worden vastgelegd.
Vanuit het Ministerie van BZK zetten we de komende jaren in op het beter over het voetlicht brengen van eerdergenoemde instrumenten voor een verantwoorde inzet van algoritmen. Daarnaast hebben we het Rathenau Instituut gevraagd om in kaart te brengen op welke vlakken (denk aan bijvoorbeeld kennis, capaciteit en processen) overheidsorganisaties verder versterkt kunnen worden om mensenrechten (zoals non-discriminatie) bij digitalisering (en dus de inzet van algoritmen) te borgen.
Vanuit de Vereniging van Nederlandse Gemeenten (VNG) worden gemeenten daarnaast gestimuleerd om een commissie in te zetten die advies geeft over de ethische en maatschappelijke aspecten van digitaliseringsprojecten.
Die mening deel ik. Het bewustzijn van de risico’s is altijd de eerste stap. Er bestaan al instrumenten, zoals het Privacy Impact Assessment (PIA), waarmee de risico’s in kaart worden gebracht. Zo’n PIA moet worden gedaan bij het verwerken van (bijzondere) persoonsgegevens. Aanvullend werkt het kabinet aan de ontwikkeling en toepassing van instrumenten die overheden en bedrijven ondersteunen bij het beter in de praktijk toepassen van wettelijke verplichtingen en die (daarmee) helpen algoritmen op verantwoorde wijze in te zetten. Onder de beantwoording van vraag vier ben ik al ingegaan op de Handreiking AI-systeemprincipes voor non-discriminatie en het impact assessment mensenrechten en algoritmen (IAMA). Ook heeft het kabinet richtlijnen voor data-analyse opgesteld die op verschillende plekken binnen de overheid zijn getest en momenteel verder worden doorontwikkeld. Vanuit het innovatiebudget financier ik projecten die zien op verantwoorde inzet van algoritmen. Onder die projecten is ook het project «Public AI in Control» dat de Rekenkamer Rotterdam als goed voorbeeld benoemt. Ten slotte wordt op dit moment een vervolg op de nationale AI-cursus ontwikkeld met speciale aandacht voor ethiek.
De gemeenten zijn zelf verantwoordelijk om een overzicht te hebben van algoritmen die worden ingezet. Vanuit mijn verantwoordelijkheid voor de digitale overheid wordt vanuit BZK onderzoek gedaan naar de nut- en noodzaak van een algoritmeregister. De gemeente Rotterdam experimenteert hiermee. Daarnaast zijn er ook proeven in Amsterdam, Utrecht en de provincie Zuid-Holland. In een dergelijk register worden algoritmen opgenomen die voor burgers en toezichthouders in te zien zijn. Een register kan informatie verschaffen over het type algoritmen, maar ook over de data die gebruikt zijn. Ook kan zo’n register een status overzicht geven van de kwaliteitseisen die toegepast zijn en de verantwoordelijke vermelden waar burgers terecht kunnen met vragen. Het is belangrijk dat een algoritmeregister aansluit bij de behoeften van burgers. Ik kom hier op terug in de brief aan uw Kamer die medio juni verschijnt en bericht over de voortgang van moties die zijn ingediend tijdens het debat over het rapport van de Parlementaire Ondervragingscommissie Kinderopvangtoeslag.
Zie antwoord vraag 12.
Ik heb geen zicht op het gebruik van algoritmen door gemeenten, en ik heb geen signalen ontvangen dat er in andere gemeenten soortgelijke problemen spelen. Er vinden interne controles plaats bij gemeenten, daarnaast zijn er ook externe controles van gemeentelijke auditdiensten en van gemeentelijke rekenkamers. Op Rijksniveau vinden ook interne controles plaat, is de Audit Dienst Rijk bevoegd om audits uit te voeren op algoritmen en doet de Algemene Rekenkamer (ARK) regelmatig onderzoek naar algoritmen. Onlangs nog heeft de ARK een onderzoek afgerond «Aandacht voor algoritmen» met daarin een overzicht van algoritmen die het Rijk gebruikt.6 Daarnaast zijn er toezichthouders zoals de Autoriteit Persoonsgegevens en het College voor de Rechten van de Mens die proactief, of op basis van signalen die ze krijgen, onderzoek kunnen instellen. De Nationale ombudsman doet onderzoek naar klachten. Recent bracht de Nationale ombudsman een onderzoek naar buiten «de burger is geen dataset».7 Verder is in mijn opdracht recent door TNO opnieuw een quick-scan gemaakt met daarin een inventarisatie van AI-toepassingen in de publieke sector.8
Zie antwoord vraag 14.
Het kabinet heeft eerder in de kabinetsreactie op drie algoritmeonderzoeken geconcludeerd dat algoritmen niet in een juridisch vacuüm vallen.9 Zo bevat de AVG uitvoerige eisen voor de kwaliteit van data en vraagt zij tests die van tevoren moeten worden gedaan, óók om andere fundamentele vrijheden te beschermen. Toch bestaan er in praktische zin knelpunten, zoals de mogelijkheid om «bijzondere persoonsgegevens» te gebruiken om de kwaliteit van modellen en data te beoordelen.10 Het kabinet zal een wettelijke grondslag voor de verwerking van bijzondere persoonsgegevens in het leven roepen die ertoe strekt het onder strenge voorwaarden mogelijk te maken gegevens te verwerken om discriminatie in een algoritmisch model te voorkomen.11 Daarnaast zal het kabinet bezien of in aanvulling op de bestaande transparantieverplichtingen die voortvloeien uit de AVG, aanvullende wettelijke waarborgen nodig zijn die o.a. beogen om het publiek beter te informeren. Tot slot vindt het kabinet het van belang om wet- en regelgeving die veel open normen bevatten, beter toepasbaar te maken voor de ontwerppraktijk. Zie ook het antwoord op vraag 11. Begin juni zal een voortgangsrapportage AI en algoritmen uw Kamer bereiken. Hierin worden de verschillende acties die nodig zijn om burgers de noodzakelijke bescherming te bieden verder toegelicht.
Zie antwoord vraag 16.