• Vraag 1

  Kunt u aangeven aan welke regels en voorwaarden algoritmes moeten voldoen als deze gebruikt worden door decentrale overheden en andere overheidsinstanties?1
  
  

  De overheid is gebonden aan mensenrechten en wetgeving zoals de Algemene verordening gegevensbescherming (AVG), de Algemene wet gelijke behandeling en Algemene wet bestuursrecht. De overheid is verder gebonden aan domeinspecifieke wetgeving zoals die op het terrein van de sociale zekerheid. De inzet van algoritmen, maar ook van andere technologieën, moet in lijn zijn met de geldende wetten en regels. De Europese Commissie werkt daarnaast aan nieuwe wetgeving voor de toepassing van AI-systemen. Belangrijk is dat de technologie zelf op een behoorlijke manier werkt, zodat mensenrechtenschendingen door die technologie worden voorkomen. In elke fase van de levenscyclus (ontwerpen, bouwen, testen, gebruiken en monitoren) van AI-systemen moet daarom aandacht zijn voor de mensenrechten. De AI-verordening biedt daartoe mogelijkheden. Toepassingen met onaanvaardbare risico’s voor de mensenrechten zijn verboden. Aan hoog-risico toepassingen worden eisen gesteld die er voor moeten zorgen dat systemen veilig zijn en mensenrechten respecteren: er worden bijvoorbeeld eisen gesteld aan de data, de accuraatheid van het systeem, de mogelijkheid van menselijk toezicht en cybersecurity. Met een ex ante conformiteitsbeoordeling moeten aanbieders van zulke hoog-risico toepassingen aantonen dat het AI-systeem werkt volgens de regels. Voor AI-systemen die bedoeld zijn om interactie te hebben met natuurlijke personen of content genereren, zoals bots of deepfakes, gaan transparantieverplichtingen gelden. Ook de tijdelijke AI-commissie van de Raad van Europa (CAHAI) werkt aan een juridisch raamwerk voor AI.
  Om wetten en regels beter toepasbaar te maken zijn er diverse instrumenten ontwikkeld, zoals de Handreiking non-discriminatie by design om bias en non-discriminatie vroegtijdig te herkennen, een Impactassessment Mensenrechten en Algoritmen (IAMA) die risico’s voor mensenrechten in kaart brengt en mitigeert, en een Code Goed Digitaal Bestuur met beginselen die richting geven aan een verantwoorde inzet van technologie. Het gebruik hiervan is op vrijwillige basis; wel laat ik door de ADR onderzoeken hoe de impact en het gebruik van de handreiking kunnen worden vergroot.
  Tot slot zijn adequaat toezicht en controle van belang. De toezichthouders hebben een kader ontwikkeld om beter onderzoek te doen naar algoritmen. En dit kabinet heeft extra middelen beschikbaar gesteld voor de functie van een algoritmewaakhond die is ondergebracht bij de Autoriteit Persoonsgegevens (AP).
  

• Vraag 2

  Voldoet volgens u het gebruikte algoritme in de gemeente Rotterdam aan deze voorwaarden? Zo ja, waarom?
  
  

  Ik begrijp dat u vraagt naar mijn mening over de rechtmatigheid van het gebruik van het algoritme in Rotterdam. Het is echter niet aan mij om daarover te oordelen. Het is belangrijk dat overheden zich aan de regels houden, ook als zij algoritmen inzetten bij het uitoefenen van hun taken. In dit geval is de gemeente Rotterdam daar zelf voor verantwoordelijk. De ex ante conformiteitsbeoordeling, zoals die wordt voorgesteld in de AI-verordening, kan organisaties helpen om aan de voorkant al te ontdekken of aan de verplichtingen wordt voldaan. De hiervoor genoemde instrumenten kunnen er ook aan bijdragen om aan de voorkant al goede keuzes te maken. Uiteindelijk is het aan de Autoriteit Persoonsgegevens om te bezien of het specifieke algoritme op het punt van de verwerking van persoonsgegevens voldoet aan de eisen van de AVG en aan de rechter om te oordelen of het gebruik van het algoritme in overeenstemming met de geldende regelgeving is. Voor intern toezicht dient een privacyfunctionaris om een oordeel gevraagd te worden als persoonsgegevens worden verwerkt; dat kan bij algoritmen het geval zijn. De Staatssecretaris van Koninkrijksrelaties en Digitalisering werkt aan de verbetering van het toezicht. In de iStrategie Rijk wordt daarom voorgesteld dat CIO’s ook toezicht gaan houden op algoritmen. Daarnaast is de ADR gevraagd inzicht te geven in de kwaliteit van de beheersing van de algoritmen door onderzoek te doen naar de wijze waarop de organisaties de kwaliteit en verantwoorde inzet van hun algoritmen op dit moment borgen. Op basis van deze inzichten en aanbevelingen kunnen er op stelselniveau verbeteringen worden doorgevoerd. Tot slot is er ook extern toezicht uitgevoerd door toezichthouders die toezicht houden op een specifiek domein. De toezichthouders hebben een kader ontwikkeld om beter onderzoek te doen naar algoritmen. De Algemene Rekenkamer komt medio mei met een rapport waar mogelijk ook lessen getrokken kunnen worden m.b.t. toezicht op algoritmen.
  In het kader van het eigen onderzoek van de gemeente heeft de Rotterdamse Rekenkamer in haar rapport over het ethisch gebruik van algoritmen enkele aandachtspunten geformuleerd. Daaruit vloeide voort dat de transparantie van het gebruik van algoritmen verbeterd diende te worden. Zoals in de eerdere beantwoording van vragen over het gebruik van algoritmen door de gemeente Rotterdam2 is aangegeven, vergt het transparantievereiste uit de AVG (artikel 5, eerste lid, onder a) dat persoonsgegevens worden verwerkt op een wijze die voor de betrokkenen transparant is. De gemeente Rotterdam heeft inmiddels in het kader van transparantie een eerste aanzet gedaan tot een algoritmeregister en dit opgenomen op de website van de gemeente.3 Onder het punt «uitkeringsonrechtmatigheid» staat informatie over het hier aan de orde zijnde algoritme.
  Verder heeft gemeente Rotterdam laten weten dat bij het ontwikkelen van het model kritisch wordt gekeken naar de bruikbaarheid en het niet-discriminerende karakter van variabelen en kenmerken. Uit het rapport van de Rekenkamer Rotterdam is gebleken dat de vastlegging van deze toetsing zou moeten worden verbeterd. De gemeente Rotterdam geeft aan op dit punt momenteel stappen te zetten, onder meer door het verstevigen van de governance rondom algoritmen met een grote impact of gevoeligheid (hoog-risico algoritmen). Op verzoek van de Staatssecretaris van Koninkrijksrelaties en Digitalisering doet het Rathenau Instituut op dit moment onderzoek naar de werkprocessen, functies, expertise en hulpmiddelen die organisaties kunnen helpen om bij de ontwikkeling en inzet van algoritmen te werken in lijn met onze grondrechten. De lessen uit dat onderzoek kunnen ook behulpzaam zijn voor gemeenten; de Staatssecretaris gaat daarover graag met hen in gesprek.
  

• Vraag 3

  Bent u bereid onderzoek te doen naar de vraag in welke gemeenten en provincies soortgelijke algoritmes worden gebruikt, en met welk doel? Zo nee, waarom niet?
  
  

  Er vinden steeds meer inventarisaties plaats van het gebruik van AI en algoritmen door overheden. De Algemene Rekenkamer heeft begin 2021 onderzoek gedaan naar algoritmen die door het Rijk worden ingezet.4 Het onderzoek van de Algemene Rekenkamer levert inzichten op van de typen algoritmen die worden ingezet en de zorgen en twijfels die er nog bestaan. Graag verwijs ik ook naar een TNO-publicatie van mei vorig jaar5, waarin diverse toepassingen van AI in de publieke dienstverlening zijn onderzocht. Hier zaten ook voorbeelden bij uit het sociaal domein.
  Gelet op hun eigen verantwoordelijkheid voor het naleven van de regelgeving is het de eigen verantwoordelijkheid van provincies en gemeenten om waar nodig onderzoek te laten doen, via de provinciale staten of gedeputeerde staten en gemeenteraad of B&W.6 Daarnaast kunnen ook toezichthouders zoals de Autoriteit Persoonsgegevens (AP) of onafhankelijke instanties met controlerende en toezichthoudende taken, zoals lokale rekenkamers, besluiten om onderzoek te doen. Er vindt dus al met al veel onderzoek plaats en er zijn mogelijkheden om onderzoek te laten doen. De Staatssecretaris van Koninkrijksrelaties en Digitalisering wil stimuleren dat overheden meer inzicht bieden in de werking en de impact van algoritmen die zij inzetten. Daarbij wordt voortgebouwd op de kennis en ervaringen die gemeenten opgedaan hebben met experimenten rond algoritmeregisters, waaronder ook de gemeente Rotterdam, die haar eerste algoritmen heeft opgenomen en de bedoeling is dat dit verder wordt uitgebreid. Met het opzetten en uitvoeren van een verplicht algoritmeregister voor overheden wordt uitvoering gegeven aan de wens van uw Kamer. Op dit moment wordt onderzocht op welke manier dit juridisch en beleidsmatig vorm kan worden gegeven. Uw kamer wordt dit voorjaar verder geïnformeerd, en het is daarom niet gelukt om de kamer zoals eerder toegezegd door mijn voorganger eind januari hierover te informeren.
  

• Vraag 4

  Welke bedrijven of instanties ontwikkelen dergelijke algoritmes voor overheidsinstanties en worden deze ontwikkelaars actief aanbevolen door bijvoorbeeld de VNG, de landelijke overheid of door andere belanghebbenden? Zo ja, welke ontwikkelaars zijn dit?
  
  

  Er zijn geen lijsten bekend met aanbieders bij het Rijk of de VNG, of leveranciers die aanbevolen worden. Bekende aanbieders zijn onder andere Deloitte, Capgemini en Accenture. De laatste was bij Rotterdam betrokken. Grotere overheidsorganisaties – met name de uitvoeringsorganisaties – beschikken vaker dan kleine organisaties over de capaciteit om algoritmen zelf te ontwikkelen.
  

• Vraag 5

  Op welke manieren wordt er door gemeenten of andere overheden getoetst of het gebruik van een dergelijk algoritme de meest proportionele maatregel is ten aanzien van andere maatregelen? Is een dergelijke toetsing verplicht? Zo nee, waarom niet?
  
  

  Een verwerking van persoonsgegevens moet altijd voldoen aan de eisen van de AVG. Eén van die eisen is dat een verwerking proportioneel is. Een middel om dit in kaart te brengen is de data protection impact assessment (DPIA). De Autoriteit Persoonsgegevens heeft een lijst opgesteld wanneer het verplicht is om een DPIA te doen. Daaronder valt ook het doen van heimelijk onderzoek, dat wil zeggen grootschalige of stelselmatige verwerkingen van persoonsgegevens waarbij informatie wordt verzameld met onderzoek, zonder de betrokkene daarvan vooraf op de hoogte te stellen. Ook bij grootschalige of stelselmatige verwerkingen van persoonsgegevens voor fraudebestrijding is een DPIA verplicht. Een DPIA moet in ieder geval een beoordeling van de noodzaak en proportionaliteit van de verwerkingen bevatten. Daarbij hoort dus de vraag of er een minder ingrijpend middel beschikbaar is dan een algoritme. Ook worden in een DPIA de privacyrisico’s voor betrokkenen in kaart gebracht. Vragen die daarbij worden beantwoord, zijn bijvoorbeeld welke data in een algoritme gaat en of die van goede kwaliteit en betrouwbaar is, of de werking van het algoritme uitgelegd en zo nodig gecorrigeerd kan worden en of er risico is op discriminatie door gebruik van het algoritme. Als er risico’s worden gesignaleerd, wordt in kaart gebracht welke maatregelen genomen worden om die risico’s aan te pakken zodat de gebruiker van het algoritme aan de AVG voldoet. Als risico’s niet voldoende beperkt kunnen worden, is het verplicht om voorafgaand aan de verwerking met de AP te overleggen.
  De gemeente Rotterdam heeft aangegeven dat het algoritme als een efficiënte manier wordt gezien om te bepalen welke uitkeringsgerechtigden het beste voor een rechtmatigheidsonderzoek kunnen worden uitgenodigd. Gelet op het grote aantal uitkeringsgerechtigden heeft de gemeente Rotterdam vastgesteld dat het onhaalbaar om de rechtmatige uitkeringsverstrekking binnen een tijdsbestek van 1 of 2 jaar te onderzoeken voor de volledige uitkeringspopulatie. Daarbij geeft de gemeente Rotterdam aan dat door gebruikmaking van het algoritme, bij een deel van de uitkeringsgerechtigden administratieve lasten worden voorkomen. Uitkeringsgerechtigden waarvoor de kans dat de uitkering niet meer aansluit op de feitelijke situatie van de uitkeringsgerechtigde minder groot wordt geschat, zullen ook minder snel worden uitgenodigd voor een rechtmatigheidsonderzoek. Daarnaast benadrukt de gemeente Rotterdam dat het algoritme slechts ondersteunt bij de selectie van uitkeringsgerechtigden die voor een rechtmatigheidsonderzoek worden uitgenodigd. Het feitelijke onderzoek naar de rechtmatige verstrekking van bijstand wordt altijd door een medewerker uitgevoerd. Het toepassen van een (algoritmische) selectiemethode kan grote risico’s met zich meebrengen. Het leidt onvermijdelijk tot het maken van een onderscheid. Het is belangrijk om te zorgen en erop toe te zien dat zulk onderscheid niet leidt tot discriminatie (verboden in artikel 1 Grondwet). Het College voor de Rechten van de Mens heeft eind vorig jaar een mensenrechtelijk toetsingskader gepresenteerd over discriminatie door risicoprofielen dat hierbij kan helpen.
  

• Vraag 6

  Vindt u het begrijpelijk dat mensen met een uitkering zich automatisch verdacht voelen als ze lezen dat gemeenten gesprekken met bijstandsgerechtigden standaard filmen, verregaande algoritmes ingezet worden om uitkeringsfraude op te sporen, en drones en camera’s worden gebruikt om mensen thuis te controleren op bijstandsfraude? Zo nee, waarom niet?2 3
  
  

  Mensen die recht hebben op een uitkering moeten die krijgen. Het is belangrijk dat er gecontroleerd wordt op de rechtmatigheid van de toekenning. Deze controle moet echter wel gedaan worden met oog voor de mens achter de uitkering, zoals door de Staatssecretaris van Sociale Zaken en Werkgelegenheid aangegeven in diens brief van 23 november 2021.9 Daarbij moet gebruik worden gemaakt van passende instrumenten. Het standaard filmen van gesprekken zal, zoals is toegelicht in de antwoorden op de vragen van de leden Leijten en Van Kent (SP) over «een gemeente die gesprekken over uitkeringen filmt» van 14 december 2021, alleen in heel bijzondere gevallen acceptabel zijn. Dit geldt des te meer voor situaties waarin er sprake zou zijn van het volgen van burgers. Dergelijke handhavingsinstrumenten maken een inbreuk op de privacy en tot de inzet daartoe kan slechts worden besloten indien wordt voldaan aan de eisen van noodzakelijkheid, proportionaliteit en subsidiariteit en er een verwerkingsgrondslag voor aanwezig is. De AVG biedt daarvoor het toetsingskader.
  

• Vraag 7

  In de beantwoording van eerdere schriftelijke vragen zegt u: «De camera had geen invloed op het gesprek of de strekking van het gesprek en het al dan niet verstrekken van de uitkering.», kunt u bevestigen dat mensen die weigerden deel te nemen aan een gesprek omdat zij gefilmd werden, om die reden een uitkering is ontzegd of is verminderd? Zo nee, waarom niet?
  
  

  Weigeren van het betreden van een spreekkamer met cameratoezicht is geen grond om een uitkering te ontzeggen dan wel te verlagen. De gemeente Dronten heeft desgevraagd bevestigd dat hier ook geen sprake van is geweest.
  

• Vraag 8

  In diezelfde beantwoording stelt u dat er geen onderscheid gemaakt werd naar de aard van het gesprek of de doelgroep waarbij camera’s werden ingezet, terwijl de gemeente in antwoord op vragen aangeeft dat dit bij gesprekken gebeurde «waarbij een verhoogd risico bestaat op fysiek of verbaal geweld». Wat waren daar de selectiecriteria voor, los van eerdere geweldsincidenten die hebben plaatsgevonden met een individu? Vindt u deze selectiecriteria passend?4
  
  

  De gemeente Dronten heeft desgevraagd bevestigd dat er geen onderscheid gemaakt werd naar de aard van het gesprek of de doelgroep waarbij camera’s werden ingezet.
  

• Vraag 9

  Is er een verplichting voor gemeenten en andere (decentrale) overheden om mensen op de hoogte te stellen dat zij onderwerp zijn van een fraudeonderzoek op basis van een resultaat van een algoritme? Zo nee, waarom niet?
  
  

  Ik begrijp dat u vraagt naar een algoritme dat selecteert welke personen nader zullen worden onderzocht. In algemene zin is een gemeente of andere overheid niet verplicht om individuen vooraf op de hoogte te stellen dat zij onderwerp zijn van een onderzoek. Het kabinet hecht wel aan zo veel mogelijk transparantie rondom het gebruik van algoritmen en investeert het onder meer in het opzetten van een algoritmeregister. Zoals hiervoor opgenomen, heeft de gemeente Rotterdam recentelijk zo’n register online gezet. Hierin zijn de eerste algoritmen opgenomen en de bedoeling is dat dit verder wordt uitgebreid. Verder is van belang dat als de input van een algoritme leidt tot de beslissing om vervolgonderzoek te doen, binnen dat vervolgonderzoek de betrokkene moet worden gehoord. Daarbij moet de betrokkene worden geïnformeerd dat het onderzoek het resultaat is van een algoritme en moet worden toegelicht hoe het algoritme werkt zodat een betrokkene daarop kan reageren en eventuele onjuistheden kan tegenspreken.
  

• Vraag 10

  In hoeverre zijn mensen vrij om te weigeren dat zij zonder individuele aanleiding worden gefilmd, zonder dat dit nadelige gevolgen heeft voor de aanvraag van een uitkering of andere voorziening?
  
  

  Het weigeren van het betreden van een spreekkamer met cameratoezicht is, zoals ook bij de beantwoording van vraag 7 is aangegeven, geen grond om een uitkering te ontzeggen dan wel te verlagen.
  

• Vraag 11

  Wanneer vindt u het gerechtvaardigd dat gemeenten of andere decentrale overheden algoritmes gebruiken gebaseerd op kenmerken als woonplaats, leeftijd, geslacht, levensovertuiging, burgerlijke staat of etnische achtergrond?
  
  

  Artikel 1 van de Grondwet verbiedt discriminatie wegens godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht of op welke grond dan ook. Niet elk verschil in behandeling op kenmerken als woonplaats, leeftijd, geslacht, levensovertuiging, burgerlijke staat of etnische achtergrond is discriminatie. In sommige gevallen kan onderscheid toch gerechtvaardigd zijn. Deze objectieve rechtvaardiging moet echter wel voldoen aan een strenge toets. Aan het onderscheid moet een legitieme doelstelling ten grondslag liggen en het middel dat is ingezet moet geschikt zijn om het doel te bereiken. Daarnaast moet het middel proportioneel zijn en moeten er geen minder ingrijpende middelen ter beschikking staan om hetzelfde doel te bereiken. Rechtvaardiging is dus niet de norm, maar uitzondering in een specifieke situatie waarin voldaan is aan alle genoemde eisen. In mijn brief van 14 december 2021 heb ik meer specifiek ten aanzien van het kenmerk etnische achtergrond aangegeven dat onderscheid op deze grond niet, of slechts in uitzonderlijke situaties, gebruikt mag worden en alleen als er zeer zwaarwegende redenen ter rechtvaardiging van het onderscheid zijn.11
  

Kamervraag document nummer: kv-tk-2021Z24121

Volledige titel: Het gebruik van algoritmes door decentrale overheden

Kamerantwoord document nummer: ah-tk-20212022-2031

Volledige titel: Antwoord op vragen van het lid Leijten over het gebruik van algoritmes door decentrale overheden