Steun ons en help Nederland vooruit

vrijdag 16 oktober 2020

Toenemend gebruik van algoritmes

Uit onderzoek blijkt dat minstens vijftig procent van de gemeenten gebruik maakt van algoritmes: digitale formules die verbanden kunnen vinden in enorme datasets. Ze worden bijvoorbeeld gebruikt bij het opsporen van socialezekerheidsfraudeurs, het voorspellen van voortijdige schoolverlating of het bepalen van de inzet van politieagenten. Maar het risico van discriminatie ligt op de loer, bijvoorbeeld als algoritmes helpen bepalen welke groepen mensen vaker gecontroleerd worden op crimineel gedrag of fraude. Onderzoeker Laura de Vries van de Van Mierlo Stichting: “Dit zijn urgente vragen waar politici zich over moeten ontfermen. Juist binnen gemeenteraden zou het debat over dit onderwerp flink aangezwengeld moeten worden. Daarom is het zo mooi dat hier raadsvragen over worden ingediend.” [1]

Democratische controle

Er is weinig bekend over de inzet door gemeenten en daardoor hebben burgers en lokale politici hier vaak onvoldoende zicht op. Dit belemmert de controlerende taak van gemeenteraadsleden. Daarom wil D66 dat er meer openheid komt over de manier waarop algoritmes bij gemeenten in besluitvorming worden ingezet. D66-Kamerlid Kees Verhoeven: “Algoritmes zijn onzichtbaar en ongrijpbaar, maar kunnen wel zeer ingrijpend zijn. Alle overheden moeten ze overwogen inzetten en er open over zijn. Anders krijgen we wildgroei die mensen en de samenleving kan schaden.”

Algoritmes in Enschede

Allerlei soorten algoritmes sluipen ons leven binnen. D66 Enschede wil graag aandacht voor de soorten algoritmes die niet geheel ontworpen zijn door mensen, niet geheel transparant zijn, en/of onderdeel van kunstmatige intelligentie (AI). Kortom, de soorten algoritmes waarvan de toepassing uit de hand kan lopen, omdat de toepassing tot onvoorziene resultaten kan leiden. 

Daarom stelt D66-raadslid Vic van Dijk de volgende vragen aan het college van burgemeester en wethouders van Enschede. Allereerst bestaat de behoefte aan inzicht in de huidige situatie. Daarna volgen vragen over de politieke koers die het college wil varen. 

  1. Maakt de gemeente gebruik van algoritmes die zijn getraind door middel van supervised learning of geeft zij hiertoe opdracht aan andere organisaties?
    • Zo ja, ter beantwoording van welke vraagstukken gebruikt zij deze algoritmes? Is het opstellen van (risico)profielen van mensen hier onderdeel van?
    • Hoe zijn deze algoritmes tot stand gekomen?
    • Welke gegevens worden door de gemeente gebruikt voor het trainen van deze algoritmes? Welke gegevens worden door de gemeente gebruikt voor de implementatie van deze algoritmes?

Beschrijf per algoritme welk soort het betreft en voor welk vraagstuk zij dient. Beschrijf vervolgens het proces van het algoritme vanaf de dataverzameling, de dataverwerking en codering/omvorming de data-analyse, de uitkomst, decodering en de vervolgacties. Wat voor data zijn verzameld en hoe zijn deze verzameld? Welke variabelen worden meegenomen in het model en welke niet? Hoe ziet de output eruit (bijvoorbeeld de kans per individu)? Hoe wordt besloten welke variabelen wel/niet mee worden genomen?

  1. Maakt de gemeente gebruik van algoritmes die zijn getraind door middel van unsupervised learning of geeft zij hiertoe opdracht aan andere organisaties?
    • Zo ja, ter beantwoording van welke vraagstukken gebruikt zij deze algoritmes? Is het opstellen van (risico)profielen van mensen hier onderdeel van?
    • Hoe zijn deze algoritmes tot stand gekomen? (zie toelichting bij vraag 1)
    • Welke (persoons)gegevens worden door de gemeente gebruikt voor het trainen en testen van deze algoritmes? Welke (persoons)gegevens worden door de gemeente gebruikt voor de implementatie van deze algoritmes?
  2. Is de gemeente bereid om een openbaar register te publiceren waarin zij periodiek haar algoritmische toepassingen omschrijft en toelicht?
  3. Is de gemeente zich bewust van de risico’s van onethisch gebruik van algoritmes, zoals discriminatie, stigmatisering, het beperken van persoonlijke vrijheden zoals zelfbeschikking en het in stand houden of versterken van ongelijkheid? Welke maatregelen neemt de gemeente om risico’s te vermijden en potentiële negatieve gevolgen tegen te gaan?
  4. Is de gemeente zich bewust van de (onbewuste) keuzes in het proces van het gebruik van algoritmes die onethisch gebruik van algoritmes in de hand werken? Zo ja, waaruit blijkt dit?
  5. Neemt de gemeente ethische aspecten van algoritmes mee in inkoopvoorwaarden met leveranciers? Zo ja, welke voorwaarden zijn dit?
  6. Wanneer bespreekt de ethische commissie (de toepassing van) algoritmes en wil het college deze vragen en de antwoorden erop doorgeleiden naar dit belangrijke adviesorgaan van het gemeentebestuur?
  7. Is de gemeente bereid om een (jaarlijkse) audit uit te voeren ter controle van de algoritmische toepassingen van de gemeente?
  8. Heeft de gemeente advies ingewonnen over het implementeren van algoritmes bij een onafhankelijke organisatie? Zo ja, welke organisatie is dit? Heeft deze organisatie ook geëvalueerd of het algoritme voldoet aan de eisen van de Algemene Verordening Gegevensbescherming (AVG) en de Algemene Wet Gelijke Behandeling (AWGB)?
  9. Kijkt de Functionaris Gegevensbescherming (FG) naast privacy ook naar andere ethische aspecten, zoals gelijke behandeling en transparantie? Zo ja, hoe worden deze geborgd en bij wie ligt de verantwoordelijkheid? Zo nee, bij welke functionaris is dit dan wel belegd? 
  10. D66-raadslid Vic van Dijk stelt voor dat het college, al dan niet in samenwerking met de ethische commissie, een verdiepende bijeenkomst organiseert over de toepassing van algoritmes. Dit zou ook in regionaal verband kunnen. Wil het college hieraan meewerken? Het zou mooi zijn als raadsleden samen met ambtenaren en wethouder een goede opzet voor zo’n bijeenkomst bedenken. 

[1] Zie voor de publicatie “Algoritmes en lokale overheden” https://vanmierlostichting.d66.nl/vmspublicaties/algoritmes-en-lokale-overheden/

Thema

Privacy

Lees meer