Antwoord 1 en 2

Ja, het Ministerie van Buitenlandse Zaken heeft een statistisch validatieonderzoek (bias-toets) laten uitvoeren en toetst daarnaast ook nog op andere wijze of zich bij de toepassing van het Informatie Ondersteund Beslissen (IOB) mogelijk vormen van bias voordoen. In zijn algemeenheid kunnen biases op twee manieren optreden: (i) in de wijze waarop beslismedewerkers gebruik maken van het door middel van IOB gegenereerd ondersteunend behandeladvies; en (ii) in het algoritme zelf.

Ad i) De eventuele bias in het gebruik van het ondersteunend behandeladvies wordt sinds de toepassing van IOB bij visumaanvragen door het ministerie gemonitord. Er zijn diverse maatregelen genomen om de beslismedewerkers te trainen op het gebruik van de informatie afkomstig van dit instrument. In dit kader vindt wekelijks een kwaliteitstoets plaats op basis van een selectie van de die week afgehandelde visumaanvragen. Afwijkingen van de benchmark worden met beslismedewerkers besproken en geëvalueerd. Het ministerie gebruikt daarnaast dashboards waarin het percentage honoreringen en weigeringen van visa volgend op de drie mogelijke IOB-adviezen2 wordt gevolgd, en waarbij wordt aangegeven welke trends hierbij waarneembaar zijn. De ontwikkeling in de trends laat zien dat de weigeringspercentages voor de fast track (redelijk) stabiel blijven en dat het weigeringspercentage voor de intensive track sinds 2017 is afgenomen – van bijna 56% naar ongeveer 33%. Dit duidt erop dat het onderliggende algoritme van de profielen niet leidt tot een mechanisme dat uitmondt in steeds hogere weigeringspercentages op de intensive tracks.

In dit verband heeft het ministerie reeds in 2019 een onderzoek uitgevoerd naar de invloed van de tracks op het besluit van de visumbeslismedewerkers. Hoewel de tracks slechts een indicatie geven voor de te verwachten intensiteit van behandeling van een visumaanvraag (en dus niet over de strekking van de te nemen beslissing), is het niet ondenkbaar dat een beslismedewerker wordt beïnvloed door de tracks (confirmation bias). Dit zou een ongewenst effect zijn van het IOB.

Naar aanleiding van het advies uit het PMP rapport is dit onderzoek3 onlangs herhaald. Centrale vraagstelling van dit onderzoek luidde: «In hoeverre heeft labelingvan visumaanvragen invloed op de uitkomsten van visumbeslissingen die worden genomen door beslismedewerkers?» Hierbij is als werkhypothese gesteld dat labelingvan visumaanvragen deze uitkomsten beïnvloedt. Bij het experiment werden zes fictieve casussen voorzien van verschillende labels (fast, regular en intensive) en voorgelegd aan verschillende groepen van in totaal 42 beslismedewerkers. Aan hen werd de volgende vraag gesteld: hoe zou jij op deze visumaanvraag beslissen en hoe zeker ben je over jouw beslissing?

Uit de resultaten van het onderzoek (bijgevoegd) bleek, statistisch onderbouwd, dat het label geen invloed had op de genomen beslissing. Er was ook geen significant verschil in de gemiddelde zekerheidsscore voor de drie tracks.

Ad ii) Voor het statistische onderzoek naar een mogelijke bias in het algoritme zijn twee externe en onafhankelijke partijen benaderd.

Het ministerie heeft in eerste instantie het Rijks ICT Gilde (RIG) een opdracht verstrekt om een dergelijk onderzoek te uit te voeren. Het ministerie heeft het eindrapport van dit instituut om een aantal redenen helaas niet kunnen accepteren.

Door het ministerie was gevraagd te onderzoeken of er sprake was van een bias in het algoritme. Het RIG is afgeweken van de door BZ gestelde onderzoeksvraag en heeft zich in haar onderzoek gericht op een mogelijke bias tussen het BAO profiel en de uiteindelijke beslissing van de beslismedewerker. Dit onderdeel van het proces wordt echter door BZ zelf al voortdurend gemonitord.

Verder zijn er, om een mogelijke bias te meten, aannames gedaan die niet stroken met de feitelijke werkwijze van de BAO/IOB. Zo werd gesteld dat de door deze applicatie geadviseerde track weergeeft of een KVV-aanvraag bonafide (fast track) of malafide (intensive track) is en respectievelijk dus goed- of afgekeurd zou moeten worden. Dit is niet juist; de geadviseerde track zegt hier niets over. Een track heeft alleen betrekking op de te verwachten intensiteit van het dossieronderzoek en geeft geen duiding aan het uiteindelijke besluit. Indien een track wel leidend zou worden komt dat in feite neer op een vorm van automatische besluitvorming waarvan BZ juist expliciet wil wegblijven en waarvoor de BAO dus ook niet ontwikkeld is. Daar komt bij dat het advies uit de BAO/IOB sowieso niet aangevoerd kan en mag worden als weigeringsgrond voor een visum. Deze gronden zijn limitatief vastgelegd in de EU-Visumcode

Het RIG concludeerde bovendien dat het feit dat beslissingen op visumaanvragen niet in lijn zijn met het track-advies zou kunnen duiden op een confirmation bias bij de beslismedewerker. Dat is niet het geval; uit het feit dat de uiteindelijke beslissing van de beslismedewerker niet 1-op-1 een samenvalt met het advies uit de BAO/IOB, blijkt dat de beslismedewerker niet blind vaart op dat advies.

Tot slot wordt in het rapport van het RIG de werkwijze van het Ministerie van Buitenlandse Zaken vergeleken met de werkwijze van het Verenigd Koninkrijk. Die werkwijze is echter fundamenteel anders en bij de ontwikkeling van de BAO/IOB is hier destijds juist bewust van afgeweken. Zo wordt, anders dan in het Verenigd Koninkrijk, het gegeven nationaliteit nooit als enige gegeven gebruikt voor de profielen, maar altijd in combinatie met andere kenmerken en informatie.

Vanwege het tekort schietende rapport van RIG heeft het ministerie een andere externe partij, i.c. het Canadese SigmaRed Technologies4, verzocht een onderzoek te doen naar een eventuele biasin het bij het IOB gebruikte algoritme. Voor een goede vergelijking is voor dit onderzoek een soortgelijke dataset gehanteerd zoals eerder door het RIG5. SigmaRed meet in haar aanpak in hoeverre er statistische afwijken zijn tussen de historische data die voor IOB worden gebruikt en de uitkomst in de vorm van een handeladvies. In dit verband gaat zij ook in op al dan niet toepasbare metrics (statistische meetmethoden) die een eventuele bias kunnen vaststellen6.

De conclusie van SigmaRed is dat er geen sprake is van onevenredige discriminatie op basis van leeftijd, burgerlijke staat, geslacht of nationaliteit. Alleen bij aanvragen met een Jemenitische nationaliteit (0,121% van alle aanvragen) werd geconstateerd dat deze een ongelijksoortige vertegenwoordiging in de profielen hebben ten opzichte van het aantal aanvragen7. Uit nadere analyse blijkt dit een verklaarbare afwijking8. Voor de overige nationaliteiten werd geen bias vastgesteld, ondanks het feit dat sommige nationaliteiten op basis van historische gegevens meer vertegenwoordigd zijn in de intensive track.

SigmaRed heeft als aanbevelingen dat het ministerie experimentele studies uitvoert naar de relatie tussen het behandeladvies en de beslissing van de beslismedewerker. Dit komt overeen met een advies van het RIG. Dit is inmiddels geschied in de vorm van een vervolgonderzoek van een eerder onderzoek uit 2019 (zie hierboven en bijgevoegd). Daarnaast beveelt SigmaRed aan om een continue monitoringsfunctie in te bouwen in de werkwijze van het IOB. De IOB werkwijze wordt daarom aangevuld met een continue modelbewaking, waarbij potentiële verkeerde classificaties van het IOB adequaat worden geïdentificeerd.