Risk profile tool
Catch & Function creep
Probleem
Om misdadigers en verdachten sneller op te sporen maakt de politie gebruik van predictive policing-methodes. Zo is er sinds 2016 gebruik gemaakt van gezichtsherkenningsprogramma āCATCHā. De software wordt ook wel gelaatsvergelijking genoemd, omdat CATCH geen oordeel geeft wie iemand āisā, maar alleen āop wie iemand lijktā.
CATCH wordt op dit moment ingezet om de identiteit van een verdachte of veroordeelde te veriferiƫren aan de hand van een dataset. Het gezichtsherkenningssysteem wordt op dit moment dus nog niet real time gebruikt om verdachten te lokaliseren in de publieke ruimtes. Er zijn al wel proeven waarin het wordt getest. Het is in principe technisch al mogelijk om real time gezichtsherkenning in de publieke ruimte toe te passen en wordt het daarom ook niet uitgesloten dat dit binnenkort ook zal worden toegepast.
Omdat de kans bestaat dat de politie de real time technologie wel wil gaan toepassen is de kans op "function creep" aanwezig.
Function creep
Wanneer technologie op een bepaald moment ingezet wordt voor andere doeleinden dan oorspronkelijk bedoeld was wordt dit "function creep" genoemd.
Het ontstaan van function creep bij informatie en technologie is eerder een gewoonte dan een uitzondering. De technologie wordt dan op een gegeven moment ingezet voor andere doeleinden dan oorspronkelijk bedoeld was. Het is het probleem van function creep is dat het er vaak voor zorgt dat in de toekomst precies datgene gebeurt wat op dit moment wettelijk wordt uitgesloten.
Wetgeving
Het wetsartikel waarop het huidige gebruik wordt gebaseerd, artikel 55c Sv, is niet gemaakt om deze technologie te reguleren. De regels komen uit een tijd waarin gezichtsherkenningstechnologie nog niet gebruikt werd. Het gevolg hiervan is dat er rondom gezichtsherkenning geen gerichte wettelijke grondslagen zijn opgesteld, en dat over toepassingen hiervan in de strafvordering ook nog weinig maatschappelijk of politiek debat is gevoerd. Dit probleem zal blijven bestaan wanneer verdere toepassingen van deze technologie op dit wetsartikel worden gebaseerd.
Werking van CATCH
1) Het proces van CATCH werkt op dit moment als volgt: Een politieagent stuurt een aanvraag met een opsporingsfoto naar het Centrum voor Biometrie. Dit kan een foto zijn die gemaakt is om een persoon die is opgepakt te identificeren, maar ook een opsporingsfoto, zoals beelden afkomstig van (beveiligings)cameraās die in de publieke ruimte hangen.
2) Politieagenten mogen een aanvraag alleen doen voor āeen goede vervulling van hun taakā. De aanvraag wordt geregistreerd. Zo kan het centrum zien wie de aanvraag gedaan heeft en op welke datum. Het centrum kan niet zien van welk strafbaar feit de persoon wordt verdacht of om welke zaak het gaat.
3) Het centrum beoordeeld of de foto van goede kwaliteit is, en dus bruikbaar voor de technologie. De kwaliteit van een opsporingsfoto kan āverbeterdā worden, maar het centrum mag de beelden niet manipuleren. Als er wordt gecontroleerd of een verdachte of veroordeelde al in de strafrechtsketendatabank staat, wordt het gezicht uit het opsporingsbeeld vergeleken met alle gezichten die daar in staan. Er kan dan worden opgegeven wat de minimale mate van gelijkenis moet zijn en hoeveel resultaten er getoond moeten worden.
4) Vervolgens wordt er door een team beoordeeld welk gezicht uit de resultaten het meeste overeenkomt.
5) Vervolgens gaat die foto samen met de originele opsporingsfoto naar twee experts. Deze beoordelen onafhankelijk van elkaar in hoeverre die met elkaar overeenkomen. Als zij beiden van oordeel zijn dat die gezichten waarschijnlijk van dezelfde persoon zijn, wordt de identiteit van die persoon uit de strafrechtsketendatabank en de mate van overeenkomst daarmee gerapporteerd aan de politieagent die de aanvraag heeft gedaan.
6) Als de politieagent zelf al denkt te weten wie de persoon in het opsporingsbeeld is, kan de politieagent ook vragen aan het centrum om het opsporingsbeeld met Ć©Ć©n gezicht uit de strafrechtsketendatabank te vergelijken. De uitkomst van het onderzoek is een opsporingsindicatie. Op basis daarvan wordt een onderzoek naar een persoon gestart.
7) Het centrum beoordeelt de rechtmatigheid van de verkrijging van het opsporingsbeeld niet. Zij handelen op basis van het vertrouwensbeginsel: zij gaan ervan uit dat de politieagent de wet heeft nageleefd bij het verkrijgen van de beelden en de aanvraag is gedaan āvoor een goede vervulling van hun taakā.
Controle
De Gegevensautoriteit van de politie houdt steekproeven om te controleren of de aanvragen rechtmatig worden gedaan. Het centrum is gescheiden van de politieteams die de onderzoeken uitvoeren. De politieagenten kunnen niet zelf aan de slag met CATCH. Ook binnen het centrum zijn de processen gescheiden: er is een team dat de gezichtsherkenningstechnologie toepast, en een team dat die resultaten analyseert. Er is geen apart toezicht op de beslissingen die het centrum maakt in het kader van CATCH. Het onderzoeksrapport van het Centrum voor Biometrie wordt toegevoegd aan het proces-verbaal van de verdachte. Er zijn geen cijfers beschikbaar hoe vaak CATCH een verkeerde identiteit als āmeest waarschijnlijkā heeft aangedragen.
Gevaren
Volgens de Nederlandse politie is het systeem neutraal en gebaseerd op objectieve criminaliteitscijfers. Dit klopt echter niet: vooroordelen en stereotypen beĆÆnvloeden de modellen en algoritmes. En dat leidt tot discriminerende uitkomsten met hogere risicoscores voor bepaalde maatschappelijke bevolkingsgroepen.
Het toepassen van zulke systemen kunnen leiden tot "over-policing" van verschillende minderheidsgemeenschappen omdat deze algoritmes worden getraind op vooringenomen data of vervuilde data. Critici wijzen vaak op de mogelijkheid dat dergelijke systemen gevaarlijke feedbackloops kunnen produceren.
Deze systemen vragen om transparantie op het gebied van big data- en AI-systemen in de publieke sector. De zelf lerende algoritmes - zijn niet goed te controleren als het eenmaal geĆÆmplementeerd is.
Concept
Met mijn concept wil ik het gevaar laten zien wat "function creep" met zich mee brengt zodra bepaalde technieken verder worden toegepast binnen predictive policing systemen.
Door de wens van opsporingsdiensten om steeds efficiƫnter te werken kunnen bepaalde functionaliteiten ook op eens voor de meest "nare scenario's" worden toegepast waar wij als burgers niet van bewust zijn.
Door een screening systeem maken waarbij je inzicht krijgt "how likely" je door het systeem als misdader wordt aangemerkt. Wil ik aandacht en bewustwording creƫren bij de onwetende burger. Ook wil ik hiermee een vraag achter laten of wij zulke systemen in onze samenleving willen hebben en-of dit te veel inbreuk heeft op onze privacy.
Het doel van mijn applicatie is om de gebruiker inzicht te geven hoe A.I. systemen bepaalde biases hebben over jou en zomaar een bepaalde profiel van jou maken op basis van zelflerende software. Hierdoor wordt je als het ware als persoon in een bepaalde "hokje" geplaatst wat misschien onschuldig lijkt, maar door de koppeling tussen jou profiel en misdrijf cijfers krijgt het een minder onschuldige wending en kan dit leiden tot etnisch profileren en discriminatie van bepaalde groeperingen met bepaalde kenmerken. Door transparant te zijn en uit te leggen hoe het systeem op bepaalde uitkomsten is gekomen. Kan bewust wording gecreƫerd worden.
De politie zou in de toekomst een soortgelijke applicatie kunnen gebruiken waarbij zij zich vervolgens op de personen of locaties die aangemerkt worden als āhoog risicoā gaan richten.
Werking
Het gezicht van de gebruiker zal als input functioneren en worden geanalyseerd
doormiddel van het A.I. systeem wat gevoed is met data om een bepaalde "prediction" te verrichten.
Het A.I. systeem zal 3 kenmerken kunnen detecteren (gender, age, etniciteit).
Ik wil hierbij datacijfers van misdaadcijfers (Verdachten; delict groep, geslacht, leeftijd en migratieachtergrond) die in Nederland zijn geregistreerd koppelen aan je predicted gezicht eigenschappen.
Daarna zal de gebruiker zijn "risk profile" kunnen inzien.
Een grafiek met daarbij de top 3 misdrijven waar aan de gebruiker "risk profile" aan voel doet zal worden weergegeven (met risk score).
Modules
Uploaden van foto's en risk profile verkrijgen (denk aan de koning).
Risk profile vergelijken met anderen personen (wie is er more likely to commit a certain crime).
Do i need a mask (Face Mask printen die veilig zijn in bepaalde buurten)
Mogelijkheden in de toekomst
Identificatie kan verder uitgebreid worden naar het lokaliseren van terroristen in een menigte, wat verder uitgebreid kan worden naar het lokaliseren van āpotentiĆ«le terroristenā, wat uitgebreid kan worden naar het lokaliseren van personen die zich regelmatig op een bepaalde locatie begeven, wat verder kan worden uitgebreid naar het volgen van bepaalde groepen of individuen.
Deze kunnen worden gevolgd op verschillende gronden, zoals uiterlijke kenmerken, bepaalde gedragingen, geloofs- of politieke overtuigingen. Deze vorm van observatie kan in het geheim plaatsvinden, of in het openbaar. Deze ontwikkelingen klinken heftig, maar de technologie maakt het mogelijk om groepen en individuen indringend te observeren en te volgen. Dit is een zeer ongewenste en ongezonde situatie en moet voorkomen worden.
Catch your crime profile
Last updated
Was this helpful?