Voor het themanummer ‘AI en Recht’ van het tijdschrift Computerrecht, hebben Bart Schermer en ik een artikel geschreven over AI, strafrecht en het recht op een eerlijk proces (.pdf). Mijn annotatie over de veroordeling van de oprichter van Ennetcom in het Tijdschrift voor Bijzonder Strafrecht & Handhaving is ook hier (.pdf) te lezen.

Het artikel bespreekt eerst de zogenoemde ‘Ennetcom-casus’ en gaat daarna in op de inzet van kunstmatige intelligentie voor het (geautomatiseerd) nemen van strafvorderlijke beslissingen.

Ennetcom

In 2016 heeft het Nederlandse Team High Tech Crime een grote hoeveelheid gegevens (7 Terabyte) in beslag genomen van ‘Ennetcom’, een bedrijf dat werd verdacht van witwassen. Het Nederlandse bedrijf Ennetcom leverde diensten op het gebied van versleutelde communicatie. Tijdens een doorzoeking bij het bedrijf BitFlow Technologies Inc. in Canada (op basis van een rechtshulpverzoek) zijn 3,6 miljoen versleutelde berichten in beslag genomen die zijn verstuurd via zo’n 40.000 smartphones van naar schatting 19.000 klanten.

Klanten konden met speciale BlackBerry-telefoons, voorzien van specifieke software, versleutelde tekstberichten en notities versturen. De encryptiesleutels waren opgeslagen op de ‘Blackberry Enterprise Servers’ van Ennetcom. Deze servers bevonden zich bij BitFlow Technologies Inc. in Toronto, Canada. Na een rechtshulpverzoek van Nederland en een machtiging van een rechter-commissaris aan de Canadese autoriteiten zijn op 19 april 2016 de encryptiesleutels op de servers veilig gesteld zodat daarmee de berichten konden worden ontsleuteld door de Nederlandse opsporingsautoriteiten.

Het Nederlands Forensisch Instituut (NFI) heeft software ontwikkeld waarmee zeer grote hoeveelheden gegevens snel en diepgaand geanalyseerd kunnen worden. Datasets zijn snel te doorzoeken om zo verbanden te leggen tussen verschillende attributen, zoals gebruikersnamen, bijnamen, telefoonnummers en e-mailadressen. Hierdoor kunnen rechercheurs en analisten vele malen sneller en effectiever werken in een opsporingsonderzoek. De software, genaamd ‘Hansken’, is ook ingezet voor de analyse van de Ennetcom-data.

Verdachten worden in strafzaken geconfronteerd met belastend bewijs dat afkomstig is uit een grootschalige data-analyse met het Hansken systeem. In het artikel leggen wij uit dat het recht op een eerlijk proces in artikel 6 EVRM het deelrecht kan worden afgeleid dat de verdachte toegang moet hebben tot gegevens die tegen hem worden gebruikt in belastende en ontlastende zin. De verdediging moet daarbij de mogelijkheid hebben de gegevens met betrekking tot de verdachte te bestuderen en te betwisten. Het openbaar ministerie heeft volgens ons ook tot op zekere hoogte ook zelf een verantwoordelijkheid de technische mogelijkheden aan de verdediging te bieden om de gegevens in een strafproces te bestuderen en te betwisten.

De inrichting van een ‘data room’, waarbij de gegevens die betrekking hebben op de verdachte veilig en relatief eenvoudig kunnen worden geraadpleegd, betreft een voorstel die wij doen om aan het recht invulling te geven. In de toekomst zullen nog veel zaken volgen waarbij verdachten geconfronteerd worden met het resultaat van een grootschalige data-analyse die zijn veilig gesteld in andere strafzaken.

AI en geautomatiseerde besluitvorming

Naast geavanceerde data-analyse of data mining kan ook kunstmatige intelligentie worden toegepast in het kader van de opsporing en vervolging. Zo zijn er onder de noemer predictive policing tal van experimenten binnen de politie die er op gericht zijn om met behulp van kunstmatige intelligentie crimineel gedrag te voorspellen. Daarnaast kan kunstmatige intelligentie worden ingezet voor het nemen of ondersteunen van strafvorderlijke beslissingen door de officier van justitie, rechter-commissaris en rechter.

In het tweede deel gaan wij na in hoeverre de inzet van kunstmatige intelligentie raakt aan de beginselen van een eerlijk proces bij het geautomatiseerd nemen van strafvorderlijke beslissingen.

In het artikel leggen wij uit dat het in het bijzonder bij geautomatiseerde besluitvorming van belang is dat de motivering van de besluitvorming deugdelijk is. Dit betekent dat de gekozen toepassingen transparant, uitlegbaar en controleerbaar zijn.

Hoe deugdelijk de motivering van algoritmische besluitvorming in de praktijk moet zijn, is echter nog onduidelijk. Grofweg zijn er in de context van het strafrecht twee problemen met betrekking tot een voor deugdelijke motivering noodzakelijke transparantie van algoritmes, te weten 1) complexiteit, en 2) de angst voor manipulatie/misbruik. In het artikel gaan we verder in op deze problemen en leggen wij uit hoe met deze problemen kan worden omgegaan.

Gaming the system?

Met betrekking tot het tweede probleem is de angst dat kwaadwillenden het systeem gaan manipuleren of beïnvloeden om tot voor hen gunstige uitkomsten te komen (gaming the system). Inzicht in algoritmische besluitvorming kan daarmee de effectiviteit van de opsporing ondermijnen.

Het kabinet lijkt in haar bijlage bij een Kamerbrief uit oktober 2019 over algoritmes in de opsporing het transparantiebeginsel uit te zonderen door hen in een aparte categorie te plaatsen. In een meer recente beantwoording van Kamervragen over het gebruik van AI bij de politie wordt in punt 76 herhaald dat:

“het voor de politie in voorkomende gevallen noodzakelijk is om (delen van) de gegevensverwerking niet inzichtelijk te maken. Dit kan nodig zijn om te voorkomen dat personen zich kunnen onttrekken aan een effectieve taakuitoefening door de politie. Inzicht in de gebruikte analysemethode kan immers aanleiding zijn om het gedrag bewust zodanig aan te passen dat men in de gegevensanalyse buiten zicht blijft. Daarnaast kan geheimhouding nodig zijn omdat inzicht in de gegevensverwerking raakt aan de nationale veiligheid”

(deze antwoorden op Kamervragen zijn na het artikel gepubliceerd en daarom niet meegenomen in het artikel zelf).  

Conclusie

Wij waarschuwen dat het voornemen van het kabinet om algoritmische besluitvorming in de opsporing niet te onderwerpen aan de eisen van transparantie en uitlegbaarheid zorgelijk zijn, omdat zij een bedreiging vormen voor de equality of arms en het recht op een eerlijk proces.

Ook in de opsporing moet een concrete invulling worden gegeven aan het recht op een eerlijk proces bij grootschalige data-analyes en het gebruik van algoritmes voor algoritmische besluitvorming. De komende jaren zullen we zien wat van deze invulling terecht komt. 

Bart Schermer & Jan-Jaap Oerlemans