(door: Bert van de Bovenkamp)

Op basis van de Algemene Verordening Gegevensbescherming (AVG) zijn onderwijsinstellingen (net als andere organisaties) verplicht een Data Protection Impact Assessment (DPIA) uit te voeren voor bepaalde categorieën nieuwe IT-toepassingen.

Wanneer gegevens worden overgedragen aan een organisatie in een land buiten de Europese Economische Ruimte (EER) is een Data Transfer Impact Assessment (DTIA) nodig.

Sommige organisaties zijn zich hier nog niet van bewust en veel meer organisaties komen er in de praktijk (nog) niet aan toe. En nu komt er binnenkort weer een nieuwe verplichting bij, te weten een FRIA voor bepaalde AI-toepassingen. Dit op basis van de AI-act. Hoe zat het ook alweer met die DPIA’s en DTIA’s, wat is een FRIA, wanneer moet je die uitvoeren en … is dit nu allemaal nodig?

DPIA’s in het kort

Een Data Protection Impact Assessment of DPIA is een instrument om (in principe vooraf aan in gebruik name) de privacyrisico’s van een gegevensverwerking in kaart te brengen (bron: Autoriteit Persoonsgegevens). Daarbij gaat het in alle gevallen om de verwerking van persoonsgegevens.

De AVG schrijft voor in welke gevallen een DPIA moet worden uitgevoerd. De Autoriteit Persoonsgegevens heeft ook een lijst opgesteld van soorten verwerkingen waarvoor een DPIA moet worden uitgevoerd. Echter, deze lijst is niet uitputtend.

Om te bepalen of voor een verwerking een DPIA moet worden uitgevoerd wanneer de verwerking niet in de lijst van de Autoriteit Persoonsgegevens staat hebben de Europese privacytoezichthouders gezamenlijk een criterialijst opgesteld. Meer details vind u op: https://www.autoriteitpersoonsgegevens.nl/themas/basis-avg/praktisch-avg/data-protection-impact-assessment-dpia .

Een DPIA wordt bij voorkeur uitgevoerd vóórdat een toepassing in gebruik wordt genomen. Maar het gebeurt steeds vaker dat DPIA’s ook worden uitgevoerd ten aanzien van toepassingen die al jaren in gebruik zijn. Zo heeft SIVON als service aan haar leden de afgelopen jaren DPIA’s uitgevoerd met betrekking tot Microsoft 365, de Google Workspace for Education, Parnassys, ESIS, Magister, SOM2Day en recentelijk AFAS.

De uitkomsten van deze DPIA’s kunnen door de leden worden gebruikt om zelf op efficiënte wijze een DPIA voor deze toepassingen uit te voeren. Het feit dat SIVON een DPIA heeft uitgevoerd voor deze toepassingen ontslaat leden namelijk niet van de verplichting zelf een DPIA voor deze toepassingen uit  te voeren. Een partij als Privacyteam (privacyteam.nl) speelt hier handig op in door op basis van het werk van SIVON een vooringevulde DPIA aan te bieden die je nog wel even moet doorlopen.

DTIA’s in het kort

De term Data Transfer Impact Assessment of DTIA zul je niet teruglezen in de AVG. Deze verplichting komt voort uit de zogenaamde Schrems II-uitspraak (2020) van het Europese Hof waarin het Privacy Shield (een overeenkomst tussen het Amerikaanse ministerie van Economische Zaken en de Europese Commissie over de uitwisseling van persoonsgegevens tussen bedrijven in de EU en de VS) ongeldig werd verklaard. De DTIA is inmiddels ook opgenomen in de zogenaamde Standard Contractual Clauses (SCC’s): modelcontracten die zijn goedgekeurd door de Europese Commissie en kunnen worden gebruikt bij de uitwisseling van data met landen buiten de EER.

Alleen het sluiten van deze SCC’s met een software-leverancier buiten de EER is echter niet voldoende. De wetgeving in het ontvangende land kan namelijk grote inbreuk maken op de privacy van Europese burgers. Hier moeten organisaties onderzoek naar doen via de DTIA. Komen er (grote) risico’s uit dit assessment? Dan moeten technische, organisatorische en contractuele maatregelen worden genomen om deze risico’s weg te nemen. Denk bijvoorbeeld aan encryptie of het pseudonimiseren van data.

De AI-act in het kort

Zoals gezegd zijn nog niet alle organisaties zich bewust van het bestaan van het fenomeen DPIA en DTIA en er zijn er nog veel meer die nog geen DPIA of DTIA hebben uitgevoerd. En dan komt de volgende vorm van risico-inventarisatie ten aanzien van softwarematige toepassingen er alweer aan. Op basis van de AI-act zal naar verwachting vanaf medio 2024 namelijk de Fundamental Rights Impact Assessment oftewel FRIA verplicht worden voor bepaalde AI-toepassingen.

De AI-act is een Europese verordening die onder meer tot doel heeft dat AI-systemen die in de EU in de handel worden gebracht en gebruikt veilig zijn en in overeenstemming zijn met de grondrechten en waarden zoals deze in de EU gelden (bron: Kennisnet).

De AI Act kent een risicogebaseerde benadering: hoe hoger het risico van een AI-systeem, hoe meer verplichtingen er moeten worden nageleefd. Het risico wordt bepaald op basis van het beoogde doel van het gebruik van de technologie en de sector waarin deze wordt ingezet. Er worden vier risiconiveaus onderscheiden:

1. onaanvaardbaar risico
2. hoog risico
3. beperkt risico
4. minimaal risico

AI-systemen die in categorie 1 vallen (denk hierbij aan het gebruik van een social scoring systeem zoals in China wordt ingezet of realtime biometrische systemen voor identificatie op afstand in de openbare ruimte) worden in de AI-act zoals die is voorgesteld verboden omdat deze schadelijk zijn en strijdig met de waarden van de EU.

Voor AI-systemen die in categorie 3 vallen, gelden vooral transparantievereisten zodat de mensen weten dat ze met een AI-systeem te maken hebben. Denk hierbij aan het gebruik van chatbots door webshops of deep fakes.

Voor de laatste risicocategorie (denk aan spamfilters en AI in videogames) gelden er vanuit de AI Act geen verplichtingen; hiervoor wordt alleen aanbevolen om gedragscodes op te stellen.

Het Europees Parlement heeft de AI-Act in maart 2024 goedgekeurd en de Raad heeft in mei 2024 zijn goedkeuring gegeven. Volledige toepassing volgt 24 maanden na de datum waarop de regelgeving actief wordt, maar sommige onderdelen gelden al eerder:

• Het verbod op AI-systemen die onaanvaardbare risico’s vormen, start zes maanden na inwerkingtreding.
• Gedragscodes zijn van toepassing negen maanden na inwerkingtreding.
• Regels voor algemene AI-systemen die aan transparantievereisten moeten voldoen, zijn geldig twaalf maanden na inwerkingtreding.

Systemen met een hoog risico krijgen meer tijd om aan de eisen te voldoen, omdat de verplichtingen voor hen 36 maanden na inwerkingtreding gelden.

De FRIA in het kort

FRIA staat voor Fundamental Rights Impact Assessment. Een FRIA heeft dan ook tot doel inzichtelijk te maken wat de gevolgen voor de grondrechten zijn van het gebruik van een AI-toepassing..

De FRIA geldt voor toepassingen die binnen categorie 2 (hoog risico) vallen. Hierbij wordt een onderscheid gemaakt naar:

1. AI-toepassingen in producten die onder de EU-wetgeving op het gebied van productveiligheid vallen. Voorbeelden hiervan zijn speelgoed, luchtvaartuigen, auto’s, medische hulpmiddelen en liften.
2. AI-systemen op acht verschillende gebieden, die in een EU-databank moeten worden geregistreerd:
   1. beheer en exploitatie van kritieke infrastructuur;
   2. onderwijs en beroepsopleiding;
   3. werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid;
   4. toegang tot en gebruik van essentiële particuliere diensten en openbare diensten en uitkeringen;
   5. rechtshandhaving;
   6. migratie, asiel en beheer van grenscontroles;
   7. ondersteuning van rechterlijke instanties bij het uitleggen van feiten en toepassing van het recht.

Alle AI-systemen met een hoog risico krijgen een beoordeling door een door de Nederlandse overheid in te stellen instantie (sandbox) voor zij in de handel worden gebracht en worden tijdens de volledige levensduur van het systeem gevolgd. Burgers krijgen het recht om klachten in te dienen over AI-systemen bij aangewezen nationale autoriteiten.

Ondanks het feit dat een AI-toepassing binnen categorie “hoog risico” is gekwalificeerd en in dat kader in een centrale database geregistreerd staat, moet een organisatie die met een dergelijke toepassing wil gaan werken dus ook nog een FRIA uitvoeren.

Iedere FRIA dient conform artikel 27 van de AI act te bestaan uit:

• een beschrijving van de processen van de gebruiksverantwoordelijke waarbij het AI-systeem met een hoog risico zal worden gebruikt in overeenstemming met het beoogde doel ervan;
• een beschrijving van de periode waarbinnen en de frequentie waarmee elk AI-systeem met een hoog risico zal worden gebruikt;
• categorieën van natuurlijke personen en groepen die naar verwachting gevolgen zullen ondervinden van het gebruik van het systeem in een specifieke context;
• de specifieke risico’s op schade die waarschijnlijk gevolgen zullen hebben voor de geïdentificeerde categorieën natuurlijke personen of groepen personen; rekening houdend met de door de aanbieder verstrekte informatie;
• een beschrijving van de uitvoering van maatregelen voor menselijk toezicht, overeenkomstig de gebruiksaanwijzing;
• de maatregelen die moeten worden genomen wanneer die risico’s zich voordoen, met inbegrip van de regelingen voor interne governance en klachtenregelingen.

De bomen en het bos

Wanneer in een hoog-risico AI-toepassing persoonsgegevens worden verwerkt moet er vanaf medio 2027 naast een FRIA ook een DPIA worden uitgevoerd. En als er gegevens naar een land buiten de EER worden overgedragen een DTIA.  Daarnaast schrijft de AI-act voor dat een school die met een hoog risico AI-toepassing gaat werken:

• moet borgen dat het systeem wordt gebruikt in overeenstemming met de gebruiksaanwijzing;
• moet zorgen dat de inputdata relevant en voldoende representatief is voor het beoogde doel;
• moet zorgen dat menselijk toezicht wordt uitgeoefend op het AI-systeem;
• logbestanden moet bewaren;
• personen over wie besluiten worden gemaakt met behulp van AI moet informeren.

Er komt dus nogal wat bij kijken voordat een onderwijsinstelling met een AI-toepassing kan werken. Zeker wanneer die binnen de categorie “hoog risico” valt. De inzet van nieuwe software lijkt een soort juridisch proces te worden dat een onderwijsinstelling nauwelijks zelf kan doorlopen. Hopelijk komt er dan ook een goede ondersteuningsstructuur vanuit SIVON en/of Kennisnet.

Terecht dat de in gebruik name van AI-toepassingen met zoveel waarborgen wordt omkleed? Ik denk het wel. De risico’s van de nieuwe technologie zijn evident. Ik kan me geen andere technologie bedenken waarover óók aan de leverancierskant zó hard wordt nagedacht en gediscussieerd over de ethische aspecten. Dat zegt denk ik genoeg. Het is dus goed om alle benodigde waarborgen in te bouwen voordat deze technologie wordt losgelaten op zo’n kwetsbare groep als leerlingen.