De strijd van een student tegen discriminerende antispieksoftware van de VU en de tol die het eist
“Het scannen van mijn studentenpas en bureau ging goed, maar bij mijn gezicht kreeg ik de melding dat de ruimte te donker was”, vertelt de 26-jarige Robin Pocornie over het maken van haar eerste examen in september 2020 met - door de Vrije Universiteit (VU) verplichte - online antispieksoftware Proctorio. Wanneer ze een lamp in haar gezicht schijnt, wordt ze wel herkend en toegelaten tot haar examens. Ze vermoedt daarom dat de software discrimineert, maar voelt zich door de VU niet gehoord als ze een klacht indient en klopt daarom aan bij Het College voor de Rechten van de Mens (CvRM). Dat gaf haar op 7 december 2022 in een tussenoordeel gelijk, waarna de VU weer met tegenbewijs kon komen. Deze zaak is een historische gebeurtenis, met alle gevolgen van dien.
Niet eerder ontving het CvRM een klacht over discriminerende software. Maar Pocornie voelde zich genoodzaakt zich uit te spreken over de software en de VU. “Het is principieel, ik deed het niet om mijn cijfers te verhogen of mijn examens opnieuw te maken. Ik wilde dat er iets gedaan werd met het probleem dat binnen de universiteit heerst.” De Amsterdamse student wordt gedurende de gehele zaak vrijwillig bijgestaan door Naomi Appelman, co-founder van non-profitorganisatie Racism and Technology Center. “We hebben hiermee de norm gesteld dat dit soort software onder discriminatie kan vallen, wat niet mag. Het tussenoordeel blijft hoe dan ook staan en dat is een mijlpaal."
Robin Pocornie en Naomi Appelman Foto: Ariela Slakhorst
In het nog te vellen eindoordeel wordt er echter vastgesteld of in het persoonlijk geval van Pocornie ook daadwerkelijk sprake was van indirecte discriminatie, legt Appelman uit. ”We spreken in de zaak van indirecte discriminatie, omdat de software niet direct zegt ‘alle Zwarte mensen mogen niet naar binnen’. In het eindoordeel gaat het over of Robin persoonlijk is gediscrimineerd.” Universiteiten hoeven, naar aanleiding van het tussenoordeel, niet hun beleid aan te passen en kunnen er alsnog voor kiezen om gebruik te maken van Proctorio en vergelijkbare software. Wat het dan wel betekent? Dat er nu vastgesteld is dat dit type software kan discrimineren. Het wordt hierdoor veel makkelijker om het aan te vechten, mocht een ander persoon in een vergelijkbare situatie terechtkomen.
De tol van de zaak
De zaak kost Pocornie veel tijd en brengt veel zorgen en stress met zich mee. “Ik doe dit met de hulp van het Racism and Technology Center, maar het is mijn naam die eraan hangt." Ik had nu ook bezig kunnen zijn met het afronden van mijn opleiding, maar ik neem het op tegen de VU die een advocatenkantoor achter zich heeft staan. Als ik nu de universiteit moet mailen, ben ik ook veel voorzichtiger. Je wil als student niet benadeeld worden. Ik ben niet gerustgesteld dat ik als student veilig een klacht kan indienen.” Pocornie geeft ook aan dat ze het spannend vindt als ze later weer op campus moet zijn om haar studie af te ronden. Tijdens de hoorzitting is namelijk vertrouwelijk en inhoudelijk contact met de studieadviseur als bewijs ingediend, hierdoor heeft ze nog meer vertrouwen verloren in de VU.
“Ik sta nog wel ingeschreven op de VU, maar studeer momenteel niet. Ik kan niet aan de bel trekken als ik ergens mee zit, omdat ik niet weet waar mijn mail en telefoontjes terechtkomen en of deze tegen me gebruikt zullen worden in de zaak. Soms ben ik bang dat Proctorio te horen krijgt over mijn zaak, in Amerika worden mensen keihard aangeklaagd als ze de software bekritiseren.” De VU-student verwijst ook naar een interview met haar dat onlangs is uitgekomen op Wired, een Brits en Amerikaans tech magazine, ‘This student is taking on ‘biased’ exam software’, waarin een student uit de Verenigde Staten niet Proctorio bij naam durft te noemen. De Amsterdamse student heeft gelukkig wel steun van haar naaste omgeving, al lost dat niet meteen alles op. “Ik heb naaste vrienden en familie die me steunen, maar veel van hen snappen de materie niet. Daardoor voel ik mij soms erg alleen.”
Desondanks lukt het Pocornie om al haar examens te behalen. ‘Waarom klaag je dan hierover?’ vragen mensen haar weleens. “Ik wil dat de VU verantwoordelijkheid neemt voor het aankopen van deze software. Niet alleen voor mij, maar ook voor andere studenten.” Maar de student wil ook dat mensen weten dat het probleem verder gaat dan enkel de Vrije Universiteit. “Het gaat om het groter geheel, over de impact die het inzetten van zulke antispieksoftware heeft op mensen. Instanties kunnen en moeten verantwoordelijk gehouden worden voor het aankopen van zulke software.”
Wachten op het eindoordeel
Na het tussenoordeel van 7 december 2022 waarin het CvRM Pocornie in gelijk stelde, kreeg de VU tien weken de tijd om tegenbewijs aan te leveren. Momenteel buigt het CvRM zich over het tegenbewijs en verzamelt Pocornie nieuw bewijs om het bewijs van de VU te weerleggen. Over het bewijs is echter nog weinig vrijgegeven, maar de VU impliceert in het eerste verweer dat de inlogproblemen te wijten waren aan een instabiele internetverbinding. De Amsterdamse student hoopt dat het College het huidige bewijs rondom gezichtsdetectiesoftware in acht zal nemen.
Robin Pocornie Foto: Ariela Slakhorst
Ze vindt het echter kwalijk dat de Universiteit tegenbewijs is gaan verzamelen, al is dit procedure. “Als je als universiteit claimt zo vooruitstrevend, ruimdenkend en open te zijn voor iedereen: waarom zou je dat dan willen doen? Dat is wat mij betreft wel een ethisch vraagstuk. Er lopen studenten van kleur door de gangen, maar ze houden daar geen rekening mee bij het maken van beleid. Kijk maar naar hoe met deze zaak wordt omgegaan.” Daar is Appelman het ook mee eens. “Het is nalatig omdat je weet dat dit soort technologie door de manier waarop het getraind is nooit helemaal inclusief kan zijn."
De 26-jarige is echter niet de enige die stress ervaart door het maken van examens met antispieksoftware software. Uit een inventarisatie van de Landelijke Studentenvakbond (LSVB) is in januari 2021 gebleken dat studenten meer stress ervaren door het gebruik van zulke software. Zo maken zij zich zorgen over de werking van de software, hun internetverbinding en de angst om onterecht als fraudeur aangewezen te worden. Volgens de LSVB weegt vooral dat laatste erg zwaar, ook benadrukken zij dat honderden studenten daadwerkelijk onterecht zijn aangemerkt door antispieksoftware op de Wageningen Universiteit, Erasmus Universiteit en Vrije Universiteit. “We hebben verschillende studenten gesproken die aan gaven dat dit kwam, omdat ze bijvoorbeeld te lang staarden naar een deur, maar ook studenten met een donkere huidskleur die niet herkend werden”, vertelt de voorzitter van LSVB Joram van Velzen aan de telefoon.
Wereldwijd problemen met Proctorio
Het is een bekend probleem: in 2021 verscheen een artikel op The Verge, een Amerikaanse nieuwswebsite gespecialiseerd in technologie, over een student die na onderzoek over Proctorio tot de conclusie kwam dat de software meer dan de helft van de tijd Zwarte gezichten niet herkent. Ook Lilith Mag publiceerde in dat jaar een artikel over Proctorio en hoe technologie racistisch kan zijn, geschreven door het Racism and Technology Center.
Uit een studie naar drie grote gezichtsherkenningssoftware uit 2018 blijkt dat donkergetinte Zwarte vrouwen het vaakst niet herkend worden. Recent onderzoek van oktober 2022, uitgevoerd voor de Mensenrechtenraad van de Verenigde Naties, duidt hoe AI en nieuwe technologieën systematische racisme versterken. De gevaren van Artificiële Intelligentie (AI) waaronder het racisme en seksisme dat het benadrukt, is al een aantal jaren een veelbesproken onderwerp.
Zwarte en bruine studenten lopen wereldwijd tegen hetzelfde probleem aan als Pocornie. Personen die net zoals zij ook de foutmelding “room too dark” en “face not found” krijgen tot ze met fel licht in hun gezicht schijnen. “Het is al bewezen dat camera’s minder goed licht reflecteren op donkere gezichten. Als Zwart persoon heb je dus al een disadvantage omdat de technologie van de camera geen rekening houdt met jouw huidskleur. Dan heb je ook nog de added layer van een algoritme dat gevoed is met witte gezichten, dat daarom niet weet hoe een donker gezicht eruit ziet”, vertelt Pocornie.
De problemen rondom camera’s en personen van kleur erkent ook Proctorio. In een gezamenlijke stament, naar aanleiding van een schikking tussen Proctorio en een student informatica van de Universiteit Ohio, werd in maart 2022 het volgende verklaard door de antispieksoftware: “We erkennen dat sommige algoritmen voor gezichtsdetectie en blikdetectie hogere foutpercentages hebben, of minder nauwkeurig werken, voor mensen van kleur. Deze problemen bestaan tot op zekere hoogte al lang in alle op camera's gebaseerde technologie.” Daartegenover verklaarde de student uit Ohio dat sommige van zijn opmerkingen over Proctorio onnauwkeurig en zonder context waren opgenomen.
Naar aanleiding van berichtgeving in de Volkskrant met Pocornie heeft de VU op de eigen website eerder de volgende reactie geplaatst:
“Het raakt ons zeer dat de studente zich zo benadeeld heeft gevoeld. Sociale veiligheid en inclusiviteit zijn belangrijke basisvoorwaarden voor de VU en we zien deze waarden als voorwaarden om goed te kunnen studeren. De faculteit heeft de klacht van de student dan ook met grote zorgvuldigheid onderzocht. Er is in dat onderzoek geen aanwijzing gevonden dat de software daadwerkelijk discrimineert [...] We blijven als inclusieve onderwijsinstelling de verdere maatschappelijke discussie en ontwikkelingen bij andere universiteiten nauwgezet volgen en nemen vervolgstappen waar nodig.”
In een reactie aan Lilith Magazine schrijft de VU: “voor een compleet beeld willen we graag het eindoordeel van het college afwachten, voordat we inhoudelijk in kunnen gaan op de zaak.”