Uitsluitingsrisico: experts waarschuwen voor discriminerende algoritmes AI-systemen

Data van kunstmatige intelligentie zijn nog onvoldoende inclusief waardoor er een groot risico is op uitsluiting en discriminatie. Experts waarschuwen voor een gebrek aan data-inclusiviteit die tot discriminerende algoritmes kunnen leiden in het onderwijs, de arbeidsmarkt, de gezondheidszorg en in (online) veiligheid. Dit blijkt uit een nieuw rapport van kennisinstituut Movisie in opdracht van het ministerie van OCW.

Kunstmatige intelligentie wordt veelvuldig ingezet op de vier onderzochte terreinen (onderwijs, arbeidsmarkt, gezondheidszorg en veiligheid), maar de data waarop AI-systemen getraind worden, zijn onvoldoende inclusief. Bij het trainen van AI-systemen wordt veelal gebruik gemaakt van onvoldoende diverse datasets, waarin onder andere lhbti+ personen ondervertegenwoordigd zijn. Zo kunnen er in de data vooroordelen zitten, waardoor systemen in elk domein kunnen discrimineren. Daarnaast is er een gebrek aan toegankelijke informatie over lhbti+ personen, omdat algoritmes dit foutief classificeren als porno.

Gebrek aan bescherming en privacy

AI kopieert processen uit de maatschappij en neemt daarmee ook stereotypen en vooroordelen van de ontwikkelaar over, wat kan leiden tot discriminatie. Dat is een groot aandachtspunt benadrukken deskundigen, omdat AI-systemen zichzelf trainen waardoor discriminatie zelfs versterkt kan worden. Verder wordt gewaarschuwd voor het gebrek aan bescherming tegen online geweld en de onduidelijkheid over het opslaan en gebruiken van gegevens over lhbti+ personen. Dit kan in strijd zijn met het recht op privacy. Zo kan een niet beveiligde opmerking in een dossier van een lhbti+ persoon over de seksuele oriëntatie zichtbaar zijn, terwijl dit gegeven niet altijd relevant is.

Docenten kunnen ontlast worden

Naast risico’s zien de onderzoekers ook kansen. Onderwijsprofessionals kunnen ondersteund worden in administratieve taken, waardoor er meer tijd is voor geven van onderwijs. Ook wordt werving en selecteren zonder discriminatie en vooroordelen gezien als kans. Deskundigen zien binnen het thema gezondheidszorg kansen om de zorg inclusiever en beter te maken door lhbti+ personen meer inspraak te geven. Als het gaat om het thema veiligheid kan de omvang van online discriminerende opmerkingen beter worden gemeten.

Het rapport benadrukt dat er nog weinig onderzoek gedaan is naar en kennis over de relatie tussen kunstmatige intelligentie en lhbti+ emancipatie. Het is volgens experts noodzakelijk om meer onderzoek te doen naar inclusieve AI. Ook wordt aangedrongen op een multi-stakeholder aanpak en het van begin af aan betrekken van lhbti+ gemeenschappen om tot inclusievere AI-systemen te komen.

Voor meer informatie kun je het rapport Kunstmatige intelligentie en lhbti+ emancipatie: een verkenning van kansen en risico’s, stakeholders en mogelijke interventies in vier maatschappelijke deelgebied hier downloaden.