Computer says no… tegen vrouwen

Software die enkel het bestaan van mannelijke dokters erkent. Een algoritme dat beslist om de beter betaalde jobs vaker aan mannen te laten zien dan aan vrouwen. En wij die dachten dat computers geen vooroordelen konden hebben. Na wat rondneuzen in de wereld van artificiële intelligentie, apps en algoritmes weten we wel beter.

Cambridge, 2015. Louise Selby wil fitnessen. Ze neemt een abonnement bij PureGym. Je kent dat: even een formulier invullen en je mag squatten naar hartenlust. Louise krijgt een badge die haar toegang geeft tot de fitnesszaal. Eén probleempje: het ding werkt niet als ze de kleedkamer binnen wil. Gevloek. Ook niet na tien keer proberen. Het probleem? De titel van ‘dokter’ die ze moest invullen bij haar registratie – ze werkt als pediater –blijkt in de software voorbehouden aan mannen. En mannen, die mogen natuurlijk niet zomaar de vrouwenkleedkamer binnen. Computer says no.

De oplossing van PureGym? Schrap die dokterstitel maar, Louise. Dat een fitnesszaak je überhaupt om een titel vraagt, is al dubieus – alle squatters zijn gelijk, maar sommige squatters zijn meer gelijk dan andere? – maar dat hij je wordt afgepakt omdat je een vrouw bent, en de computer niet snapt dat vrouwen dokters zijn? Vier op de tien artsen in België zijn vrouw. En 58 procent van de specialisten en 65 procent van de huisartsen in opleiding zijn vrouwen.

“Algoritmes bepalen meer dan ooit ons leven, van wie we daten tot welke advertenties we te zien krijgen.”

First world problems? Misschien. Maar dit is maar een van de vele voorbeelden die aantonen dat computers beslissingen voor ons nemen, en dat ze niet vrij van vooroordelen zijn. Algoritmes bepalen meer dan ooit ons leven, van wie we daten tot welke advertenties we te zien krijgen. Handig als zo’n machine weet dat een vrouw geen mannenbroek wilt kopen. Maar wil je dat onderscheid als het gaat om jobadvertenties?

Aan Carnegie Mellon University deden onderzoekers de test. Ze creëerden 1.000 profielen, voor de helft vrouwen en de helft mannen, en lieten die de top 100 jobsites bezoeken. De fake accounts gedroegen zich min of meer hetzelfde; ze bezochten enkel jobsites. Op het einde van de rit hadden de mannelijke profielen de beter betaalde jobadvertenties 1.852 keer te zien gekregen via Google ads, terwijl dat bij de vrouwelijke profielen maar 318 keer was. De onderzoekers weten niet precies waarom – omdat de adverteerders dat zo willen? – want ze hebben geen inzage in hoe de algoritmes werken. Een gelijkaardig probleem deed zich enkele jaren terug voor bij een toepassing van LinkedIn. Het algoritme moest gebruikers jobaanbiedingen laten zien op basis van hun verwachte inkomen – en slaagde er vervolgens in om gekwalificeerde vrouwen te negeren.

Moeder de huisvrouw

Algoritmes zijn allesbehalve neutraal. Dat komt omdat ze leren van de data die je ze toestopt. Als die vol vooroordelen zitten, heb je een probleem, legt auteur Sarah Wachter-Boetcher uit in haar boek ‘Technically Wrong: Sexist Apps, Biased Algorithms, and Other Threats of Toxic Tech’. Zo ontwikkelde Google in 2013 het systeem Word2Vec, dat ontelbare nieuwsartikels kan doorploegen en zo verbanden in taal kan ontdekken, door bijvoorbeeld te kijken hoe vaak woorden samen voorkomen.

En dus leerde het neurale netwerk zichzelf dit: ‘Man is to woman as… computer programmer is to homemaker.’ ‘Father is to doctor as mother is to nurse.’ In hoeverre dat al de realiteit is – zoals gezegd, vier op de tien artsen in ons land zijn vrouwen – mag je hier best je wenkbrauwen bij fronsen.

“Je verwacht dat machines, in tegenstelling tot mensen met al hun menselijke fouten, objectief zijn.”

Want wat als een ander bedrijf dit systeem met diezelfde foute data gebruikt om cv’s automatisch te evalueren? Er komt geen menselijk oordeel meer aan te pas, en de woorden man of vrouw hoeven niet eens letterlijk voor te komen, want het systeem legt zelf verbanden, bijvoorbeeld tussen meer mannelijke namen en de functie ingenieur. Waarna de vrouwelijke cv’s de deur uitvliegen. Waarna er minder vrouwen solliciteren. Zo versterkt een vooroordeel zichzelf. Terwijl je natuurlijk net het omgekeerde zou denken van machines. Je verwacht dat ze, in tegenstelling tot mensen met al hun menselijke fouten, objectief zijn.

Herinner je je Tay? Die chatbot moest babbelen met millennials op Twitter. Het algoritme leerde zichzelf praten naar het voorbeeld van anderen. Hoe meer je met Tay praat, hoe slimmer ze (de chatbot was een meisje) wordt, kondigden Microsoft en Bing aan. Nog geen 24 uur duurde het, vooraleer Tay offline moest, wegens te veel nazistische en seksistische praat.

Cameraherkenning

Onderzoekers van Boston University pleiten voor een methode om algoritmes te ontdoen van hun vooroordelen, of ze nu gaan over gender of ras. Het probleem is niet de technologie, wel de veronderstelling dat de gebruikte data neutraal zijn. Andere experts vinden dat bedrijven die in artificiële intelligentie doen, gereguleerd moeten worden zoals architecten die verplicht samenwerken met stedenbouw.

Algoritmes kunnen ook onbedoeld racistisch zijn. In de VS gebruiken rechters vaak computermodellen om de kans op recidivisme te berekenen, als hulp om een soort rechtlijnigheid te krijgen in celstraffen. Daarvoor worden vragenlijsten gebruikt. Nooit wordt er gevraagd naar ras, maar men zou het bijna evengoed kunnen doen, met vragen zoals ‘Kent u mensen die een celstraf uitzitten?’, en ‘Wanneer was de eerste keer dat u in aanraking kwam met het gerecht?’. Door allerlei factoren is de kans op dat een zwarte ‘ja’ antwoordt groter. Met alle gevolgen van dien.

Software kan je moeilijk niet beschuldigen van slechte bedoelingen, en de ontwikkelaars ervan evenmin. Toch is het vragen om problemen als je software eenzijdig laat ontwikkelen door jonge, witte mannen. Omdat ze – onbewust – te weinig rekening houden met mensen die niet zijn zoals zij. Om die reden tagde Google Photos zwarten een tijdje als ‘gorilla’s’: omdat de technici de ‘intelligente’ software tijdens de leerfase niet genoeg voorbeelden hadden laten zien van zwarten. Waardoor de gezichtsherkenningssoftware in een studie bij mannen met een lichte huidskleur een foutenmarge had van 0,8 procent, tegenover 34,7 procent (!) bij vrouwen met een donkere huidskleur. Dat krijg je als je een dataset gebruikt die voor meer dan 77 procent uit mannen bestaat en die voor meer dan 83 procent wit is. Denk nu even aan de gezichtsherkenning via camerabeelden die eraan komt om verdachten op te sporen, en huiver.

Making the world a better place

Nogmaals, niemand zegt dat die jonge witte mannen dat expres doen. Ze hebben de beste bedoelingen. Sarah Wachter-Boetcher haalt in haar boek een running joke aan uit de serie ‘Silicon Valley’: elke would-be ondernemer, meestal een mannelijke twintiger, verkondigt dat zijn product de wereld een mooiere plek zal maken: ‘making the world a better place’. Waarna hij doorgaans een compleet nutteloze toepassing noemt.

En dan zal je zien dat Siri het woord ‘rape’ niet herkent, zo bleek uit een studie in 2016[1]. Daarin werd gekeken naar hoe virtuele persoonlijke assistenten reageerden in crisissituaties. Intussen weet de virtuele assistent beter.

Over verkrachting gesproken. Weet je wanneer Twitter de noodzaak inzag van een meldknop voor beledigend gedrag? In 2013. Zes jaar na de oprichting van het bedrijf. Want er zijn grenzen, zelfs voor Twitter. De druppel was toen de Britse Caroline Criado-Perez een succesvolle campagne voerde om schrijfster Jane Austen op een briefje van 10 pond te krijgen en af te rekenen kreeg met vijftig verkrachtingsbedreigingen – per uur.

Online (doods)bedreigingen en verkrachtingen zijn een genre op zich. Vraag maar aan Lindy West. De schrijfster zegde haar Twitteraccount op na de zoveelste, in de vorm van een foto van Thomas de trein, met de woorden: ‘CHOO CHOO MOTHERFUCKER THE RAPE TRAIN’S ON ITS WAY. NEXT STOP YOU’. Toen ze de bedreiging meldde, liet Twitter weten dat er geen regels werden overtreden. Zou die beslissing door een mens (m/v) van vlees en bloed genomen zijn?

We durven te opperen dat een gemengd team beter is, voor elk bedrijf, en zeker in de sector van IT en artificiële intelligentie.

’s Werelds eerste algoritme

Voor wie denkt dat vrouwen toch niet geïnteresseerd zijn in computers of technologie, even dit lijstje. Centrale verwarming. De cirkelzaag. De vaatwasser. Verwarming op zonne-energie. Allemaal uitgevonden door vrouwen. De quadrature mirror filterbanks die de basis vormen van de JPEG-2000? Ontdekt door de Belgische Ingrid Daubechies – en nee, vraag ons niet wat quadrature mirror filterbanks zijn.

“Net zoals roze eerst een jongenskleur was, werd programmeren vroeger vaak beschouwd als ‘vrouwenwerk’.”

De eerste computerprogrammeur? Een vrouw. De Britse wiskundige Ada Lovelace schreef in de negentiende eeuw het allereerste computeralgoritme voor de (weliswaar in zijn tijd nooit gebouwde) machine van haar man, Charles Babbage, de uitvinder van de voorloper van de computer. Ze schreef dus ’s werelds eerste algoritme. De Amerikaanse wiskundige Grace Hopper heeft de eerste echte compiler voor een programmeertaal op haar naam. Margaret Hamilton lanceerde de term ‘software engineering’. En in de film ‘Hidden Figures’ zie je hoe zwarte Amerikaanse vrouwen zoals Mary Jackson voor NASA werkten als menselijke computers.

In België zijn 85,9 procent van de IT’ers mannen, tegenover 14,1 procent vrouwen. Maar net zoals roze eerst een jongenskleur was, werd programmeren vroeger vaak beschouwd als ‘vrouwenwerk’, in tegenstelling tot het echte bouwen van de toen nog grote computers, dat gezien werd als mannenwerk. Tot de sector aan aanzien won, en de mannen het overnamen, en nog later James Damore van Google verklaarde dat tech niets voor vrouwen was, wegens aangeboren biologische verschillen. Hij werd ontslagen.

Rollenpatronen voor robots

Ik vraag me nog af wat de eerste computer programmeur Ada Lovelace zou vinden van de nieuwste robots. Zou het haar zijn opgevallen hoe traditioneel de rollenpatronen zijn? Robots voor ruw werk op het (oorlogs)terrein heten Atlas, Helios en Titan. Een robot die een sla maakt? Sally.

Volgens de Maxis Artificial Intelligence Gender Study zijn 100 procent van de robots in de juridische sector mannelijk, net als de meeste robots in de financiële sector. De virtuele assistenten voor thuis en op kantoor, die de dagelijkse taken uitvoeren – denk aan Alexa van Amazon – krijgen vooral vrouwelijke namen.

Wat te denken van Jia Jia, de robot van de University of Science and Technology of China. Lang, donker haar, onschuldige ogen. ‘Yes my Lord, what can I do for you?’ vroeg ze haar bedenker, toen hij haar aan de wereld voorstelde. Toen een camera te dichtbij kwam, zei ze: ‘Don’t come too close to me when you are taking a picture. It will make my face look fat.’

Still making the world a better place?

Jia Jia haalde de vierde plaats van een lijstje met de vijf mooiste robots.

Op het Arts Electronica Festival in Linz in Oostenrijk werd de ‘romantische’ robot Samantha, welja, als een object behandeld. Samantha is geprogrammeerd om verleid te worden met mooie praatjes, maar daar had niet iedereen zin in. Bezoekers knepen in haar borsten, twee van haar vingers werden gebroken en “she was heavily soiled” – bij dat laatste willen we ons niet te veel voorstellen.

Is dat erg? Ze is tenslotte ‘maar’ een robot. Wat met Frigid Farrah van het bedrijf True Companions? Ze maken Roxxxy-seksrobotten op maat – je kiest tussen allerlei haar-, oog- en huidskleuren – en ze kunnen uitgerust worden met een eigen persoonlijkheid. Frigid Farrah is volgens de site “very reserved and does not always like to engage in intimate activities”.

“Robots voor ruw werk op het (oorlogs)terrein heten Atlas, Helios en Titan. Een robot die een sla maakt? Sally.”

Toen Laura Bates in de New York Times riep dat je een pop kon verkrachten voor minder dan 10.000 dollar, ontkende het management in een brief ook maar iets te maken te hebben met verkrachtingsfantasieën: Integendeel. “Frigid Farrah can be used to help people understand how to be intimate with a partner. Rape simply isn’t an interaction that Roxxxy supports nor is it something that our customers are requesting.” Om de FAQ-sectie af te sluiten met: “We have a cleaning kit which takes care of any messes that may occur.”

De vraag die altijd komt, is of poppen/porno/games erger voorkomen – in dit geval, echte verkrachtingen – of erger juist aanmoedigen.

Er zijn mannelijke seksrobotten in ontwikkeling

En jawel, ook kindseksrobotten kan je al kopen, stelde een BBC-journalist vast in Japan. Je kan ze laten maken op maat. Op basis van foto’s. Met emoties naar keuze, zoals verdriet.

Still making the world a better place?

(Let verder niet op mij, ik ga nu even een potje janken.)

– – – – – – – – – – – –

[1] JAMA Internal medicine, maart 2016 in boek Sara Wachter-Boetcher: Technically Wrong: Sexist Apps, Biased Algorithms, and Other Threats of Toxic Tech’
Wat weet jij over het verschil tussen de seksen? Doe de Grote Gender Quiz!
Lees ook: Wat weten we écht over mannen en vrouwen?
En: De mythe van de monogame vrouw
Op 27 juni organiseert Charlie Magazine in deSingel in Antwerpen het Grote Gender Gesprek. Op deze avond proberen genderexpert Katrien van Der Heyden, seksuoloog Wim Slabbinck en wetenschapscommunicator Hetty Helsmoortel de meest hardnekkige gendermythes te doorprikken. Charlie-leden mogen gratis binnen, niet-leden betalen €7. Inschrijven via Eventbrite want de plaatsen zijn beperkt! Meer info vind je op deze eventpagina.
Video’s: Poolhert Productions. Met speciale dank aan Studio A-light voor de opnamestudio.
Illustraties: Istock
Dit project wordt mogelijk gemaakt met steun van een projectsubsidie Mediabeleid van het Departement Cultuur, Jeugd, Sport en Media, Afdeling Cultuur en Media.
0 reacties

Plaats zelf een reactie

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Deze website gebruikt Akismet om spam te verminderen. Bekijk hoe je reactie-gegevens worden verwerkt.

Zonder jou geen Charlie!

Kom bij de leukste club van het internet en krijg: 2 bookzines per jaar, Charlie goodies en toegang tot alle online artikels.

En het allerbelangrijkste: de wetenschap dat je bijdraagt aan een stem die nodig is!

Colofon

  • Hoofdredactie Jozefien Daelemans
  • Chef redactie Selma Franssen
  • Marketing & partnerships Sophie Docx
  • Art Direction & fotografie Sarah van Looy Carmen de Vos Sandra Mermans
  • Design & code Birdseye design
Adres Redactie

LDV United
t.a.v. Charlie Magazine
Rijnkaai 100
2000 Antwerpen