Wheels 11 mrt 2019 Jan de Raab

Onderzoek wijst uit dat autonoom rijdende auto’s mogelijk racistisch zijn

Het is waarschijnlijk koren op de molen van Sylvana Simons, maar uit een onderzoek blijkt dat de software die wordt gebruikt in autonoom rijdende auto’s om voetgangers te identificeren, moeite heeft om mensen met een donkere huidskleur te herkennen. Op zich is het geen wereldschokkend nieuws, al langer bestond het vermoeden dat bepaalde gezichtsherkenningssoftware moeite had om met donkerdere huidtinten te werken. De resultaten van het onderzoek naar autonome auto’s hebben mogelijk ongewenste bijwerkingen.

AI-software herkent de donkere medemens niet zo goed

Onderzoekers van Georgia Tech hebben acht AI-modellen onderzocht die worden gebruikt in de modernste objectdetectiesystemen. Met deze systemen kunnen autonoom rijdende wagens objecten als verkeersborden en voetgangers herkennen tijdens het rijden. Ze testten deze systemen met behulp van twee verschillende categorieën op basis van de Fitzpatrick-schaal. Een schaal die vaak wordt gebruikt om de menselijke huidskleur te classificeren.

Over het algemeen nam de nauwkeurigheid van het systeem met 5 procent af toen het werd getest met afbeeldingen van voetgangers met een donkere huidskleur. Volgens de eerste onderzoeksresultaten, vertoonden de modellen “opvallend slechtere prestaties” met voetgangers met de drie donkerste tinten op die schaal.

Problemen bij autonoom rijden

Deze resultaten komen naar voren nadat de uitkomst is aangepast om rekening te houden met de vraag of de foto overdag of ‘s nachts is genomen. Het rapport suggereert dus dat mensen met een donkere huidskleur minder snel worden opgemerkt door autonoom rijdende wagens in vergelijking met blanke mensen.

Diversiteit in onderzoek is belangrijk

Het rapport geeft gelukkig een korte schets hoe deze onwenselijke situatie kan worden verholpen. Dit begint met het eenvoudig vergroten van het aantal afbeeldingen van voetgangers met een donkere huidskleur. Ingenieurs dienen de software dus beter te ‘tunen’ zodat elke voetganger, ongeacht de huidskleur wordt herkend.

Helaas is dit niet het eerste rapport waarbij racistische elementen zijn aangetoond in AI-systemen. In mei 2018 meldde ProPublica dat software die werd gebruikt om rechters te helpen bij het bepalen van recidive, bevooroordeeld was jegens zwarte mensen.

Raciale profilering

Het systeem wordt gebruikt door rechters bij strafrechtelijke veroordelingen en geeft aan hoe groot de kans op herhaling is. Een hoge score suggereert dat ze zullen recidiveren, een lage score suggereert dat dit minder waarschijnlijk is.

Onderzoeksjournalisten beoordeelden de score die in 2013 en 2014 werd toegewezen aan meer dan 7000 mensen in Florida. Vervolgens onderzocht men of dezelfde mensen in de komende twee jaar van nieuwe misdaden werden beschuldigd. Het algoritme bleek niet alleen onbetrouwbaar, maar slechts 20 procent van de mensen waarbij recidive werd vermoed, ging ook daadwerkelijk de fout in. Ook die software kan dus als racistisch worden bestempeld. Werk aan de winkel dus.

Ondanks deze problemen worden er grote stappen gemaakt op het gebied van zelfrijdende auto’s. Zo is Tesla al behoorlijk dichtbij een auto die geen hulp van de bestuurder meer nodig heeft.

Interesting Engineering

Reageer op artikel:
Onderzoek wijst uit dat autonoom rijdende auto’s mogelijk racistisch zijn
Sluiten