Algorytmy pełne uprzedzeń

Naukowcy to interesująca grupa. Czasami w pocie czoła wydzierają Naturze klucz do tajemnic wszechświata, metylują DNA albo wymyślają materiały niezbędne do zbudowania windy kosmicznej.

A innym razem dostają Ig Nobla za badania nad lewitującymi żabami, tworzeniem się kolorowych kłaczków w pępku czy zbadanie wpływu noszenia poliestrowych, bawełnianych i wełnianych spodni na życie seksualne szczurów.

Błędy algorytmiczne

Dlatego nie powinno nikogo dziwić, że czasami, gdy znudzi im się siłowanie na rękę z Wszechświatem, poważni ludzie biorą się za mniej poważne, jednak nie mniej istotne rzeczy. Tak zrobiła grupa naukowców i badaczy z Georgia Institute of Technology. I ze zgrozą odkryła, że autonomiczne samochody są rasistowskie. No dobra, tak trochę rasistowskie. Spróbowali więc dociec przyczyn takiego a nie innego ich zachowania. Wyniki opublikowali w naukowym kwicie „Predictive Inequity in Object Detection”, i na sprawę rzuciły się natychmiast media.

Benjamin Wilson, Judy Hoffman i Jamie Morgenstern sprawdzili, czy najnowsze systemy wykrywania ludzi/obiektów wykazują równą skuteczność w detekcji osób o różnych odcieniach skóry. I wyszło im, że niekoniecznie.

Skala Fitzpatricka

W roku 1975, amerykański dermatolog Thomas B. Fitzpatrick zaproponował numeryczny schemat klasyfikacji koloru ludzkiej skóry. Chodziło mu o wyróżnienie tak zwanych fototypów, czyli podzielenie kolorów skóry w zależności od tego, jak ta reaguje na promieniowanie ultrafioletowe. Powstała sześciostopniowa skala, w której jedynka to skóra blada, która zawsze ulega oparzeniom i nigdy się nie opala. Z kolei numer 6 oznacza skórę ciemnobrązową lub czarną, która nigdy nie ulega oparzeniom, i nigdy się nie opala.

Zespół badaczy przeanalizował osiem systemów wykrywania obrazów, które nakarmił zdjęciami osób z trzech najjaśniejszych fototypów Fitzpatricka, i dla porównania, trzema najciemniejszymi. Czyli w jednej grupie twarze od 1 do 3, a w drugiej od 4 do 6. Naukowców interesowało, czy najnowocześniejsze systemy równie dobrze radzą sobie z detekcją obu grup. Oczywiście wyznawcy metody naukowej nie są w ciemię bici, więc uwzględnili ewentualne szumy w materiale wejściowym.

No i ku sporemu zaskoczeniu badaczy okazało się, że jeżeli jesteś człowiekiem łapiącym się w przedziale skali od 4 do 6, masz większe szanse na to, że system detekcji twarzy nie wyłapie twojej obecności na drodze, i padniesz ofiarą potrącenia. Przeanalizowane systemy były bowiem średnio o 5 proc. mniej skuteczne w identyfikacji tych typów skóry. 

Uczenie autonomicznych systemów

Naukowcy zaczęli się zastanawiać, co jest grane. No bo przecież próba badawcza była odpowiednio duża, nie przeanalizowali 20 fotografii dla każdej z grup, tylko skorzystali z zestawu danych, tzw. Berkeley Driving Dataset, wykorzystywanego do trenowania najnowszych systemów autonomicznych w samochodach. Bazę badawczą mieli ogromną, liczącą 100 tys. zdjęć zrobionych w czterech różnych lokalizacjach, w różnych warunkach pogodowych i sytuacjach drogowych, oraz uwzględniających różne pory dnia. Spośród tych 100 tys. zdjęć, aż 70 tys. to zestaw treningowy, 20 tys. walidacyjny i 10 tys. testowy.

Posunęli się nawet dalej i sięgnęli po drugi zestaw danych, MC COCO, na podstawie którego też wyuczyli systemy autonomiczne. Tu się nie ma do czego przyczepić, ci ludzie wiedzieli, co robią.

Warunki dodatkowe

Zatem gdy okazało się, że samochody chętniej wjeżdżają w osoby o ciemniejszym odcieniu skóry, badacze zaczęli zastanawiać się, co jest grane. Różnica 5 proc. jest różnicą znaczącą, dlatego zaczęli rozbierać ten problem na kawałki. Uwzględnili zatem to, że piesi pokazani na zdjęciach mogli być częściowo zasłonięci przez inne obiekty. Uwzględnili różne pory dnia, w których wykonano fotografie. Wzięli pod uwagę warunki atmosferyczne. Przyjrzeli się różnym sytuacjom drogowym. A nawet uwzględnili różne modele rozpoznawania twarzy. I nie chciało wyjść inaczej – ludzie o ciemniejszej skórze mają problem.

Zresztą producenci systemów rozpoznawania twarzy też, bo jakże to tak, zrobiliśmy niechcący rasistowskie maszyny, które po włożeniu do autonomicznego samochodu, zaczną rozjeżdżać czarnoskórych? Nikt nie potrzebuje takiego kiepskiego PR-u. Panowie naukowcy, pomóżcie i znajdźcie odpowiedź i rozwiązanie tego problemu.

Stronnicze dane wejściowe

Okazało się, że zestawy wykorzystywane do uczenia systemów autonomicznych podpadają pod kategorię tzw. „biased data”, co możemy sobie przetłumaczyć jako „stronnicze dane”. W tych zestawach, osób mieszczących się w skali od 1-3, było o wiele więcej niż tych z drugiego zakresu. No i maszyny karmione tak niefortunnie dobranymi danymi, skuteczniej dostrzegały ludzi białych.

Oczywiście badania naukowców z Georgii nie zostały poddane ocenie peer-review, systemy rozpoznawania obrazów są różne od tych, które są stosowane w samochodach autonomicznych a zestawy zdjęć wykorzystanych do nauki mogą się różnić od tych, z których uczą się systemy komercyjne, ale badaczom udało się przynajmniej zwrócić uwagę na istniejący problem. Producenci samochodów autonomicznych powinni zwracać większą uwagę na metody stosowane w ich rozwiązaniach.

Nieintencjonalnie rasistowska elektronika

Ten przypadek stronniczych danych nie jest jedyny, chociaż może mieć potencjalnie najbardziej niebezpieczne implikacje. Inne, choć mniej spektakularne, sygnalizują problem. Joz Wang, pochodzący z Tajwanu, amerykański konsultant, kupił matce w prezencie aparat fotograficzny, który miał wbudowany system rozpoznający, gdy ktoś mruga. Okazało się, że orientalne twarze nastręczają pewnych problemów detekcyjnych i podczas próby robienia zdjęć członkom rodziny, Wang widział ciągle komunikat, że osoba fotografowana mruga. Miało to miejsce w 2010 roku, więc problem od tamtego czasu został rozwiązany.

Nigeryjczyk Chukwuemeka Afigbo, w sierpniu 2017 roku wrzucił na Twittera krótki film, który szybko stał się wiralem, bo wydawał się śmieszny. Pokazywał automatyczny podajnik do mydła, który serwował je na rękę białej osoby, ale odmawiał współpracy, gdy próbowała uzyskać mydło osoba czarnoskóra.

W 2015 roku Flickr i Google musiały zmierzyć się ze skandalem, związanym z ich automatycznym systemem tagowania zdjęć. W przypadku tego pierwszego, zdjęcia czarnoskórych osób były oznaczane jako „małpa” i „zwierzę”. Google Photos z kolei zidentyfikowało zdjęcie czarnoskórej pary jako „goryle”.

W 2018 roku członkowie American Civil Liberties Union przetestowali Rekognition – system rozpoznawania twarzy Amazona. Przeskanowali twarze wszystkich 535 członków Kongresu i skrzyżowali je z 25 tysiącami udostępnionymi publicznie zdjęciami policyjnymi. System wygenerował 28 fałszywych dopasowań. Problem polega na tym, że spośród tych dopasowań, 11 czyli 39 proc. dotyczyło czarnoskórych członków Kongresu. W Kongresie zasiadało wtedy jedynie 20 proc. czarnoskórych, więc nadreprezentacja fałszywych dopasowań była znaczna.

Jeszcze większy problem polega na tym, że Rekognition jest wykorzystywane przez kilka departamentów policji i niektóre federalne agencje mundurowe. Co oznacza, że w wyniku takiego błędnego dopasowania, osoba czarnoskóra może dużo łatwiej stracić tymczasowo wolność od osoby białej.

Kolejnym przykładem bazowania na stronniczych danych, które może prowadzić do zagrożenia zdrowia i życia są pasy bezpieczeństwa. Zrobiono je bowiem dla mężczyzn. W wyniku badań przeprowadzonych w 2001 roku przez American Journal of Public Health okazało się, że kobiety mają o 47 proc. wyższe szanse na zranienie lub śmierć w wypadku samochodowym. W ostatnich latach sytuacja się poprawiła, ale w dalszym ciągu równości brak.

Przed nami jeszcze sporo pracy.

PS Z żabami związana jest ciekawa historia. Fizyk Andriej Gejm, za badania nad żabami lewitującymi w polu magnetycznym, dostał Ig Nobla w 2000 roku. Dziesięć lat później sięgnął po Nobla za odkrycie grafenu.


/
/artykul/5498/algorytmy-pelne-uprzedzen

Strona korzysta z plików cookie w celu realizacji usług zgodnie z Polityką Cookies. Możesz samodzielnie określić warunki przechowywania lub dostępu plików cookie w Twojej przeglądarce.