Obsah
- AI Beauty Bias
- Genderová zaujatost v jazycích
- 2. Genderová a věková diskriminace v zaměstnání
- Rozpoznání obličeje selhalo
- Recidivismus Bias
Odnést:
V posledních letech byla AI stále častěji přijímána a aplikována na vše od hodnocení krásy po posouzení rizika recidivy. Přitom také dodržuje standardy podporující předpojatost a diskriminaci v několika případech.
Pokrok v technologii má potenciál skutečně demokratizovat přístup k informacím a příležitostem. V některých případech se však používá způsoby, které posilují názor, že v naší společnosti jsou někteří lidé rovnější než jiní.
To, co jsme viděli z následujících sedmi případů, ve kterých je umělá inteligence záměrně používána k vyloučení určitých kategorií nebo ve kterých jednoduše odráží zaujatost jejích lidských programátorů s diskriminačním účinkem.
AI Beauty Bias
Krása může být v oku pozorovatele, ale když tento subjektivní pohled dokáže naprogramovat AI, máte v programu předpojatost. Rachel Thomas informovala o jedné takové epizodě v soutěži krásy od beauty.ai v roce 2016. Výsledky ukázaly, že lehčí pleti byly hodnoceny atraktivnější než temné.
Následující rok „FaceApp, který používá neuronové sítě k vytváření filtrů pro fotografie, vytvořil„ hotness filter “, který odlehčil pokožku lidí a dal jim více evropských funkcí.“
Genderová zaujatost v jazycích
Thomas také uvádí zdokumentovaný příklad překladů, které přenášejí stereotypní očekávání kariéry. Výchozím bodem jsou dvě věty: „Je lékařkou. Je zdravotní sestrou.“
Pokud je pak překládáte do turečtiny a zpět do angličtiny, získáte výsledky, jaké byste očekávali od telefonní hry.
Místo toho, abyste dostali to, s čím jste začínali, byste očekávali 50. léta 20. století: „Je to doktor. Je zdravotní sestra.“ Vysvětluje, že je to kvůli genderově neutrálnímu zájmenu v turečtině, které přiřadí pohlaví na základě očekávání a stereotypní zaujatosti. (Přečtěte si ženy v AI: Posílení sexismu a stereotypů technikou.)
Zatímco rasové a genderové předsudky filtrující se do obrázků a jazyka jsou příčinou rozhořčení, nejedná se úplně o stejnou věc jako aktivní diskriminace vyplývající z umělé inteligence, ale to se také stalo.
Její důkaz byl snímek obrazovky omezení vložených pro reklamu v kategorii bydlení, která umožňovala možnost zúžení publika tím, že odškrtla vyloučení kategorií, jako jsou afroameričan, asijský Američan nebo hispánci. Reklama si můžete prohlédnout zde.
Jak společnost ProPublica zdůrazňuje, diskriminační účinek takových reklam je nezákonný jak podle zákona o spravedlivém bydlení z roku 1968, tak podle zákona o občanských právech z roku 1964. Jedinou obranou v tomto případě bylo, že reklama nebyla určena pro samotné bydlení, protože nebyla “ t o nemovitosti nebo domu na prodej nebo pronájem.
Existují však i další případy cílení, které naznačují rasovou zaujatost a které motivovaly různé subjekty k tomu, aby proti sociální síti podaly občanskoprávní žaloby. Jak uvedl Wired, konečně se rozhodl upravit techniku cílení reklam v důsledku řešení pěti právních případů, které ji v březnu 2019 obvinily z umožnění diskriminace menšin prostřednictvím reklam.
Ve své zprávě o osídlení ACLU poukázal na to, jak zákeřné by takové cílené reklamy mohly být, protože menšiny a ženy si ani nemusí uvědomit, že nemají stejný přístup k informacím, bydlení a pracovním příležitostem, které jsou sdíleny s bílými muži.
Protože se více lidí obrací na internet, aby si našlo zaměstnání, byty a půjčky, existuje reálné riziko, že cílení reklam se replikuje a dokonce zhorší stávající rasové a genderové předpojatosti ve společnosti. Představte si, že se zaměstnavatel rozhodne zobrazovat reklamy na inženýrské práce pouze pro muže - nejen uživatelé, kteří nejsou identifikováni jako muži, tyto reklamy nikdy neuvidí, nikdy také nebudou vědět, co jim chybělo.
Koneckonců máme jen zřídka způsob, jak identifikovat reklamy, které nevidíme online. To, že tato diskriminace je pro vyloučeného uživatele neviditelná, je o to obtížnější zastavit.
2. Genderová a věková diskriminace v zaměstnání
Mezi právní případy patřila nelegální diskriminace v oblasti bydlení, která je zacílená na cíl. Ve své zprávě o vypořádání společnost ProPublica uvedla, že testovala platformu a uspěla v nákupu „reklam souvisejících s bydlením na vyloučených skupinách, jako jsou Afroameričané a Židé, a dříve našla reklamy na pracovní místa bez uživatelů podle věku a pohlaví umístěných společnostmi. to jsou jména domácnosti. “
Řada inzerátů o pracovních příležitostech, které ACLU zjistila a která byla výslovně zaměřena pouze na muže v určité věkové kategorii, protože uživatelé mohli kliknout na odpověď, proč jim byla daná reklama zobrazena, byla uvedena v jiném článku s kabelovým připojením. ACLU obvinil komisi pro rovné příležitosti pro práci proti sociální síti a společnostem, které reklamy umístily, protože porušovaly jak pracovní, tak občanská práva.
Diskriminace zaměstnávání osob starších 40 let porušuje federální zákon o diskriminaci na základě věku (ADEA). Avšak cílení reklam na pracovní místa pouze na lidi mladší než tento věk je jednou z věcí, které platforma povolila.
Společnost ProPublica se zaměřila na jednu ze svých zpráv, která odhalila, které reklamy na zaměstnání vydělávaly na této nezákonné formě vyloučení podle věku. „Názvy domácností“ zahrnují mimo jiné Verizon, UPS, Uber, Target, Statefarm, Northwestern Mutual, Microsoft, J Street, HusbSpot, IKEA, Fond pro veřejný zájem, Goldman Sach, OpenWorks a sám o sobě.
Rozpoznání obličeje selhalo
„Rozpoznávání obličeje je přesné, pokud jste Bílý chlap“, prohlásil titulek článku New York Times zveřejněného v únoru 2018. Uvádí výsledky, které našly zřetelnou korelaci mezi tónem pleti a chybnou identifikací:
"Čím tmavší kůže, tím více chyb se objevuje - až o 35% u obrázků tmavších žen s pletí, podle nové studie, která prolomí svěží půdu měřením toho, jak technologie pracuje na lidech různých ras a pohlaví."
Tato zjištění jsou připsána Joy Buolamwinimu, výzkumníkovi v MIT Media Lab a zakladateli Algorithmic Justice League (AJL). Její oblastí výzkumu jsou předpojatosti, které jsou základem umělé inteligence, což má za následek takové zkreslené výsledky, pokud jde o rozpoznávání tváří, které neodpovídají normě bílého muže stanoveného pro tento model.
Buolamwini představila problém rasové a genderové předpojatosti pro rozpoznávání obličeje v rozhovoru pro TED v roce 2017, který uvedla na začátku roku 2018 ve videu o projektu Gender Shades Project od MIT Lab:
<
V popisu videa je uvedeno, že ponechání předpojatosti umělé inteligence zůstane nezaškrtnuté, „ochromí věk automatizace a dále zhorší nerovnost, bude-li ponechána na hladu.“ Rizika není nic jiného než „ztrácí zisky plynoucí z hnutí za občanská práva a hnutí pro ženy za falešného předpokladu strojové neutrality“.
Popis videa přidává varování, na které poukázali mnozí další, jak jsme již viděli u žen v AI: Posílení sexismu a stereotypů pomocí techniky: „Automatické systémy nejsou ze své podstaty neutrální. Odrážejí priority, preference a předsudky - kódované hledět - těch, kteří mají moc formovat umělou inteligenci. “
25. ledna 2019 Buolamnwini zveřejnila příspěvek Střední, který čerpal z jejího vlastního výzkumu a výzkumu dalších vědců, kteří poukazují na to, že nedostatky AI vedou k chybám v Amazonově Rekognaci a požadovaly, aby společnost přestala prodávat službu AI policejním oddělením.
Zatímco společnost Rekognition se mohla chlubit 100% přesností pro rozpoznávání samců se světlou pletí a 98,7% přesností i pro tmavší samce, přesnost klesla na 92,9% u světlejších samic. Ještě více do očí bijící byl ostřejší pokles na pouhých 68,6% u tmavších žen.
Amazon však odmítl ustoupit. Článek Venture Beat citoval prohlášení Dr. Matta Wooda, generálního ředitele hlubokého učení a AI v AWS, ve kterém trval na tom, že zjištění výzkumných pracovníků neodrážejí, jak se AI skutečně používá, a vysvětluje:
„Analýza obličeje a rozpoznávání obličeje jsou zcela odlišné, pokud jde o základní technologii a data použitá k jejich trénování. Pokoušet se použít analýzu obličeje k měření přesnosti rozpoznávání obličeje není doporučeno, protože to není zamýšlený algoritmus pro tento účel. “
Algoritmy jsou však velmi problematické nejen pro ty, kteří jsou spojeni s hlavními výzkumnými středisky. Podle zprávy Gizmodo provedl ACLU svůj vlastní test za nejvýhodnější cenu 12,33 USD. Zjistilo se, že Rekognition spojila 28 členů Kongresu s fotografiemi zločinců.
"K falešné identifikaci došlo, když ACLU v severní Kalifornii nařídila Rekognition s odpovídajícími fotografiemi všech 535 členů Kongresu proti 25 000 veřejně dostupných mugshot fotografií."
Protože 11 z 28 byli lidé barvy, odrážela to pro ně významnou chybovost 39%. Naopak míra chyb jako celek byla přijatelnější 5%. Šest členů Kongresového černého senátora, kteří byli mezi těmi Rekognicemi spojenými s hrnky, vyjádřili své obavy v otevřeném dopise generálnímu řediteli Amazonu.
Recidivismus Bias
Předpojatost zabudovaná do umělé inteligence proti lidem barvy se stává vážnějším problémem, pokud to znamená více než jen chybu v identifikaci. To bylo zjištění dalšího vyšetřování ProPublica v roce 2016. Důsledky takového zkreslení nejsou ničím jiným než svobodou jednotlivce spojenou s ignorováním skutečného rizika osoby, jejíž barva kůže je algoritmem upřednostňována.
Článek odkazoval na dva paralelní případy týkající se jednoho bílého pachatele a jednoho černého. Algoritmus byl použit k předpovědi, který z nich pravděpodobně znovu poruší zákon. Černý byl označen za vysoké riziko a bílý za nízké riziko.
Předpovědi se to úplně nepodařilo a bílý, který se osvobodil, musel být znovu uvězněn. To je nesmírně problematické, protože soudy spoléhají na bodování při rozhodování o podmíněném propuštění, což znamená, že rasová zaujatost započítaná do programu znamená podle zákona nerovné zacházení.
ProPublica podrobila tento algoritmus vlastnímu testu a porovnala skóre rizika více než 7 000 lidí, kteří byli zatčeni v Broward County na Floridě v letech 2013 a 2014, s číslem, které v následujících dvou letech proti nim bylo zahájeno nové trestní obvinění.
Zjistili, že se naplnilo pouhých 20% předpovědí pro opakování trestných činů násilné povahy a další drobné trestné činy se vyskytly pouze u 61% osob se známkami, které ukazují na riziko.
Skutečným problémem není jen nedostatek přesnosti, ale také rasové předpojatost:
- Vzorec zvláště nepravdivě označil černé obžalované za budoucí zločince a nesprávně je označil tímto způsobem téměř dvakrát rychleji než bílé obžalované.
- Bílé obžalované byly označeny jako nízké riziko častěji než černé obžalované.
Ve skutečnosti se to promítlo do míry chybovosti 45% pro černé lidi a 24% pro bílé lidi. Přes tuto do očí bijící statistiku Thomas informoval, že Wisconsinův nejvyšší soud tento algoritmus stále potvrdil. Také popisuje další problémy spojené s algoritmy recidivy.