Za posledních sedm let pracovníci odboru lidských služeb okresu Allegheny často využívali program prediktivního modelování rizik AI, který jim pomáhal při hodnocení rizikových faktorů dětí pro umístění do systému pěstounské péče v oblasti Pittsburghu. V posledních měsících však základní algoritmy, které stojí za Allegheny Family Screening Tool (AFST), získaly zvýšenou kontrolu nad jejich neprůhledným designem, přičemž byly zohledněny dlouhodobé rasové, třídní a genderové předsudky prediktivních nástrojů AI.
Předchozí zkoumání algoritmu Allegheny Family Screening Tool agenturou Associate Press odhalilo, že určité datové body by mohly být interpretovány jako náhradní popisy rasových skupin. Nyní se však zdá, že AFST by také mohla ovlivnit rodiny v rámci komunity postižených lidí, stejně jako rodiny s historií duševního zdraví. A ministerstvo spravedlnosti to bere na vědomí.
[Related: The White House’s new ‘AI Bill of Rights’ plans to tackle racist and biased algorithms.]
Podle dnes zveřejněné nové zprávy z Associated Pressbylo podáno několik formálních stížností týkajících se AFST prostřednictvím oddělení pro občanská práva ministerstva spravedlnosti s odkazem na PApředchozí vyšetřování jeho potenciálních problémů. Anonymní zdroje v rámci ministerstva spravedlnosti říkají, že úředníci se obávají, že přílišné spoléhání AFST na potenciálně zkreslená historická data riskuje „automatizaci minulých nerovností“, zejména dlouhodobé předsudky vůči lidem s postižením a duševními problémy.
The PA vysvětluje, že Allegheny Family Screening Tool používá „průkopnický“ program umělé inteligence navržený tak, aby údajně pomáhal přepracovaným sociálním pracovníkům v oblasti Pittsburghu určit, které rodiny vyžadují další šetření ohledně nároků na blaho dětí. Přesněji řečeno, nástroj byl vytvořen tak, aby pomáhal předvídat potenciální riziko umístění dítěte do pěstounské péče do dvou let po vyšetření jejich rodinného prostředí.
Návrh černé skříňky AFST údajně bere v úvahu četné faktory případu, včetně „osobních údajů a narození, Medicaid, zneužívání návykových látek, duševního zdraví, vězeňských a probačních záznamů, mezi jinými vládními datovými soubory“, aby se určilo další vyšetřování zanedbání. Ačkoli se pracovníci sociálních služeb nakonec rozhodnou, zda budou či nebudou sledovat případy podle výsledků algoritmu AFST, kritici tvrdí, že potenciálně chybné úsudky programu by mohly ovlivnit rozhodnutí zaměstnanců.
[Related: The racist history behind using biology in criminology.]
Mluvčí odboru lidských služeb okresu Allegheny řekl agentuře AP, že si nejsou vědomi žádných stížností ministerstva spravedlnosti, ani nejsou ochotni diskutovat o větší kritice týkající se nástroje prověřování.
Systémy služeb ochrany dětí již dlouho čelí rozsáhlé kritice jak ohledně jejich celkové účinnosti, tak i neúměrných důsledků, kterým čelí černé, postižené, chudé a jinak marginalizované rodiny. Oficiální webové stránky AFST obsahují studie, zprávy a články třetích stran, které potvrzují předpokládanou spolehlivost a užitečnost programu.
Zdroj: revistamijardin.es, google.cz, pixabay, sciencefocus, nedd.cz
