Может ли алгоритм быть сексистом или расистом? Формально нет — нейросеть просто находит закономерности в данных. Но если эти данные отражают столетия дискриминации, машина считывает предрассудки как норму и воспроизводит предубеждения своих создателей. Так работают системы, которые решают, одобрить ли вам кредит, принять ли на работу, какую стоимость страховки назначить. Разбираемся, почему «объективный» ИИ дискриминирует людей и что с этим делать.
Механика предвзятости: почему ИИ наследует наши стереотипы
В ноябре 2019 года в США разразился скандал с Apple Card — пользователи в соцсетях массово жаловались, что алгоритм Goldman Sachs предлагает женщинам кредитные лимиты в разы ниже, чем мужчинам с аналогичным доходом и кредитной историей. Например, разработчик Дэвид Хайнемайер Ханссон написал в Twitter, что получил лимит в 20 раз выше, чем его жена, хотя они подают совместную налоговую декларацию и у нее кредитный рейтинг даже лучше.
Департамент финансовых услуг Нью-Йорка провел расследование, проанализировав данные о 400 тысячах заявок. Вердикт оказался неоднозначным: формально Goldman Sachs не нарушал закон — алгоритм не использовал пол как критерий, а заявки мужчин и женщин с похожими характеристиками обрабатывались одинаково.
Но в этом и заключается проблема алгоритмической дискриминации: система может де-юре быть законной и при этом воспроизводить неравенство. Алгоритм учитывал историю кредитования, а в США десятилетиями женщины получали кредиты реже мужчин — не из-за худшей платежной дисциплины, а из-за социальных барьеров. Нейросеть восприняла этот паттерн как объективную закономерность и масштабировала его. Формально пол не учитывался, но итог — тот же: женщины систематически получали худшие условия.
Источник: hi-tech.mail.ru