Об эксперте: Артем Добровольский — PR-менеджер, занимается продвижением брендов и экспертов в сфере ИИ. Более 10 лет работал в сфере государственных и корпоративных коммуникаций.
ИИ и стереотипы
Механика предвзятости: почему ИИ наследует наши стереотипы
В ноябре 2019 года в США разразился скандал с Apple Card — пользователи в соцсетях массово жаловались, что алгоритм Goldman Sachs предлагает женщинам кредитные лимиты в разы ниже, чем мужчинам с аналогичным доходом и кредитной историей. Например, разработчик Дэвид Хайнемайер Ханссон написал в Twitter, что получил лимит в 20 раз выше, чем его жена, хотя они подают совместную налоговую декларацию и у нее кредитный рейтинг даже лучше.
Департамент финансовых услуг Нью-Йорка провел расследование, проанализировав данные о 400 тысячах заявок. Вердикт оказался неоднозначным: формально Goldman Sachs не нарушал закон — алгоритм не использовал пол как критерий, а заявки мужчин и женщин с похожими характеристиками обрабатывались одинаково.
Но в этом и заключается проблема алгоритмической дискриминации: система может де-юре быть законной и при этом воспроизводить неравенство. Алгоритм учитывал историю кредитования, а в США десятилетиями женщины получали кредиты реже мужчин — не из-за худшей платежной дисциплины, а из-за социальных барьеров. Нейросеть восприняла этот паттерн как объективную закономерность и масштабировала его. Формально пол не учитывался, но итог — тот же: женщины систематически получали худшие условия.
С технической точки зрения нейросеть просто находит статистические закономерности в данных. Но разница в логике принятия решений между машиной и человеком очевидна. Мы знаем, что корреляция не равна причинно-следственной связи, однако ИИ этой разницы не понимает. Если в исторических данных банка женщины чаще получали отказы в кредитах, алгоритм считает это объективным фактором риска — не задаваясь вопросом, почему так произошло и справедливо ли это.
Проблема выходит за пределы финансов. Алгоритмическая дискриминация проявляется везде, где ИИ принимает решения о базовых правах. Вот лишь несколько примеров. В США система здравоохранения недооценивала потребности афроамериканцев в доступе к медицине, обучаясь на данных о расходах. В Великобритании алгоритм занизил почти 40% выпускных оценок ученикам из бедных районов, лишив их мест в университетах. В Нидерландах система выявления мошенничества с детскими пособиями непропорционально часто помечала как подозрительных жителей районов с низкими доходами и высокой долей мигрантов — скандал даже привел к отставке правительства. Общая закономерность всех этих кейсов такова: алгоритмы усиливают неравенство, обучаясь на данных, где оно уже зафиксировано.
Невидимая дискриминация
Невидимая дискриминация: proxy-признаки вместо прямых критериев
Наиболее опасная форма алгоритмической предвзятости — скрытая. Законодательство большинства стран запрещает использовать пол, расу или национальность для принятия решений о кредитах или трудоустройстве. Но современные нейросети умеют находить proxy-признаки — косвенные маркеры, коррелирующие с защищенными характеристиками. Почтовый индекс может указывать на расу, если районы исторически сегрегированы. История покупок — на пол. Образовательные учреждения — на социально-экономический статус. В результате алгоритм формально не нарушает закон, но фактически дискриминирует.
В России эта проблема усугубляется непрозрачностью скоринговых систем. Банки не раскрывают, какие факторы влияют на решение о кредите, ссылаясь на коммерческую тайну. В июле 2025 года Центробанк выпустил Кодекс этики применения ИИ на финансовом рынке, который прямо указывает на необходимость не использовать дискриминационные факторы — национальность, расу, вероисповедание — и проверять наборы данных на недискриминационный характер. Однако это рекомендации, а не обязательные требования. Регуляторы не имеют инструментов для массовой проверки систем на дискриминацию.
Отсутствие обязательного аудита создает замкнутый круг: клиенты не знают, почему получили отказ, и не могут оспорить решение. В результате даже если алгоритмы воспроизводят предрассудки через косвенные признаки, это практически невозможно документировать и доказать — в отличие от западных рынков, где подобные кейсы становятся предметом громких расследований и судебных исков.
Как бороться
Как бороться: от жесткого регулирования до аудита
Решение проблемы требует системного подхода — обязательной прозрачности, технического аудита и реальных механизмов контроля. Мировая практика показывает три модели регулирования.
В Евросоюзе с августа 2024 года действует AI Act, обязывающий компании раскрывать принципы работы алгоритмов в критических сферах и проходить независимую сертификацию перед запуском. Полное применение требований начнется в августе 2026 года, но уже сейчас закон обязывает компании готовиться к обязательной сертификации систем высокого риска. Системы, влияющие на доступ к финансам, здравоохранению и трудоустройству, должны документировать датасеты и доказывать их репрезентативность. В США регулирование идет на уровне штатов: например, Нью-Йорк с июля 2023 года требует от работодателей, использующих ИИ для найма, проводить ежегодный аудит и публиковать статистику по демографическим группам.
Китай выбрал путь государственного контроля — с марта 2022 года алгоритмы рекомендаций, влияющие на общественное мнение или экономические решения, подлежат обязательной регистрации в государственном реестре. Это создает централизованный надзор, радикально отличающийся от западной модели, где алгоритмы остаются коммерческой тайной.
Третья модель — рекомендательная, как в России — опирается на добровольное следование этическим принципам без механизмов принуждения. Но практика показывает: без обязательности и реальных санкций компании не инвестируют в дорогостоящий аудит на предвзятость.
На уровне компаний критически важны три инструмента: балансировка обучающих датасетов, параллельное тестирование на разных демографических группах и встраивание ограничений в модель — например, запрет на статистически значимую разницу в одобрении для групп, различающихся только по защищенным признакам.
Этичный ИИ
Этичный ИИ и «профит» для бизнеса
Борьба с алгоритмической дискриминацией — это не только вопрос этики и соблюдения законов. Это еще и прямая экономическая выгода. Предвзятые алгоритмы теряют клиентов и деньги, а компании, которые регулярно проверяют системы на справедливость, получают конкурентное преимущество.
В моей консалтинговой практике был такой случай. Российский стартап в сфере гостеприимства внедрил систему персонализированных рекомендаций на основе ИИ. Через несколько месяцев команда обнаружила странность: алгоритм реже предлагал дорогие услуги клиентам из определенных регионов, хотя их платежеспособность была такой же.
Оказалось, система училась на исторических данных, где сотрудники просто реже делали предложения этим клиентам — срабатывали бессознательные стереотипы. Нейросеть восприняла это как закономерность и воспроизвела паттерн.
Когда провели тестирование с одинаковым количеством предложений для всех групп, выяснилось, что интерес к премиальным услугам одинаковый. После корректировки выручка выросла почти на 20% — компания перестала терять клиентов из-за предвзятости, которую алгоритм унаследовал от людей.
ИИ объективен ровно настолько, насколько объективны данные, на которых он обучен. Стоит воспринимать его не как беспристрастного судью, а скорее как зеркало нашего общества. Без регулярной проверки алгоритмы масштабируют человеческие стереотипы. Но ответственность за это — и бизнес-стимул исправить — лежит на тех, кто создает и использует технологию.
Источник: hi-tech.mail.ru