Неэтичные эксперименты с ИИ: реальные истории
689 003 человека однажды стали подопытными и даже не узнали об этом. В 2014 году Facebook неделю крутил ленту так, чтобы одним показывать больше грустных постов, другим — больше радостных. Хотели проверить, заражаются ли люди эмоциями через экран. Заражаются. Результаты выкатили в PNAS — солидный научный журнал. Согласия не спрашивали ни у кого.
Скандал вышел такой, что редакция журнала прилепила к статье примечание с извинениями. Ничего страшнее не произошло. Никто не ответил, эксперимент задним числом не запретили, компенсаций не выплатили. Просто «ой, извините».
С этого начнём, потому что дальше — хуже.
Amazon решил, что женщины хуже программируют
Между 2014 и 2017 годом Amazon строил ИИ, который сам отбирает резюме. Идея простая: скормить машине десять лет истории найма, пусть учится узнавать сильных кандидатов. Проблема в том, чему она научилась.
Десять лет в техе нанимали в основном мужчин. Машина сделала логичный вывод: мужчина — хороший признак, женщина — плохой. И начала резать рейтинг резюме, где встречалось слово «женский». Играла в женском шахматном клубе — минус. Закончила женский колледж — минус. Алгоритм не был мизогином, у него нет убеждений. Он просто честно повторил то, что делали живые рекрутеры, только без стеснения.
Amazon пытался это чинить, не смог гарантировать, что машина не найдёт новый способ дискриминировать, и в 2017 году проект тихо закрыл. Мир узнал только в 2018-м из расследования Reuters. Вот главное, что стоит запомнить: ИИ не создаёт предвзятость. Он берёт вашу, отскребает налёт вежливости и возвращает в чистом виде.
COMPAS: машина решает, сядешь ты или нет
Теперь про то, где ставки — человеческая свобода.
В американских судах используют алгоритм COMPAS. Он оценивает риск того, что подсудимый снова совершит преступление, и судья смотрит на эту оценку, когда решает вопрос о залоге, сроке, досрочном освобождении. Живой человек, живой приговор, а на весах — число из чёрного ящика.
В 2016 году ProPublica разобрала работу COMPAS и нашла дичь. Чернокожих подсудимых алгоритм вдвое чаще ошибочно записывал в группу высокого риска — тех, кто на деле больше ничего не нарушал. При этом по точности предсказаний COMPAS не обыгрывал случайного прохожего с улицы. То есть суд опирался на прогноз, который не лучше подбрасывания монетки, но с расистским перекосом и печатью «научный алгоритм». Печать — самое опасное. Монетке никто не верит, а числу на экране верят.
IBM Watson: онколог, который знал, что врёт
Facebook игрался с настроением, Amazon — с карьерой, COMPAS — со свободой. IBM пошёл дальше: продавал больницам ИИ, который лезет в решения о жизни и смерти.
С 2013 по 2018 год IBM продвигал Watson for Oncology как электронного онколога — систему, которая рекомендует лечение рака. Звучит как будущее. Внутри был ад: инженеры знали, что часть рекомендаций небезопасна. Watson обучали не на реальных историях болезни, а на гипотетических, придуманных случаях. То есть машина советовала лечение живым людям с раком, опираясь на выдуманные задачки.
Онкоцентр MD Anderson вложился, разобрался, что происходит, и разорвал контракт — сгорело 62 миллиона долларов. В 2022-м IBM слил всё подразделение Watson Health целиком, суммарные убытки оценивают примерно в 4 миллиарда. Продавали спасение, внутри знали, что это не работает, и продавали дальше. Вот это уже не косяк алгоритма. Это осознанное решение людей.
Что роднит все эти истории
Разложим по полкам, потому что паттерн один и тот же.
Никто не спрашивал разрешения. Facebook не спросил 689 тысяч человек. Clearview AI наскрёб больше 60 миллиардов фотографий из соцсетей и собрал базу для распознавания лиц, которую продавал полиции, — тоже никого не спросив. ACLU засудил их в 2020-м, в 2025-м дошло до мировой на 51,75 миллиона долларов. Ваше лицо, ваши посты, ваши эмоции — материал, а вы про это не в курсе.
Машина усиливает то, что в неё заложили. Amazon скормил ИИ предвзятость рекрутеров — получил предвзятость на стероидах. COMPAS впитал перекос системы правосудия — вернул его с научным лоском. Модель не думает. Она усиливает.
Люди знали и молчали. Это самое мерзкое. IBM знал, что Watson опасен. Meta знала, что творит Instagram: внутренние документы, которые вынесла Фрэнсис Хоген в 2021-м, показали — компания в курсе, что Instagram портит восприятие собственного тела у 32% девочек-подростков. Знали и прятали. Исследования переводили под адвокатскую тайну, чтобы их нельзя было вытащить в суд. Тут уже не про глупую машину. Тут про взрослых людей, которые видели вред и выбрали деньги.
За это почти никогда не наказывают. Facebook отделался примечанием в журнале. Amazon — статьёй в Reuters. IBM потерял деньги, но не свободу. Clearview заплатил штраф, который для такого бизнеса — операционные расходы. Microsoft вообще повезло: когда в марте 2016-го пользователи за 16 часов научили чат-бота Tay постить про Гитлера, отрицать Холокост и сыпать расизмом, компания просто выдернула вилку и извинилась. Ущерб — репутационный, и тот забылся за неделю.
Вывод, который стоит унести
Каждый раз, когда вам продают ИИ как объективный, беспристрастный, свободный от человеческих слабостей, вспоминайте этот список. Ни одна из этих систем не была злой сама по себе. Их такими сделали люди: своими данными, своими предрассудками, своим молчанием и своей жадностью.
ИИ — это зеркало, увеличенное до промышленных масштабов. Что вы в него засунете, то он и отразит, только громче, быстрее и без совести. И пока за такие эксперименты платят примечанием в журнале, а не сроком, следующий кейс уже пишется. Возможно, прямо сейчас с вашими данными.
Спрашивайте, на чём обучена модель, которой вам предлагают доверить резюме, диагноз или приговор. Если ответа нет — ответ вы уже получили.
