Исследователи из Массачусетского технологического института (MIT) выяснили , что популярные генеративные нейросети обрели способность лгать. Обман системы искусственного интеллекта используют для манипулирования, чтобы достичь поставленной перед ними цели. Авторы работы проанализировали поведение нескольких крупных нейросетей, которые обучались на текстовых данных, написанных человеком.
Собственно, в фундаменте, на котором обучаются нейросети, и скрыта причина такого их поведения. Ведь искусственный интеллект опирается на созданные людьми тексты, а они не способствуют развитию честности.
Самым ярким обманщиком стала нейросеть CICERO. Она была обучена играть в «Дипломатию». Игра подразумевает завоевание мира и предполагает создание альянсов и ведение многочисленных переговоров. Отдельно подчёркивалось, что перед CICERO стояла задача быть честной и никогда не наносить намеренно удары в спину своим союзникам.
Тем не менее, нейросеть, которая вошла в десять процентов лучших игроков в «Дипломатию», активно использовала манипуляцию и ложь, чтобы победить. Она вела тайные переговоры с несколькими игроками, давая им невыполнимые обещания и стравливая друг с другом.
И не только CICERO оказалась ловкой обманщицей. Другие нейросети показали способность блефовать в карточных играх, совершать ложные манёвры в ряде компьютерных стратегий. Более того, они научились обманывать тесты, предназначенные для оценки безопасности систем. Например, нейросети «притворялись мёртвыми», чтобы обмануть тест, созданный для устранения систем ИИ, которые быстро размножаются.
В этой способности искусственного интеллекта исследователи видят большую потенциальную угрозу. Речь идёт не о безобидной лжи, используемой в играх, а о более пугающих перспективах. Более сложные нейросети способны расширять свои методы манипулирования и влияния на людей. Причём человек может не осознавать, что им управляют, используя обман. Потому что те же нейросети могут создавать иллюзию безопасности и контроля, становясь мощным информационным оружием в руках злоумышленников.
Авторы работы подчёркивают, что нужно придумать способы более жёсткого регулирования использования нейросетей. Поскольку люди рискуют не успеть с разработкой методов противодействия манипуляциям ИИ на фоне стремительного развития последнего.
Источник: lifehacker.ru
