Управляемые искусственным интеллектом мягкие игрушки китайского стартапа FoloToy раздавали инструкции о том, как поджигать спички и где искать ножи на кухне, следует из отчёта исследователей Public Interest Research Group (PIRG). Более того, игрушки рассказывали о тонкостях различных сексуальных фетишей. На фоне этого OpenAI разорвала сотрудничество с китайской компанией.
Игрушки FoloToy использовали модель GPT-4o от OpenAI. Однако сейчас американская компания уже закрыла доступ FoloToy к своим ИИ-моделям из-за нарушений правил использования.
Китайский стартап объявил об изъятии из продажи своей продукции, хотя изначально компания планировала прекратить реализацию только игрушки под названием Kumma. FoloToy проводит аудит безопасности всей своей продукции.
«Приятно видеть, что эти компании принимают меры по решению выявленных нами проблем. Однако игрушки с ИИ до сих пор практически не регулируются, и их всё ещё можно купить», — заявил соавтор отчёта Р. Дж. Кросс. Несмотря на исключение с рынка одного проблемного продукта, проблема далека от системного решения, добавил Кросс.
Исследователи PIRG протестировали три игрушки, предназначенные для детей в возрасте от 3 до 12 лет. Именно Kumma продемонстрировала самые слабые механизмы защиты, если они вообще существовали.
Самые тревожные разговоры переходили на откровенно сексуальную тематику. Исследователи обнаружили, что Kumma с необычной готовностью обсуждала сексуальные практики, объясняя такие практики, как бондаж и ролевые игры «учитель-ученик».
В прошлом OpenAI принимала оперативные меры, когда сомнительные примеры использования её ИИ-моделей становились вирусными. Однако остаются вопросы о том, какие именно упреждающие действия компания предпринимает для регулирования использования своих продуктов.
Этим летом OpenAI объявила о сотрудничестве с Mattel в рамках работы над новой линейкой игрушек с ИИ.
По состоянию на октябрь 2025 года в Китае работали более 1,5 тыс. компаний, производящих игрушки с ИИ. Ассоциация производителей игрушек Шэньчжэня и JD.com прогнозируют, что к 2030 году объём этого рынка превысит $14 млрд.
В продаже есть устройство размером с шарик для пинг-понга BubblePal, которое крепится к любимой игрушке ребёнка и заставляет её «говорить». FoloToy продала 20 тыс. мягких игрушек с ИИ в первом квартале 2025 года, а по итогам года компания планировала реализовать 300 тыс. игрушек.
Источник: habr.com