Искусственный интеллект сегодня пишет тексты, ведет диалоги и даже помогает писать код. Но, как показало новое исследование, даже самые продвинутые языковые модели могут споткнуться о то, что кажется вполне безобидным — смайлик, точнее, его текстовое написание — эмотикон.
Большие языковые модели — системы искусственного интеллекта ChatGPT, Claude, Gemini и многие другие — уже стали привычными помощниками для миллионов людей. Они отвечают на вопросы, пишут тексты и даже создают компьютерный код. Однако у этих технологий есть неожиданная слабость: их можно сбить с толку обычными смайликами.
Международная группа ученых из Сианьского университета Цзяотун, Наньянского технологического университета и Массачусетского университета в Амхерсте обнаружила, что языковые модели нередко неправильно интерпретируют текстовые эмотиконы — те самые комбинации символов, например, 🙂 или :-P, которые люди используют в переписке уже несколько десятилетий.
«Эмотиконы широко используются в цифровом общении для передачи эмоций, однако их влияние на безопасность больших языковых моделей почти не изучалось», — отмечают авторы работы Вэйпэн Цзян и Сяоюй Чжан.
Для проверки своей гипотезы ученые создали почти четыре тысячи тестовых заданий на программирование, включавших различные ASCII-эмотиконы. Эти задания охватывали 21 реальный сценарий, в которых пользователи обычно просят ИИ помочь с кодом, и были написаны на четырех языках программирования. Затем специалисты протестировали шесть популярных языковых моделей: Claude-Haiku-4.5, Gemini-2.5-Flash, GPT-4.1-mini, DeepSeek-v3.2, Qwen3-Coder и GLM-4.6.
Результаты оказались тревожными: в среднем более 38% ответов содержали ошибки, появление которых вызвало неправильное понимание эмотиконов. Но еще опаснее другое: свыше 90% таких ошибок представляли собой «тихие сбои». Это означает, что сгенерированный код выглядел совершенно нормальным, успешно запускался, но делал совсем не то, что просил пользователь. Подобные скрытые ошибки особенно коварны, поскольку их сложно заметить при беглой проверке кода.
Источник: hi-tech.mail.ru