Разработчик компании Citrix Роберт Карузо (Robert Jr. Caruso) рассказал, что после беседы с ChatGPT об истории шахмат решил проверить, как быстро языковая модель обыграет старый шахматный движок для игровой консоли Atari 2600. Нейросеть не справилась с поставленной задачей и проиграла устройству 1977 года даже на лёгком уровне сложности.
Карузо провёл эксперимент в игре Video Chess для Atari 2600, запущенной в эмуляторе Stella. Нейросеть получала данные о положении фигур на доске в виде скриншотов и сообщала свои ходы. Карузо передвигал фигуры на поле и после каждого хода Atari делал новый скриншот для ChatGPT.
По словам инженера, языковая модель от OpenAI делала ходы, которые опытные шахматисты назвали бы необдуманными. Также у нейросети плохо получалось планировать тактику и придерживаться ей. Всё это привело к тому, что шахматный движок для Atari 2600, который может планировать свои действия всего на два хода вперёд, обыграл языковую модель.
ChatGPT объяснил свой проигрыш тем, что в игре используются непонятные обозначения фигур. Инженер попытался решить эту проблему и начал ещё одну партию. В этот раз Карузо отправлял в чат скриншоты детализированной шахматной доски и даже подсказывал, какие ходы точно не стоит делать. Это тоже не помогло нейросети обыграть Atari 2600.
Интерфейс игры Video Chess
Эксперты объяснили это тем, что шахматный движок Atari построен на алгоритме перебора возможных ходов. Это позволяет ему достаточно быстро искать выгодные позиции и даже планировать свои действия на пару ходов вперёд. ChatGPT же пытается предсказать ход, который выглядел бы правдоподобно. При этом нейросеть не проводит глубокий анализ позиции фигур и не пытается выстроить стратегию.
Это, как считает Карузо, наглядно показывает, что нейросети могут хорошо справляться с одними задачами, но одновременно с этим быть непригодными для других. При этом энтузиасты и компании часто представляют языковые модели в виде универсального помощника практически в любых сферах.
Источник: habr.com