В недавнем обновлении «Яндекс» добавил в «ТВ Станции» нейросеть для геймеров. Пользователи могут задавать вопросы по играм, а модель будет анализировать изображение на экране и давать советы.
Игровой ИИ-ассистент работает с PlayStation 5, Xbox Series X|S и Nintendo Switch 1/2. В будущем появится поддержка ПК при подключении к «ТВ Станции» через HDMI. Ассистент активируется автоматически при включении игровой консоли. При первом запуске может запросить изменить настройки. Например, на PlayStation 5 «Станция» требует отключить HDCP.
После этого пользователь может запускать игру и задавать вопросы по мере прохождения. Например, можно спросить, как победить босса, разгадать загадку на уровне, какие способности лучше использовать, какие предметы в инвентарь стоит приобрести и переведёт надписи на иностранных языках.
С помощью VLM (Visual Language Model) система проанализирует изображение на экране «ТВ Станции» и выдаст ответ. Окно с ответом появится в правой части экрана. При этом пользователю не надо сообщать, какая именно игра запущена — нейросеть поймёт это по картинке на дисплее.
Источник: habr.com