В последние годы искусственный интеллект (ИИ) значительно продвинулся в области генерации творческого контента, охватывая тексты, изображения и даже видео. Однако недавний прорыв в этой области открывает совершенно новое направление: создание интерактивных миров на основе одного единственного изображения. Специалисты DeepMind — принадлежащей Google лаборатории искусственного интеллекта — объявили о разработке новой нейросети Genie («Джинн»), представляющая собой фундаментальную ИИ-модель для создания 2D игровых миров.
Genie — это модель с 11 миллиардами параметров, обученная на анализе более чем 200 000 часов видео с играми в 2D-платформеры. Эти видео, не содержащие инструкций по управлению или действиям в игре, позволили Genie самостоятельно научиться пониманию основ игрового процесса и физики.
Genie использует изображения, с которыми он ранее не сталкивался, включая фотографии реального мира или эскизы, для генерации интерактивных виртуальных миров. Это стало возможным благодаря обучению без меток действий на большом наборе видео из интернета, включая видеоигры в жанре 2D-платформер и робототехнику. Методы, используемые Genie могут быть легко масштабированы, что открывает путь к созданию бесконечного множества виртуальных миров.
Особенностью Genie является способность интерпретировать и преобразовывать в игры не только тексты и наброски, но и фотографии реального мира. Несмотря на текущие ограничения — игры имеют разрешение 160×90 пикселей и длительность всего 16 секунд при частоте обновления в 1 кадр в секунду — это только первые шаги в развитии технологии. DeepMind планирует дальнейшее развитие Genie, стремясь улучшить качество и сложность генерируемых игр.Еще одна отличительная черта Genie — возможность изучать тонкости управления, опираясь исключительно на видео из интернета без указания действий. Нейросеть учится определять, какие части изображения можно контролировать, и выводит разнообразные скрытые действия, которые остаются согласованными в различных сгенерированных средах.
Genie также играет важную роль в обучении общих агентов ИИ, предлагая бесконечный и разнообразный контент из новых, генерируемых миров, что может значительно расширить возможности и эффективность обучения.
Этот прорыв не только открывает новые горизонты для разработчиков и исследователей в области ИИ, но и предлагает захватывающие возможности для широкой аудитории, желающей исследовать и создавать собственные виртуальные миры.
Более подробную информацию о Genie и примеры его работы можно найти на официальном сайте проекта:https://sites.google.com/view/genie-2024
Источник: habr.com
