Компания Google DeepMind 4 декабря 2024 года представила новый инструмент под названием Genie 2, который способен генерировать интерактивные 3D‑миры на основе одного текстового или визуального запроса. Эта модель разработана для обучения и тестирования ИИ, предоставляя возможность взаимодействовать с динамическими виртуальными средами с использованием клавиатуры и мыши.
Модель позволяет создавать альтернативные сценарии, начиная с одной и той же стартовой точки, что полезно для тестирования различных исходов. Genie 2 может использовать фотографии из реального мира в качестве основы для симуляции, воспроизводя такие элементы, как движение травы на ветру или воды. Она также поддерживает быстрое прототипирование, позволяя оперативно создавать полноценные игровые миры из концепт‑арта или эскизов.
Вот основные возможности Genie 2, заявленные DeepMind:
управление действиями: Genie 2 реагирует на действия пользователя, такие как нажатия клавиш и движения мыши, позволяя взаимодействовать с окружающей средой. Например, при нажатии стрелок модель понимает, что необходимо передвинуть персонажа, а не случайно переместить объекты, такие как деревья или облака;
долговременная память: Genie 2 запоминает те части мира, которые выходят из поля зрения, и восстанавливает их при возвращении в кадр. Это делает симуляцию более реалистичной и непрерывной;
создание нового контента в реальном времени: модель способна добавлять новые элементы, сохраняя целостность мира. Это обеспечивает постоянную эволюцию среды в реалистичной манере;
сложные взаимодействия: Genie 2 поддерживает моделирование сложных процессов, таких как физика, гравитация, освещение, анимация персонажей и поведение NPC (неигровых персонажей). Модель справляется с эффектами воды, движением персонажей и даже симуляцией дыма;
контрфактическое моделирование: Genie 2 может генерировать альтернативные сценарии, начиная с одной и той же стартовой точки. Это позволяет исследователям тестировать различные исходы для обучения ИИ;
работа с реальными изображениями: модель способна использовать фотографии из реального мира в качестве основы для симуляции, воспроизводя такие детали, как колыхание травы на ветру или движение воды;
быстрое прототипирование: исследователи могут оперативно создавать интерактивные миры с помощью Genie 2. Модель способна превращать концепт‑арт или эскизы в полноценные игровые миры.
Компания «Яндекс» 5 декабря 2024 года обновила опцию «Алиса Про», предоставив пользователям доступ к YandexGPT 4 Pro. Пользователи уже могут опробовать её в чате с «Алиса Про», а на умных устройствах «Яндекса» обновление станет доступно в ближайшее время. В «Яндексе» пояснили Хабру, что «Алиса Про» — первый массовый продукт компании, использующий YandexGPT 4 Pro.
Источник: habr.com