Исследователи Google DeepMind представили агента Dreamer 4, которому удалось выполнить один из самых известных тестов для ИИ в Minecraft — добыть алмазы. Речь о задаче длиной порядка двадцати тысяч последовательных действий: раньше ее обычно решали через длительное онлайн-обучение, но в этот раз агент освоил умение по офлайн-данным, что стало шагом вперед.
Dreamer 4 сначала учится на видеозаписях предсказывать, что произойдет при разных действиях, и таким образом строит внутреннюю симуляцию мира. В этой симуляции он применяет обучение с подкреплением, находит результативные последовательности шагов и только потом переносит стратегию в игру. По заявлениям авторов, мировая модель достаточно точна и быстра, чтобы воспроизводить взаимодействия объектов в реальном времени на одной видеокарте.
От прежних подходов это отличает отказ от «живого» обучения и меньшая зависимость от человеческих демонстраций. DreamerV3 добывал алмазы при онлайн-тренировке в самой игре; OpenAI VPT делал ставку на имитацию по крупным интернет-видео геймплея. Сила Dreamer 4 — в качественной мировой модели и офлайн-тренировке поведения внутри неё.
Практический смысл выходит за рамки игр: в робототехнике обучение на реальных примерах дорого и рискованно, особенно когда речь идет не об играх, а, например, операциях на промышленном объекте. Если значительную часть навыка можно выучить во внутренней симуляции, это ускоряет и удешевляет подготовку, позволяя «набить руку» на миллионах сценариев прежде, чем переходить к реальным экспериментам. Ограничения остаются: реальный мир сложнее Minecraft — сенсоры шумят, обстановка непредсказуема, а перенос может давать сбои. Но все эти проблемы рано или поздно получится преодолеть.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com