Пользователь под никнеймом RomaPro227 запустил языковую модель с 6,4 млн параметров прямо в игре Factorio. Она генерирует ответы с помощью комбинаторов и не использует моды или сторонние скрипты.
Схема состоит из около 105 тыс. комбинаторов, соединённых 200 тыс. проводов. Ответ выводится на табло из 8 тыс. ламп. В основе системы лежит трансформер на 6,4 млн параметров с восемью слоями и восемью головами внимания. Модель генерирует ответы посимвольно, а контекст вмещает 256 символов.
Комбинаторы в схеме используются для скалярного произведения. Они перемножают соответствующие значения двух наборов сигналов и складывает результаты. Таким образом, пара из арифметического и постоянного комбинаторов образует нейрон с 256 или 1024 входами. Веса хранятся в постоянных комбинаторах, а числовые векторы передаются по проводам.
Тестовая модель, которая может генерировать только слово Hello
Для генерации нужно передать текст на английском языке, задавая по одному символу в ряду комбинаторов, и включить переключатель отправки. После этого на ламповом табло появится индикатор обработки запроса и ответ. При 60 обновлениях системы в секунду модель выдаёт один символ примерно за семь секунд. Например, на генерацию текста из 100 символов потребуется почти 12 минут без учёта обработки входных данных.
Автор проекта отмечает, что модель может отвечать на вопросы о Factorio, сочинять короткие истории и шутить. Ответы при этом могут быть неточными и повторяться.
На GitHub опубликовано сохранение мира с нейросетью, веса модели, инструкцию по запуску и Python‑версия нейросети для запуска за пределами Factorio. Запустить проект можно в Factorio 2.0 с дополнением Space Age. На YouTube‑канале автор подробно рассказал о том, как устроена модель.
Источник: habr.com