Бывший инженер OpenAI и один из самых известных популяризаторов машинного обучения Андрей Карпатый запустил проект, который может изменить представление о доступности искусственного интеллекта. Его новая инициатива под названием nanochat показывает, что создать собственную языковую модель теперь можно буквально на коленке, потратив около ста долларов и используя минимальный набор инструментов.
Проект стал частью открытого курса LLM101n от Eureka Labs, в котором Карпатый шаг за шагом объясняет, как собрать, обучить и протестировать полноценную языковую модель с нуля. Всё сделано максимально просто и прозрачно. Токенизатор написан на Rust, данные подгружаются через систему FineWeb-EDU, а готовые скрипты отвечают за обучение, работу модели и сбор метрик. Для экспериментов достаточно арендовать недорогие облачные мощности, и весь процесс обучения обходится примерно в сто долларов.
Главная цель nanochat состоит в том, чтобы показать, что большие языковые модели больше не являются исключительной прерогативой корпораций. Репозиторий проекта включает не только код, но и подробные учебные материалы, которые позволяют любому желающему повторить процесс. Встроенный веб-интерфейс делает взаимодействие с моделью интуитивным, пользователь может сразу протестировать результаты обучения и сравнить их с существующими решениями.
По сути, Карпатый создал доступный конструктор LLM для тех, кто хочет понять, как работает ИИ изнутри. В эпоху, когда обучение моделей требует миллиардных инвестиций, nanochat напоминает, что инновации начинаются не в гигантских дата-центрах, а с любопытства и открытых инструментов.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Источник
Источник: habr.com