Мира Мурати, бывший технический директор OpenAI, показала первый продукт своего нового стартапа Thinking Machines. Сервис называется Tinker и предназначен для доводки больших языковых моделей (LLM) с упором на исследователей.
Thinking Machines предлагает необычный подход: исследователь пишет короткий тренировочный цикл у себя на ноутбуке, а облако стартапа берёт на себя распределённое обучение на GPU-кластере. Пользователю доступны лишь несколько простых примитивов (forward_backward, optim_step, sample) и функции сохранения/загрузки весов. Все остальное — менеджмент ресурсов, перезапуски, чекпойнты — остается в облаке. Полученные веса можно скачать и использовать в сторонних системах.
На старте Tinker поддерживает метод низкоранговой адаптации LoRA (Low-Rank Adaptation). Это позволяет дообучать модели с заметной экономией вычислений: по данным компании, на 30 % меньше операций с плавающей точкой (FLOPs) по сравнению с полным файнтюном. В компании утверждают, что на небольших и средних датасетах такой подход не приводит к потере качества. Пока доступны семейства Llama 3 (кроме самой крупной версии на 405 млрд параметров) и Qwen 3, в том числе в базовых (Base) вариантах. Полный файнтюн обещают добавить позже.
Сервис работает в закрытой бете и доступен по вейтлисту. В первое время пользоваться им можно бесплатно, но платные тарифы планируют ввести уже в ближайшие недели. Для исследователей это шанс быстро проверять идеи без собственных кластеров, сохраняя контроль над данными и алгоритмами.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com