Секрет в том, что дешевые чат-боты создаются исключительно на базе дорогих ИИ-моделей. Такой процесс разработки называется дистилляцией.
Недавний успех DeepSeek никого не оставил равнодушным. Оно и не удивительно, ведь согласно официальным заявлениям разработчика, стоимость генерации ответов у модели DeepSeek R1 в 25 раз дешевле относительно OpenAI-o1. Это привело к тому, что инвесторы в сфере IT задумались о целесообразности вливаемых в ИИ-индустрию миллиардов долларов, а энтузиасты и ученые взялись повторять успех китайской нейросети.
Согласно новому докладу, исследователи из Стэнфорда и Вашингтонского университета обучили ИИ-модель s1 логическому мышлению. Это обошлось им всего в 50 долларов. Чат-бот s1 уже доступен на GitHub и демонстрирует результаты, сравнимые с передовыми моделями от OpenAI o1 и DeepSeek — в тестах на математику и программирование.
s1 создали с помощью дистилляции — процесса, при котором модель обучается на ответах другой ИИ-системы. В данном случае использовалась экспериментальная модель Google Gemini 2.0 Flash Thinking. Этот подход ранее применялся для создания аналогичных моделей, но с гораздо большими затратами. Исследователи также использовали готовую модель от китайской лаборатории Qwen (Alibaba) и обучили ее на наборе из 1000 вопросов с ответами и «мысленными процессами» от Gemini 2.0. Обучение заняло менее 30 минут на 16 видеоускорителях Nvidia H100, аренда которых оценивается в 20 долларов.
Источник: hi-tech.mail.ru
