Для запуска младшей модели необходимо всего 16 ГБ оперативной памяти, что является посильной ношей для большинства пользователей.
Впервые с 2019 года OpenAI анонсировала две open source ИИ-модели на бесплатной основе. Речь идет о gpt-oss-120b и gpt-oss-20b. Помимо того, что их можно запускать локально без задействования облачных сервисов, так и по мощности они почти не уступают продвинутым OpenAI o3, o3/o4 mini.
Что известно о gpt-oss-20b и gpt-oss-120b
Новые модели OpenAI заточены для работы на различных конфигурациях оборудования. Они представляют собой трансформеры с настраиваемой цепочкой мысли (CoT), поддерживающие низкие, средние и высокие настройки. Чем ниже настройки, тем быстрее выполняется работа и меньше нагружается «железо», но страдает качество.
Версия gpt-oss-20b основана на работе 21 млрд параметров. С помощью технологии объединения экспертов (MoE) они ужаты до 3,6 млрд на токен. Для ее запуска от пользователей требуется наличие в ПК не менее 16 ГБ ОЗУ. Что касается gpt-oss-120b, то у нее уже 117 млрд параметров с 5,1 млрд на токен и «аппетит» от 80 ГБ оперативной памяти на компьютере. Обе новинки поддерживают работу контекстного окна размером 128 тысяч токенов.
Источник: hi-tech.mail.ru