На Hugging Face появилась страница, где автор утверждает, что выложил полный чекпойнт модели Numbat — её связывают с Anthropic и семейством Mythos. Однако к подлинности файлов уже возникли вопросы.
В описании чекпойнта указаны примерно 14 триллионов параметров, 114 слоёв и гибридная архитектура GDN/MLA. Для MoE заявлены 1 224 эксперта: на запрос задействуются 48 из них и один общий. Также автор утверждает, что 772 файла с весами модели занимают около 7,72 терабайта.
Пиратство процветает и в сфере ИИ
По словам автора, это промежуточный чекпойнт предобучения, сохранённый на шаге 1 830 000 из примерно 1,96 миллиона, но Hugging Face автоматически определяет 6,8 триллиона параметров, тогда как автор страницы заявляет о 14 триллионах.
Файлы модели скачали около пяти тысяч человек. Отдельно автор указывает, что снимок сделан до постобучения и не включает RLHF (обучение с подкреплением на основе обратной связи от человека). К слову, летом стало известно, что NVIDIA ведёт переговоры о покупке Hugging Face за $13 млрд.
Как вы думаете, достаточно ли расхождения в оценке параметров, чтобы усомниться в подлинности этой утечки?
НовостиУтечкиAnthropicЖелезо и технологииискусственный интеллект
Источник: vgtimes.ru