Сэм Альтман, руководитель компании OpenAI: [1] [2]
Локальный инференс — это крайне неэффективное распределение дефицитных ресурсов. Многие хотят использовать локальный инференс, полагая, что раз появились модели с открытым исходным кодом, которые можно запускать на собственных компьютерах, то необходимость в мощностях дата‑центров отпадает. Однако, если смотреть на ситуацию в глобальном масштабе, это крайне нерационально: значительная часть мирового запаса оперативной памяти (DRAM) стоит на пользовательских компьютерах, где она используется лишь пять процентов времени. В условиях жесткого дефицита ресурсов необходимо стремиться к максимальной загрузке мощностей в облаке.
Удивительно, но интуиция многих людей подсказывает им ровно обратное.
Напомню, что именно компания OpenAI вызвала этот дефицит, заказав у Samsung и SK Hynix 40% мирового производства DRAM, что вызвало резкий рост контрактных цен на память на 171%.
Ещё напомню, что open‑weights модель qwen3.8–27b показывает результаты, сравнимые с лучшими моделями недавнего прошлого, ничего не отправляет в облако, и запускается локально на 16–24 ГБ видеопамяти. А Ling-3.0-tiny можно запустить на 8 ГБ видеопамяти или на ЦП
Источник: habr.com