Борис Пауэр, глава Applied Research в OpenAI, рассказал о том, куда сейчас уходит основной исследовательский фокус компании. По его оценке, 80–90% исследований уже связаны с GPT-7, GPT-8 и последующими поколениями.
Пауэр говорил об этом на Fellows Forum, обсуждая разницу между развитием текущих моделей и созданием новых поколений. При этом 80–90% — именно его оценка.
Внутри одного поколения улучшения вроде промежуточных обновлений моделей Пауэр называет краткосрочными инвестициями. Они нужны, чтобы быстрее получать новые данные, проверять идеи и улучшать текущую систему. Но стратегически OpenAI делает ставку на следующий крупный скачок возможностей — новую фронтир-модель.
Отсюда же схема с большими и маленькими моделями. Пауэр привёл в пример GPT-6 Astra и GPT-6 Luna: более крупную модель можно использовать как «учителя» для дистилляции в компактную специализированную систему.
При этом, по мнению Пауэра, у нынешних ИИ-ассистентов есть проблема, которая уже не сводится к качеству самой модели. Многие пользователи просто не знают, какую работу ИИ уже умеет выполнять. Поэтому дальнейшее развитие, по его словам, должно включать не только рост возможностей моделей, но и умение лучше показывать пользователю доступные сценарии и предугадывать его потребности.
Читать далее
Источник: habr.com