Аналитический центр red_mad_robot рассказывает и комментирует главные новости индустрии за неделю с 30 марта по 5 апреля.
Новая архитектура от Amazon
Amazon Web Services разработала FineRouter: двухэтапную архитектуру маршрутизации запросов между языковыми моделями. Существующие решения плохо справляются с двумя проблемами: сложно вручную задавать таксономии задач, а монолитные маршрутизаторы не улавливают тонкие различия между моделями. FineRouter решает обе.
На первом этапе система с помощью графовой кластеризации находит скрытые категории запросов и обучает классификатор, который определяет тип нового запроса. На втором этапе используется архитектура смеси экспертов (MoE) — для каждого типа задач есть специализированные модули, которые оценивают, какая модель даст лучший результат. В реальном времени система объединяет результаты обоих этапов: это дает устойчивость за счет понимания типа задачи и гибкость за счет учета особенностей конкретного запроса.
В экспериментах на 10 бенчмарках с участием 11 современных моделей FineRouter превзошел существующие подходы и даже самую сильную отдельную модель — при этом потребовал менее половины вычислений на инференс.
Почему это важно: с ростом числа моделей и сокращением разрыва в их качестве правильно распределять запросы становится критично. Простые запросы можно направлять к дешевым моделям, сложные — к дорогим. Это делает ИИ-системы доступнее и эффективнее.
Источник: hi-tech.mail.ru