Новая веха в проектировании AI-систем. Нейроновости недели
Перспективы обучения AI-моделей Nous Research предлагает Lighthouse Attention: метод, который решает проблему обработки длинных последовательностей в стандартном механизме внимания. Классический FlashAttention сравнивает каждый токен друг с другом — из-за этого вычисления и потребление памяти резко растут с увеличением длины текста. Lighthouse Attention строит многоуровневую пирамиду из текста: данные группируются и кратко обобщаются. Система оценивает эти обобщения, выбирает самые важные части и подает во FlashAttention только их.