Исследователи Массачусетского технологического института (MIT) совместно с Nvidia нашли способ значительно ускорить обучение искусственного интеллекта (ИИ), устранив неэффективные простои оборудования. Проблема возникает на этапе обучения с подкреплением, на который приходится до 85% времени работы системы. В этот момент модель генерирует варианты ответов разной длины, а некоторые графические процессоры вынуждены простаивать, ожидая, пока закончится обработка самых длинных цепочек данных. Решением стала методика Taming the Long Tail (TLT), которая загружает простаивающие мощности полезной работой. То есть, в моменты ожидания система продолжает обучать облегчённую, вспомогательную модель. Ключевое отличие новой разработки заключается в том, что облегчённая модель не фиксирована, а постоянно переобучается вслед за основной, используя для этого только свободные ресурсы.
Практические тесты на задачах, требующих рассуждений, продемонстрировали увеличение скорости обучения на величину от 70% до 210%. При этом исследователи подчёркивают, что качество и точность итоговых моделей не пострадали. Кроме того, постоянно обновляемая вспомогательная модель может впоследствии использоваться самостоятельно для быстрых вычислений. Результат исследования показал, что существует возможность важного сдвига в развитии ИИ, когда вместо бесконечного увеличения парка GPU будут найдены способы выжать максимум производительности из уже существующего оборудования, что приведёт и к снижению энергопотребления.
Источник: mobile-review.com