Институт Аллена намерен декодировать поведение языковой модели с помощью своего нового инструмента OLMoTrace. Институт Аллена по искусственному интеллекту (Ai2) запустил OLMoTrace — новую функцию, которая позволяет исследователям отслеживать выходные данные языковой модели вплоть до их обучающих данных. В настоящее время инструмент доступен через Ai2 Playground и работает с несколькими моделями OLMo.
OLMoTrace стремится сделать операции с большими языковыми моделями более прозрачными. Пользователи могут определить, исходит ли ответ модели из запомненных знаний, творческих комбинаций или чистой галлюцинации. Ai2 утверждает, что этот подход может как продвинуть исследования, так и укрепить общественное доверие к генеративному AI, подкрепленное приверженностью команды полностью открытым моделям, наборам данных и исходному коду.
Инструмент ищет длинные уникальные последовательности слов, которые дословно встречаются в обучающих данных. Эти разделы выделяются разными цветами и ссылаются на соответствующие фрагменты документов на боковой панели. Пользователи могут щелкнуть любой текстовый отрывок или документ, чтобы сфокусировать просмотр, а цветовые вариации указывают на релевантность каждого совпадения.
Процесс выбора состоит из нескольких этапов. Во-первых, OLMoTrace учитывает только те последовательности слов, которые полностью появляются в обучающих данных без предложений или переносов строк. Затем он оценивает редкость токенов, чтобы выделить особенно конкретные отрывки. Для каждой последовательности слов отображается до десяти документов, а перекрывающиеся последовательности объединяются для поддержания чистоты отображения.
Примеры команды демонстрируют несколько практических приложений: в одном случае OLMoTrace показал, как неверная информация о пределе знаний модели исходила из примеров в данных тонкой настройки. В другом случае он показал, что математическое решение задачи было запомнено. Пользователи также могут проверить, исходят ли ответы из творческих комбинаций или общих знаний. Инструмент черпает данные обучения, содержащие приблизительно 4,6 триллиона токенов в пяти наборах данных.
Инструмент можно опробовать на игровой площадке Ai2.
Источник
Источник: habr.com
