Мы обучили нейросеть на базе YandexGPT самостоятельно проверять сгенерированные тексты на наличие галлюцинаций. Благодаря новому подходу нам удалось в шесть раз сократить количество неточностей в созданных нейросетью кратких описаниях мест и достопримечательностей в Картах. Кроме того, переход на обновлённую модель позволил использовать меньше вычислительных мощностей и удешевить её работу.
YandexGPT пишет краткие описания в несколько этапов. Сначала модель анализирует большое количество отзывов на локацию, а также заполненную владельцем карточку организации в Картах. Она объединяет важное для посетителей (то, о чём они пишут чаще всего) и особенности места в несколько предложений. Затем модель убирает из текста лишнее, например, слишком общие формулировки, и форматирует описание в заданной стилистике и структуре.
Иногда при подготовке описаний нейросеть может добавить несуществующие детали — галлюцинации. Поэтому на финальном этапе она оценивает написанное на правдивость — сравнивает свои ответы с отзывами, на которые опиралась, и удаляет «выдуманное».
Ранее за создание кратких описаний в Картах отвечали пять различных моделей — каждая из них выполняла определённую функцию, например, расставляла запятые или фильтровала отзывы по полезности. Теперь со всеми этими задачами справляется одна обновлённая модель, поэтому для её работы требуется меньше вычислительных мощностей.
Нам удалось повысить качество работы нейросети в том числе и благодаря дообучению. Мы расширили датасет эталонными примерами генераций предыдущих моделей — так модель на базе YandexGPT научилась создавать более полезные описания. Например, теперь при подготовке текстов она реже использует общие фразы, такие как «вкусная еда» или «приятная атмосфера».
В итоге переход на новую версию позволил повысить правдивость, точность и качество кратких описаний на 90%.
Изучить краткие описания достопримечательностей и заведений и, например, выбрать место для встречи с друзьями, можно в карточке организации в блоке «Коротко о месте» и в разделе «Поток» режима персональных рекомендаций «Идеи». В Картах доступно уже несколько сотен тысяч карточек с кратким описанием.
Источник: habr.com
