Во время недавнего всплеска интереса к технологиям ИИ приложение для отзывов Yelp столкнулось с препятствиями при использовании современных LLM для некоторых функций.
У клиентов, особенно у тех, кто пользовался приложением лишь изредка, возникали проблемы с подключением к функциям искусственного интеллекта, такими как помощник на базе ИИ.
«Один из очевидных уроков, которые мы извлекли, заключается в том, что очень легко создать что-то, что выглядит круто, но очень трудно сделать это еще и полезным», — сказал Крейг Салданья, директор по продуктам Yelp, в интервью VentureBeat.
Конечно, это было непросто. После того как в апреле 2024 года Yelp запустил Yelp Assistant, своего помощника по поиску услуг на основе ИИ, для более широкой аудитории, показатели использования инструментов ИИ начали снижаться.
«То, что застало нас врасплох, произошло, когда мы запустили бета-версию для узкого круга потребителей, и им понравилось. Мы получили сигнал о том, что это будет успешным, а затем выпустили приложение для всех, и производительность резко упала, — сказал Салданья. — Нам потребовалось много времени, чтобы понять почему».
Оказалось, что более случайные пользователи Yelp, которые время от времени заходили на сайт или в приложение, чтобы найти нового портного или сантехника, не ожидали, что сразу же начнут общаться с представителем ИИ.
«В далёком прошлом, я бы сказал, в 2013–2014 годах, мы работали с совершенно другим поколением ИИ, поэтому мы сосредоточились на создании собственных моделей для таких задач, как понимание запросов. Часть работы по установлению значимой связи заключается в том, чтобы помочь людям уточнить цель поиска», — сказал он.
Но по мере развития ИИ развивались и потребности Yelp. Компания инвестировала в ИИ, чтобы распознавать еду на фотографиях, отправленных пользователями, и определять популярные блюда, а затем запустила новые способы взаимодействия с продавцами и службами и помогала пользователям ориентироваться в поиске на платформе.
Yelp Assistant помогает пользователям Yelp найти подходящего «профи» для работы. Пользователи могут нажать на чат и либо воспользоваться подсказками, либо ввести задачу, которую нужно выполнить. Затем ассистент задаёт уточняющие вопросы, чтобы сузить круг потенциальных поставщиков услуг, прежде чем составить сообщение для «профи», которые могут претендовать на эту работу.
Помимо Yelp Assistant, Yelp запустил функции «Анализ отзывов» и «Основные моменты». LLM анализируют отзывы пользователей и рецензентов, которые Yelp собирает в оценки отзывов. Yelp использует подробную заготовку GPT-4o для создания набора данных по списку тем. Затем он настраивается с помощью модели GPT-4o-mini.
Функция «Основные моменты», которая представляет информацию из обзоров, также использует подсказку LLM для создания набора данных. Однако она основана на GPT-4 с тонкой настройкой GPT-3.5 Turbo. Yelp сообщил, что обновит эту функцию с помощью GPT-4o и o1.
Yelp присоединился ко многим другим компаниям, использующим LLM для повышения полезности отзывов, добавив более совершенные функции поиска на основе комментариев клиентов. Например, Amazon запустил Rufus, помощника на базе ИИ, который помогает людям находить рекомендуемые товары.
Для многих своих новых функций ИИ, включая ИИ-помощника, Yelp обратился к GPT-4 от OpenAI и другим моделям, но Салданья отметил, что независимо от модели, данные Yelp являются «секретным ингредиентом» для его помощников. Yelp не хотел привязываться к одной модели и сохранял непредвзятость в отношении того, какие LLM обеспечат наилучшее обслуживание для его клиентов.
«Мы используем модели OpenAI, Anthropic и другие модели на AWS Bedrock», — сказал Салданья.
Салданья объяснил, что Yelp создала рубрику для проверки эффективности моделей с точки зрения корректности, релевантности, сознательности, безопасности клиентов и соответствия требованиям. Он сказал, что “это действительно топовые модели”, которые показали себя лучше всего. Компания запускает небольшой пилотный проект с каждой моделью, прежде чем принимать во внимание стоимость итерации и задержку ответа.
Yelp также предпринял согласованные усилия, чтобы обучить как обычных, так и продвинутых пользователей работе с новыми функциями ИИ. По словам Салданьи, одна из первых вещей, которые они поняли, особенно в отношении ИИ-помощника, это то, что тон должен быть человечным. Он не должен реагировать слишком быстро или слишком медленно; он не должен быть слишком воодушевляющим или слишком резким.
Часть этого процесса включала в себя обучение Yelp Assistant использованию определённых слов и позитивному настрою. После всех этих доработок, по словам Салданьи, они наконец-то видят более высокие показатели использования функций ИИ Yelp.
Источник
Источник: habr.com
