Первое желание пользователя, который наслышан о языковых моделях и их возможностях, — сформулировать запрос максимально просто и ждать впечатляющего результата. О том, почему этого недостаточно и как формулировка запроса определяет качество ответа модели, разбираемся вместе с экспертом.
Почему простой запрос разочаровывает
Краткий и размытый запрос почти всегда приводят к поверхностным и разочаровывающим результатам: модель выдает текст, который может быть грамматически безупречным и стилистически гладким, но содержательно пустым. Чаще всего именно так формулирует запрос большинство начинающих пользователей, после чего делает поспешный вывод о бесполезности технологии в целом.
Причина неудачи кроется в специфике коммуникации с языковыми моделями. Они не обладают намерениями, не угадывают желания собеседника и не понимают недосказанного. Разговор с моделью скорее напоминает взаимодействие с эрудированным, но отстраненным исполнителем, который делает только то, что ему сказали — не больше и не меньше. Разницу хорошо иллюстрирует недавний кейс QA-инженера: на один и тот же запрос про тестирование формы логина без контекста модель выдала общий шаблон с расплывчатыми шагами и абстрактными результатами, а при добавлении роли, контекста системы и формата вывода — подробные тест-кейсы с конкретными данными, точными шагами и проверяемыми результатами, которые сразу можно было использовать в проекте.
Распространенная ошибка: формулировка «сделай хорошо»
При поручении задач живому человеку формулировки «напиши эссе», «составь план» или «объясни сложную тему» звучат естественно, но для модели они оказываются слишком размытыми. Модель не знает, для какой аудитории предназначен текст, какой стиль предпочтителен, какой объем требуется и какие акценты расставить. В результате получается усредненный ответ, который может устроить кого угодно, но вряд ли подойдет конкретному пользователю.
Источник: hi-tech.mail.ru