Разработчики работали на 19% медленнее с ИИ, чем без него, хотя сами они считали, что ускорились на 20%.Ожидаемое ускорение против наблюдаемого замедления работы у опытных разработчиков при использовании ИИ
METR провела контролируемое исследование с участием опытных разработчиков (правда только на 16-ти), которые решали реальные задачи по программированию. Участники были разделены на две группы:
Одна группа использовала ИИ-инструменты, такие как Cursor и Claude.
Другая работала без ИИ.
Задачи включали разнообразные сценарии из открытого ПО, чтобы отразить реальные условия работы. Время выполнения измерялось точно, а разработчики оценивали свою производительность субъективно.
Какие этапы замеряло исследование
Когда ребята подвели итоги, они выделили три ключевых фактора:
Замедление вместо ускорения: Среднее время на задачу увеличилось на 19% при использовании ИИ.
Самообман: Участники с ИИ переоценивали свою скорость, предполагая ускорение на 20%.
Качество кода: Несмотря на замедление, качество кода не пострадало значительно, но и не улучшилось заметно.
Наблюдаемое время, за которое была завершена работа в друх группах
Использование ИИ может вводить в заблуждение, создавая иллюзию продуктивности, в то время как реальное время тратится на корректировку подсказок и проверку результатов.
Основные причины замедления работы с ИИ?На какие активности уходило время у двух групп разработчиков
Итерации с промптами: Разработчики тратили много времени на доработку запросов к ИИ, чтобы получить полезный ответ.
Проверка вывода: ИИ часто генерирует код с ошибками, требующий дополнительной отладки.
Переоценка инструментов: Опытные разработчики, привыкшие к самостоятельной работе, не всегда эффективно интегрируют ИИ в свой workflow.
Факторы, которые непосредственно влияли на замедлениеФакторы с неявным влиянием на замедлениеФакторы, которые скорее всего не влияли на замедление
В отчете METR отмечается, что эти результаты относятся к текущим инструментам (на момент исследования в 2025 году) и могут измениться с развитием технологий.
Сравнение с другими исследованиями
Это не первый случай, когда ИИ показывает неоднозначные результаты. Например, в задачах по анализу кода или генерации, ИИ иногда ускоряет новичков, но замедляет экспертов. METR подчеркивает важность эмпирических тестов: «Мы рекомендуем читать полный отчет или тред с анонсом, а не только обзоры».
Выводы на основе исследования
Если вы используете ИИ в работе:
Тестируйте на практике: Не полагайтесь на субъективные ощущения — измеряйте время.
Оптимизируйте промпты: Разрабатывайте шаблоны для быстрого взаимодействия с ИИ.
Комбинируйте с традиционными методами: ИИ полезен для идей и прототипирования, но не для финальной реализации.
Ребята в METR подводят итоги: ИИ — инструмент, а не панацея. В будущем, с улучшением моделей, ситуация может измениться, но пока технологии нужно использовать осторожно и не питать иллюзий о гиперпроизводительности.
Подробный отчет доступен в блоге METR, а исходный тред — на платформе X (бывший Twitter — организация, признанная экстремистской в РФ).
Источник: habr.com