
Привет, Хабр! На связи Алексей Корецкий — директор по внедрению производственной системы РТЛабс.
В нашей компании мы работаем по фреймворку SAFe, где задачи обычно оценивают в относительных величинах — например, в story points. Но когда требуется рассчитывать и согласовывать стоимость работ, без привычных человеко-часов не обойтись.
Экспертная оценка в часах часто напоминает гадание на кофейной гуще: называешь одну цифру и с вероятностью 50% в неё не попадаешь. В этой статье я расскажу о подходе, который мы в Agile-офисе рекомендуем нашим командам. В нём нет магии или революционных открытий для ИТ, но он опирается на проверенные практикой принципы и здравый смысл. Разберёмся, как давать прогнозы, за которые не придётся краснеть перед бизнесом.
Предпосылки и основные понятия подхода к оцениванию
Штраф за недооценку или переоценку. Иногда люди задают вопросы: зачем отслеживать фактические затраты на выполнение задач и сравнивать их с оценками? Что это даёт и стоит ли тратить на это время?
Индустрия разработки ПО давно ответила на эти вопросы. За ошибку в оценке мы платим: несём дополнительные затраты, которых можно избежать, если бы оценка была более точной.
Последствия недооценки при оптимистичном прогнозе:
-
переработки команды и профессиональное выгорание
-
потеря качества из-за спешки, которая, в свою очередь, приводит к большим затратам на поздних этапах разработки из-за появления большого числа дефектов. Их можно было бы избежать, если бы на начальных этапах потратили достаточное время на планирование и аналитику
Последствия переоценки:
-
тратим на работу всё выделенное время по закону Паркинсона, когда работа занимает всё отведённое на неё время, и согласно студенческому синдрому
-
не видим проблем и не занимаемся оптимизацией и улучшением неэффективных практик
Таким образом, регулярная работа над повышением точности оценки позволяет в итоге экономить затраты, видеть и решать реальные проблемы, и тем самым улучшает эффективность процессов в компании.
Учёт неопределённости. Оценка всегда выполняется в условиях неопределённости. Эта неопределённость может быть различной. Например, неопределённость при оценивании крупной задачи, реализуемой на новом технологическом стеке, выше или даже гораздо выше, чем неопределённость при оценивании небольшой задачи на знакомом нам стеке.
Если мы даём оценку трудозатрат как одну цифру, например 40 человеко-часов, и не оцениваем при этом степень неопределённости, при которой эта оценка даётся, мы теряем важную информацию. В этом случае оценку нельзя считать полноценной. Поэтому в современных подходах к экспертной оценке принято, кроме самой оценки, указывать субъективную вероятность того, что оценка окажется верной.
Неопределённость можно оценить по-разному. Можно просто указать, что с вероятностью 75% мы потратим на задачу 40 часов. В методе PERT оценка даётся по 3 точкам: оптимистическая, пессимистическая и наиболее вероятная. В предлагаемой методике мы рассмотрим метод оценивания через 90% доверительный интервал, в который с вероятностью 90% должен попасть результат. Этот метод давно развивает со своими коллегами Дуглас Хаббард.
90% доверительный интервал для нормального распределения
Человеческие особенности. Особенности мышления человека оказывают сильное влияние на оценку. В первую очередь стоит отметить фактор оптимизма, который приводит к тому, что, как правило, люди недооценивают трудозатраты. Психологи объясняют это по-разному, например излишней уверенностью, присущей людям.
Также на оценку может оказывать существенное влияние якорный эффект. Это особенность оценки неизвестных числовых значений человеком, из-за которой эта оценка смещается в сторону ранее воспринятых чисел, даже если эти числа не имеют никакого отношения к оцениваемому значению.
Канеман в своей книге «Думай медленно… Решай быстро» приводит интересные эксперименты, подтверждающие этот эффект. Если при оценке мы услышим ожидания, например заказчика, руководства, коллег по команде, относительно того, сколько времени должна занять задача, эти ожидания начнут оказывать прямое влияние на то, какую оценку мы дадим. Как итог, оценка окажется искажённой.
Оценивание как отдельный навык. Оценивание — это отдельный вид деятельности. Можно учиться выполнять эту деятельность лучше, то есть точнее оценивать. Систематическая работа над улучшением экспертной оценки называется калибровкой. В данном случае калибруются конкретные люди — эксперты — с тем, чтобы в будущем они давали более точные оценки.
Также очень полезно понимать особенности оценивания конкретного эксперта, который привлекается к оценке. Большинство людей склонно к недооценке трудозатрат, кто-то склонен к переоценке, а есть такие, кто оценивает довольно точно.
Эффект взаимной компенсации ошибок. Если мы декомпозируем оцениваемую задачу на несколько более мелких, оценим их по отдельности, а далее агрегируем эти оценки для получения общей оценки по задаче, оценка окажется более точной, чем если бы мы оценили задачу сразу без разбивки на небольшие элементы.
Этот эффект работает при выполнении следующих условий:
-
при сложении или суммировании. Эффект наиболее заметен, когда выполняется сумма большого числа случайных погрешностей, где одни ошибки положительны, а другие отрицательны
-
независимость ошибок. Ошибки должны быть случайными и не зависеть друг от друга. Если ошибка систематическая, эффект компенсации не работает
-
разный знак погрешностей. Если ошибки «смотрят» в разные стороны — одна завышает результат, другая занижает — они начинают «гасить» друг друга
-
ошибки имеют одинаковый порядок величины
Групповая оценка. Это процесс, при котором оценка трудозатрат для одной роли по одной конкретной задаче даётся не индивидуально экспертом, а двумя или более специалистами.
С одной стороны, чем больше сотрудников мы привлекаем для оценки, тем этот процесс дороже. С другой стороны, это позволяет увеличить точность оценки за счёт эффекта взаимной компенсации ошибок. Точность возрастает за счёт того, что при агрегировании оценок нескольких человек индивидуальные ошибки сглаживаются, то есть взаимно компенсируются. Согласно Хаббарду, при привлечении 4 экспертов ошибки можно сгладить на 50%, при привлечении 16 экспертов — на 75%.
Этот эффект будет работать, если:
-
оценки экспертов не коррелируют друг с другом. То есть эксперты делают оценки индивидуально, не совещаясь друг с другом
-
отсутствует якорный эффект
-
ошибки в оценках экспертов имеют одинаковый порядок величины
Нормальное распределение. В подходе используются понятия из нормального распределения. Сигма в нормальном распределении — это стандартное отклонение. Она показывает, как сильно данные разбросаны вокруг среднего значения.
Правило 3 сигм описывает, сколько данных лежит на разном расстоянии от центра:
-
среднее +-1 сигма — здесь лежит 68% всех данных
-
среднее +-2 сигмы — здесь лежит 95% всех данных
-
среднее +-3 сигмы — здесь лежит 99.7% всех данных
Учёт регрессии к среднему значению. Предположим, что, оценивая затраты на проект, мы используем производительность команды или отдельного сотрудника, показанную в прошлом проекте. Из-за регрессии к среднему значению высокая производительность в следующий раз, скорее всего, окажется ниже, а низкая, наоборот, увеличится. В этом состоит опасность предсказаний на основе единичных наблюдений, в особенности если наблюдались очень высокие или очень низкие результаты.
Ожидать, что экстремальный результат повторится или станет ещё более экстремальным — большая ошибка. Следует ожидать обратного и учитывать это в своих прогнозах. В особенности это относится к производительности отдельного человека. Чем меньше команда, тем большую роль начинает играть производительность отдельных людей, а значит, и регрессия к среднему значению.
Разница между оценкой, бизнес-целью и обязательством. Нужно чётко разделять такие понятия, как оценка, бизнес-цель и обязательство.
Под оценкой мы будем понимать прогноз относительно возможных параметров выполняемой работы с определённой вероятностью при выполнении определённых допущений.
Бизнес-цель — это ожидания заказчика или руководителя относительно параметров плана. Например, сколько времени должна занять задача.
Обязательство — это обещание предоставить определённую функциональность с определённым уровнем качества к назначенной дате.
Часто путают между собой оценку и обязательство. Оценка должна быть сделана насколько это возможно объективно, без учёта чьих-либо ожиданий. Только в этом случае мы сможем впоследствии работать над улучшением точности оценивания, сравнивая план с фактом.
Обязательство, в свою очередь, может отличаться от оценки и учитывать бизнес-цели, так как при планировании мы не можем не учитывать ожидания заказчика. Если оценка содержит в себе информацию о неопределённости, например, оценка сделана в виде доверительного интервала, в этом случае мы можем принять осознанное решение о том, за какое время мы обещаем сделать работу с учётом нашей толерантности к риску.
Пример. Предположим, 90% доверительный интервал для задачи в часах составляет 40,80. Одна сигма равна 12 часам.

Если мы в качестве обязательства выберем среднее, а именно 60 часов, плюс 1 сигма, то есть 72 часа, вероятность превысить это число составляет 16%.

Если мы в качестве обязательства выберем среднее плюс 2 сигмы, то есть 84 часа, вероятность превысить эту цифру составит 2,28%.

Если же мы выберем в качестве обязательства среднее значение, 60 часов, вероятность потратить на задачу больше времени составит 50%.
Методика оценивания трудозатрат
-
Подобрать экспертов для проведения оценки.
Что проверяем:
-
умение оценивать. Это навык отличный от умения хорошо выполнить свою работу
-
особенности оценивания — занижение или завышение
-
возможность и мотивацию на участие в проекте. Рекомендуется оценивать людьми, которые потом будут выполнять задачу
Если известно, что эксперт — оптимист, помогаем ему включить критическое мышление, то есть:
-
просим сделать пессимистическую оценку
-
просим его написать допущения
-
просим перечислить причины или риски, из-за которых его оценка может оказаться неверной
-
задаём вопросы, просим более детально объяснить оценку одного или нескольких пунктов
Если об особенностях оценивания привлечённого эксперта ничего не известно, наиболее вероятно, что он окажется оптимистом. Это нужно учесть при работе с ним.
Если мы принимаем решение провести групповую оценку, при подборе экспертов учитываем следующее:
-
лучше подбирать экспертов с разными особенностями оценивания — занижение и завышение
-
лучше, если эксперты будут иметь различный опыт, знания технологий и т. д.
-
-
Поставить задачу на проведение оценки.
-
Ставим задачу индивидуально — то есть эксперты оценивают независимо друг от друга, без консультаций
-
Заранее заботимся о том, чтобы во время оценки эксперт не был загружен другими задачами
-
Изолируем эксперта от каких-либо якорей, в том числе от информации об ожиданиях, например заказчика или руководства
-
Время на оценку должно быть необходимым и достаточным: избегаем давления по времени оценки
-
В целом не создаём излишнего напряжения — эмоции плохо сказываются на работе
-
Чётко договариваемся о единых единицах измерения
-
Обязательно требуем допущения по каждому элементу оценки
-
-
Выполнить декомпозицию.
Для повышения точности оценки декомпозируем оцениваемую задачу на подзадачи. Рекомендуется декомпозировать хотя бы на 10 элементов.
При оценке задачи, которая декомпозируется на пользовательские истории, целесообразно применять шаблоны декомпозиции пользовательских историй. Примеры таких шаблонов есть здесь.
Если в оценке участвует несколько экспертов, они могут выполнять декомпозицию совместно. Это улучшит качество декомпозиции.
-
Выполнить экспертную оценку.
Вариант 1. Оценка с использованием шаблона оценки задач через 90% доверительный интервал
Для оценки выполняем следующие шаги:
-
открыть шаблон, заполнить поле «Автор»
-
внести элементы декомпозиции и для каждого элемента указать нижнюю и верхнюю границу 90% доверительного интервала, а также допущения и комментарии
При указании границ интервала надо обратить внимание, чтобы интервал не был слишком широким или узким. Вероятность, что фактическое значение в итоге окажется ниже нижней границы, не нулевая — 5%. И то же самое относится к верхней границе: вероятность, что фактическое значение окажется выше верхней границы 5%, то есть не равна нулю.
В шаблоне автоматически рассчитываются для каждого элемента средняя оценка, дисперсия, сигма. А также в нижней таблице суммарная средняя оценка, одна, две и три сигмы для всех оцениваемых элементов.

Посмотреть шаблон
Вариант 2. Оценка с использованием шаблона для оценки задач через 90% доверительный интервал с заданным набором значений
Этот шаблон ускоряет процесс оценки по сравнению с обычным шаблоном. Для каждого элемента декомпозиции указываем нижнюю границу 90% доверительного интервала в часах. Для этого выбираем значение из выпадающего списка. Это оценка того, сколько может занять задача при оптимистическом сценарии, если не сработают никакие риски, не будет изменения требований.
Далее выбираем уровень сложности или риска — низкий, средний или высокий. Это наша оценка степени неопределённости условий, в которых делается оценка, наличия доступной информации по задаче, уровня рискованности. После указания нижней границы и уровня сложности или риска верхняя граница заполняется автоматически согласно таблице на вкладке «таблица интервалов».
Остальные значения в шаблоне рассчитываются автоматически таким же образом, как в первом варианте.

Посмотреть шаблон
Вариант 3. Групповая экспертная оценка
Если в оценке участвует несколько экспертов, каждый эксперт получает шаблон оценки с заполненными элементами декомпозиции. Элементы декомпозиции должны быть одинаковыми для каждого эксперта.
Далее каждый эксперт независимо друг от друга оценивает элементы в выбранном шаблоне. После этого организатор процесса оценки собирает оценки от экспертов, рассчитывает средние значения для верхней и нижней границы доверительного интервала и вносит агрегированные данные в отдельный шаблон, чтобы сформировать итоговую оценку.
-
-
Проверить и почелленджить оценку эксперта.
Индикаторы возможных проблем с оценкой:
-
оценка сделана слишком быстро
-
отсутствуют допущения, и эксперт не может или не хочет их сделать
-
объясняя оценку, ссылается на свою интуицию
-
предлагает назвать оценку, которую вы ожидаете
-
слишком узкие или широкие интервалы оценки
-
слишком мало элементов в декомпозиции
-
большой разброс в оценке разных элементов декомпозиции
Чтобы прочелленджить оценку:
-
задаём вопросы, просим более детально объяснить оценку одного или нескольких пунктов
-
просим привести по крайней мере две причины, почему эксперт уверен в своей оценке и две причины, почему он может ошибиться
-
просим сделать допущения, если не сделаны
-
потом просим сделать переоценку ещё раз
-
-
Использовать результаты оценки.
Результаты оценки могут использоваться для следующих задач:
-
квартальное планирование и оценка стоимости задачи — формирование обязательства команды
Для расчёта стоимости задачи и оценки для квартального планирования рекомендуется взять значение из поля «средняя оценка» нижней итоговой таблицы и прибавить к нему значение из поля две сигмы. При нормальном распределении вероятность превышения этого значения составляет примерно 2,28%.
-
планирование выполнения задач — после завершения квартального планирования в процессе выполнения квартала
При планировании выполнения задачи лучше ориентироваться на среднюю оценку из итоговой нижней таблицы шаблона. Вероятность того, что мы её превысим, довольно высокая — 50%. Но если мы, например, будем брать за основу среднюю оценку плюс 2 сигмы для каждой задачи, в этом случае, согласно закону Паркинсона и студенческому синдрому, на выполнение задач будет тратиться всё выделенное на них время.
То есть участников команды лучше ориентировать на среднее значение, но понимать при этом, что если команда взяла не менее 10 задач на квартал, примерно 50% из них по факту займут больше средней оценки.
Поэтому 2 сигмы рекомендуется использовать в качестве резерва, не ориентируя разработчиков на эти цифры. Аналогичный подход предлагает Майкл Кон в книге «Agile: оценка и планирование проектов». Этот подход, в свою очередь, является развитием метода Лоуренса Лича, основанного на теории ограничений Элияху Голдрата. Цель метода — победить системные издержки и выполнять проекты. В нашем случае квартальные планы команд и направлений в рамках суммарных оценок трудозатрат.
-
-
Откалибровать экспертов для оценки.
Этот шаг выполняется в конце квартала, когда выполнены все задачи и известны фактические списания на задачи.
Для всех задач необходимо оценить, попало ли фактическое значение в 90% доверительный интервал. Если эксперты действительно указывали 90% доверительный интервал, то 9 из 10 выполненных задач должны попадать в свои интервалы.
Скорее всего сначала будет попадать меньшее количество задач, так как люди склонны сужать границы интервалов, но при проведении систематической работы над калибровкой интервалы будут приближаться к 90%.
База знаний с оценками и фактическими значениями по задачам также может быть использована для обучения оценке новых сотрудников.
Как итог
Экспертная оценка трудозатрат — это не угадывание сроков, а управляемый процесс, который можно постоянно улучшать. Методика, описанная в статье, помогает команде уходить от интуитивных «примерно за неделю» к прозрачным, проверяемым и реалистичным оценкам.
Её сила — в использовании вероятностного подхода, декомпозиции задач, учёта когнитивных особенностей человека. Это позволяет структурировать работу с неопределённостью, увеличивая точность оценок.
Не менее важна проверка оценки. Вопросы к эксперту, анализ допущений и повторная оценка помогают вовремя заметить чрезмерный оптимизм, слишком узкие границы или недостаточно понятную логику расчёта. Важно также корректно рассчитывать и учитывать при оценке и планировании резервы на непредвиденные обстоятельства.
Наконец, калибровка эксперта превращает оценку в навык, который развивается со временем. Сравнивая прогнозы с реальностью, команда учится точнее оценивать, а накопленная база оценок становится полезным инструментом для планирования и обучения новых сотрудников. В результате решения о сроках и стоимости задач становятся более аргументированными, а планирование — устойчивее к неопределённости.
Источник: habr.com