
Это вторая часть цикла о методологиях оценки зрелости безопасной разработки. В первой я рассказал, зачем их сравнивал и что получилось в итоге. Здесь — подробный разбор трех зарубежных методологий: BSIMM, DSOMM и SAMM.
Коротко напомню критерии. Каждую методологию я оценил по пяти пунктам: насколько удобно определять уровень зрелости, можно ли сформировать рекомендации, построить дорожную карту и тепловую карту процессов и сколько этапов SDLC она покрывает.
Для всех трех оценок я использовал один и тот же профиль вымышленной компании ООО «Лиса и лосЬ». В первой части мы уже разобрали, как у нее устроена разработка и какие практики безопасности применяются. Напомню основные вводные:
Рисунок 1. Профиль ООО «Лиса и лосЬ»
BSIMM
BSIMM (Building Security In Maturity Model) — это каталог практик безопасной разработки, основанный на опыте реальных компаний. Для оценки я взял BSIMM15, хотя к моменту публикации уже вышла BSIMM16.
В отчете можно узнать, какие практики наиболее распространены, и сравнить собственные процессы со средними показателями участников исследования. Но готового плана улучшений BSIMM не дает: что внедрять и в каком порядке, придется решать самостоятельно.
ㅤ ㅤ Рисунок 2. Обложка отчета BSIMM 15 ㅤ ㅤ ㅤ ㅤ ㅤ
Практики BSIMM сгруппированы по четырем направлениям (доменам):
1. Управление (Governance) — организация безопасной разработки и оценка ее эффективности.
2. База знаний (Intelligence) — сбор и консолидация знаний по ИБ.
3. Точки соприкосновения с жизненным циклом разработки (SSDL Touchpoints) — анализ и оценка артефактов и процессов разработки ПО.
4. Развертывание и эксплуатация (Deployment) — взаимодействие с командами сетевой и инфраструктурной безопасности и техподдержкой.
Внутри каждого домена практики распределены по трем уровням зрелости: на первом — самые распространенные, на третьем — редкие и продвинутые.
Как я проводил оценку
Первая трудность обнаружилась еще до начала аудита: официального опросника и инструмента для расчета зрелости по BSIMM в открытом доступе нет. Есть сам отчет с описаниями практик и статистикой, на основе которых можно самостоятельно собрать инструмент оценки.
Я взял BSIMM15 и собрал в Excel небольшой опросник: перенес практики, перевел их названия и описания на русский, добавил поля для ответов и расчет доли выполненных практик по каждому домену и поддомену.
Рисунок 3. Самодельный опросник для оценки по BSIMM
Главная сложность заключалась в интерпретации практик и их применимости к российским реалиям. BSIMM опирается на опыт организаций с достаточно развитыми процессами безопасной разработки, поэтому часть требований предполагает большой штат специалистов и немалые ресурсы.
Например, практика [SM2.3] предусматривает создание программы Security Champions, а [T3.2] — обучение безопасной разработке поставщиков и внешних сотрудников на аутсорсе и аутстаффе. Для крупных организаций такие подходы могут быть полезны, но далеко не каждой компании есть смысл начинать с них.
Встречаются и более спорные практики. Например, [SM3.2] предлагает публично рассказывать, как устроена ваша безопасная разработка, а [SM2.7] — завести евангелиста, который будет продвигать безопасность внутри компании. Еще интереснее [T3.1]: поощрять сотрудников за успехи в обучении сертификатами, кружками и футболками. Такие поощрения могут поддержать интерес к обучению, но куда сильнее на поведение сотрудников влияет реальная возможность карьерного роста.
Поэтому к практикам BSIMM стоит подходить избирательно, а не пытаться внедрить всё подряд. В план улучшений имеет смысл включать только практики, которые решают реальные проблемы компании и оправдывают затраты на внедрение.
Что показала оценка
После заполнения опросника я посчитал долю выполненных практик по каждому направлению. На графиках синим — ООО «Лиса и лосЬ», оранжевым — средний показатель по компаниям из BSIMM15.
Рисунок 4. Сравнение результатов ООО «Лиса и лосЬ» со средними показателями участников BSIMM15 по поддоменам
Рисунок 5. Сравнение результатов ООО «Лиса и лосЬ» со средними показателями участников BSIMM15 по доменам
Результат ООО «Лиса и лосЬ» ожидаемо низкий — 18%. Большинство практик не выполняется, а в двух поддоменах — моделях атак и тестировании на проникновение — не выполняется ничего.
Рекомендации, дорожная и тепловая карта
Оценить текущее состояние — половина задачи. Теперь нужно понять, какие процессы улучшать и за что браться в первую очередь.
С рекомендациями BSIMM помогает лишь частично. В отчете достаточно подробно описаны практики, но автоматического формирования рекомендаций нет. Поэтому я воспользовался своим опросником: отфильтровал невыполненные практики и получил список потенциальных улучшений.
Рисунок 6. Список невыполненных практик BSIMM
С дорожной картой сложнее. Приоритизации практик в BSIMM нет, так что очередность придется выстраивать самому. Я разложил невыполненные практики из того же фильтра примерно на три этапа, на свое усмотрение.
Тепловой карты в BSIMM тоже нет, но раз опросник и расчет у меня свои, построить ее оказалось несложно.
Рисунок 7. Тепловая карта процессов безопасной разработки ООО «Лиса и лосЬ» по BSIMM
Итоговая оценка BSIMM
По итогам эксперимента BSIMM получила 22 балла из 47.
Таблица 1. Оценка BSIMM
Критерий
Балл
Почему
Удобство определения уровня зрелости
4 из 10
Практики логично распределены по доменам и понятно описаны. Но опросник и расчеты придется собирать самостоятельно, а сами практики — адаптировать к российским реалиям.
Формирование рекомендаций
3 из 10
Описания практик помогают составить рекомендации, но готового инструмента нет.
Построение дорожной карты
3 из 10
Список необходимых улучшений собрать можно, но приоритеты придется определять самому.
Построение тепловой карты
5 из 10
По данным отчета можно разработать собственный инструмент.
Полнота охвата этапов SDLC
7 из 7
Охвачены все семь этапов.
Итого
22 из 47
BSIMM хорошо подходит для анализа практик безопасной разработки и сравнения с другими компаниями, но для полноценного самостоятельного аудита одного отчета недостаточно. Инструмент оценки, рекомендации и дорожную карту придется собирать самому, а при выборе практик учитывать потребности и возможности конкретной компании. BSIMM дает хорошую фактическую основу для этой работы, но выполнять ее всё равно придется вам.
DSOMM
DSOMM (DevSecOps Maturity Model) — проект OWASP для оценки того, насколько практики безопасности встроены в DevOps-процессы компании. С его помощью можно найти слабые места и определить, что нужно улучшить, чтобы безопасная разработка стала частью повседневной работы команд.
На момент проведения исследования DSOMM охватывал пять доменов:
-
Сборка и развертывание (Build and Deployment) — безопасность сборочных конвейеров, развертывания ПО и управления исправлениями.
-
Культура и организация (Culture and Organization) — обучение сотрудников, распределение обязанностей и организация процессов безопасности.
-
Реализация (Implementation) — безопасное программирование, защита приложений и инфраструктуры.
-
Сбор информации (Information Gathering) — журналирование, мониторинг и сбор показателей безопасности для анализа угроз и оценки рисков.
-
Тестирование и верификация (Test and Verification) — статический и динамический анализ, пентесты и другие проверки безопасности ПО.
Сейчас в модели появился шестой домен — Agentic AI. Он посвящен безопасному использованию ИИ-агентов в разработке: правилам их применения, изоляции, проверке того, что они сгенерировали, и защите данных. В моей оценке его еще не было.
Каждый домен делится на более узкие направления, для которых определены практики безопасности. Зрелость оценивается по шкале от 0 до 5. Нулевой уровень означает отсутствие понимания подходов к безопасности, первый — базовое знакомство с ними, второй — внедрение основных практик. На следующих уровнях они применяются всё шире, а пятый предполагает масштабное внедрение продвинутых методов защиты.
Таблица 2. Уровни зрелости DSOMM
Уровень
Название в DSOMM
Перевод
Level 0
There is a lack of understanding of security methods
Отсутствует понимание методов обеспечения безопасности
Level 1
Basic understanding of security practices
Базовое понимание методов обеспечения безопасности
Level 2
Adoption of basic security practices
Внедрение базовых методов обеспечения безопасности
Level 3
High adoption of security practices
Высокий уровень внедрения методов обеспечения безопасности
Level 4
Very high adoption of security practices
Очень высокий уровень внедрения методов обеспечения безопасности
Level 5
Advanced deployment of security practices at scale
Расширенное внедрение методов обеспечения безопасности в широком масштабе
Как проводил оценку
Для начала я попробовал официальный онлайн-инструмент на dsomm.owasp.org. На сайте есть матрица практик, их описания и интерфейс для отображения результатов оценки.
Рисунок 8. Матрица практик DSOMM на официальном сайте
Но провести оценку через веб-интерфейс у меня не получилось. Я так и не нашел, куда вводить сведения о выполнении практик, а в инструкции не оказалось понятного алгоритма работы. Расчет инструмент показал только после загрузки тестового JSON-файла, а внести собственные данные и получить расчет так и не удалось.
В документации упоминается и другой инструмент, который запускается в Docker-контейнере. Проверять его я не стал. Вместо этого взял данные с сайта DSOMM и собрал в Excel собственный опросник с расчетом зрелости. Заодно перевел на русский названия и описания практик.
Пока заполнял опросник, отметил несколько вещей:
-
DSOMM рассчитана на компании с очень зрелым DevSecOps. Даже первый уровень зрелости часто задает высокую планку.
-
Часть практик слишком дорога для большинства российских компаний. Например, CO-D-1-TMT предполагает моделирование угроз при планировании спринта, а CO-EG-2-SCR — проверку безопасности исходного кода (security code review). Для компаний, где DevSecOps только начинают внедрять, такие практики могут потребовать значительных ресурсов.
-
Распределение практик по уровням иногда вызывает вопросы. Например, в поддомене «Процесс» документирование плана обеспечения непрерывности бизнеса и восстановления после сбоев предусмотрено уже на первом уровне, а проверка изменений в коде и управление ими — только на третьем. В российских компаниях обычно наоборот: сначала внедряют проверки и выстраивают процессы, а документацию откладывают на потом.
-
Встречаются практики, необходимость которых не всегда очевидна. Например, CO-EG-3-CC предлагает проводить конкурсы «создай, сломай, исправь», а CO-EG-3-SMH — командные сессии взлома, организованные сообществом Security Champions. Для зрелых команд это может быть полезно, но при ограниченных ресурсах я бы сначала сосредоточился на более насущных задачах безопасности.
Что показала оценка
После заполнения опросника я рассчитал уровень зрелости по каждому направлению DSOMM.
Рисунок 9. Уровень зрелости процессов ООО «Лиса и лосЬ» по DSOMM
Общий результат ООО «Лиса и лосЬ» составил 2 из 5. Лучше всего дела обстоят с разработкой и контролем версий — уровень 4. Направления «Процесс» и «Тесты приложений» достигли третьего уровня, а по большинству остальных результат нулевой. На диаграмме хорошо видно, насколько неравномерно развиты процессы безопасной разработки в компании.
В отличие от BSIMM, сравнить свои результаты с другими компаниями здесь не получится: DSOMM не публикует средние показатели участников оценок. Подробные результаты по всем направлениям приведены в тепловой карте ниже.
Рекомендации, дорожная и тепловая карта
Автоматически формировать рекомендации DSOMM не умеет, но составить их самостоятельно вполне реально. Я отфильтровал заполненный Excel-опросник по невыполненным практикам и получил список того, чего не хватает в процессах ООО «Лиса и лосЬ».
Для подготовки рекомендаций можно использовать уже упоминавшуюся выше матрицу практик и их расширенные описания на официальном сайте DSOMM. Там можно найти подробности о реализации практик и примеры, на которые стоит опираться при составлении плана работ.
Рисунок 10. Расширенное описание практик на сайте dsomm.owasp.org
С дорожной картой сложнее. Готового инструмента нет, но последовательность внедрения подсказывают сами уровни зрелости. План можно разбить на пять этапов: на каждом внедрять практики соответствующего уровня и определять, кто будет за них отвечать.
С тепловой картой ситуация другая. На dsomm.owasp.org предусмотрена возможность ее автоматического построения, но воспользоваться ею стандартными средствами мне не удалось. Поэтому я использовал собственный расчет в Excel и на его основе составил тепловую карту ООО «Лиса и лосЬ».
Рисунок 11. Тепловая карта ООО «Лиса и лосЬ» по DSOMM
Итоговая оценка DSOMM
По результатам эксперимента DSOMM получила 25 баллов из 47.
Таблица 3. Оценка DSOMM
Критерий
Балл
Почему
Удобство определения уровня зрелости
5 из 10
Практики подробно описаны, есть примеры исполнения практик, иногда присутствуют ссылки на инструменты. Но провести оценку через веб-интерфейс не удалось — пришлось собирать собственный опросник.
Распределение практик по уровням зрелости тоже вызывает вопросы, но стоит делать поправку на происхождение методологии.
Формирование рекомендаций
5 из 10
На сайте есть матрица практик с примерами реализации и ссылками на инструменты. Но воспользоваться официальным инструментом оценки не удалось, поэтому список невыполненных практик пришлось получать через собственный опросник. На его основе и по материалам сайта можно составить рекомендации.
Построение дорожной карты
5 из 10
Внедрение можно разделить на пять этапов по уровням зрелости, но приоритеты внутри этапов придется определять самостоятельно.
Построение тепловой карты
5 из 10
Возможность предусмотрена на сайте, но воспользоваться ею стандартными средствами не удалось.
Полнота охвата этапов SDLC
5 из 7
Покрыты планирование и анализ рисков, проектирование, разработка, тестирование и развертывание.
Итого
25 из 47
DSOMM дает подробный набор практик для развития DevSecOps с требованиями, примерами реализации и дополнительными материалами. По ним можно разобраться в недостатках процессов и подготовить рекомендации. Но для самостоятельной оценки инструмент оказался не самым удобным. В моем случае пришлось собирать собственный опросник и расчет, а дорожную и тепловую карты делать отдельно. К тому же часть практик требует высокой зрелости DevSecOps и не всегда подходит российским компаниям.
SAMM
OWASP SAMM (Software Assurance Maturity Model) помогает понять, как компания выстраивает безопасность на всех этапах жизненного цикла ПО, и наметить конкретные шаги, чтобы поднять зрелость. Модель охватывает пять бизнес-функций, каждая из которых включает по три направления безопасной разработки.
Рисунок 12. Бизнес-функции и практики безопасной разработки в OWASP SAMM
Зрелость каждой практики оценивается по шкале от 0 до 3. При оценке определяют текущий уровень (current) и целевой (target), которого компания хочет достичь.
Для проведения оценки у SAMM есть готовые инструменты. На официальном сайте owaspsamm.org опубликованы описание модели, руководство по оценке и примеры вопросов для интервью. Там же можно скачать SAMM Toolbox — опросник в Excel или Google Sheets, который автоматически рассчитывает уровень зрелости и помогает построить дорожную карту улучшений.
Есть и альтернатива таблицам — SAMMY, сторонняя онлайн-платформа от компании Codific. Она позволяет проводить оценку прямо в браузере. Я для своего исследования выбрал официальный опросник в Excel.
Как проводил оценку
В отличие от BSIMM и DSOMM, здесь мне не пришлось собирать собственный опросник — можно было сразу переходить к оценке.
Работать с экселевским опросником удобно: названия и описания практик переведены на русский, к каждому вопросу есть пояснение, ответ можно выбрать из нескольких готовых вариантов. Но реализация местами подводит. В переводе встречаются неточности, а длинные варианты ответов не помещаются в выпадающий список Excel.
Рисунок 13. Опросник SAMM
Пока заполнял опросник, накопилось несколько замечаний к самим практикам SAMM.
-
Во-первых, SAMM задает довольно высокую планку зрелости. В некоторых направлениях уже первый уровень предполагает документирование и стандартизацию процессов. Сам подход логичный, но в российских компаниях нередко происходит наоборот: сначала внедряют практику, а потом описывают, как она работает.
-
Во-вторых, часть практик плохо подходит российским компаниям. Например, G-EG-B-2-1 предполагает создание центра передового опыта по безопасности приложений (Secure Software Center of Excellence), а O-IM-B-3-1 — отдельной группы реагирования на инциденты. Для небольшой компании такие решения могут оказаться слишком затратными.
-
Наконец, некоторые вопросы сбивают с толку. Вопрос к практике I-SB-B-1-1 звучит просто: «Исследуете ли вы зависимости, на которые полагаетесь в своем ПО?». Но в пояснении к нему спрятаны три требования: актуальный SBOM для каждого приложения, возможность быстро выяснить, на какие приложения влияет конкретная CVE, и анализ зависимостей с устранением проблем и документированием хотя бы раз в три месяца. Если ответить «да», не прочитав пояснение, легко ошибиться — например, когда вы запускаете SCA, но SBOM не собираете.
Что показала оценка
После заполнения опросника Excel автоматически рассчитал уровень зрелости по практикам SAMM и представил результаты в виде диаграммы и таблицы. Общий показатель ООО «Лиса и лосЬ» составил 0,55 из 3.
Рисунок 14. Диаграмма текущего уровня зрелости по SAMM
Рисунок 15. Количественная оценка текущего уровня зрелости по SAMM
Рекомендации, дорожная и тепловая карта
С рекомендациями всё не так удобно, как с расчетом зрелости. Официальный инструмент SAMM не формирует их автоматически, но в опроснике можно отфильтровать невыполненные практики. Дальше придется обратиться к документации на сайте OWASP SAMM: там есть подробные пояснения и рекомендации по каждой практике, на основе которых можно составить план улучшений для своей компании.
Рисунок 16. Заполненный опросник SAMM
Рисунок 17. Пример рекомендаций с сайта SAMM
С дорожной картой в SAMM всё гораздо удобнее. В том же Excel можно распределить внедрение практик по четырем этапам и задать целевой уровень зрелости для каждого из них. Очередность работ определяешь сам, а таблица автоматически рассчитывает, как будет меняться зрелость процессов по мере выполнения плана.
Рисунок 18. Дорожная карта SAMM с распределением практик по этапам
После заполнения дорожной карты инструмент рассчитывает, как будет меняться уровень зрелости по мере внедрения практик. На общей диаграмме можно сравнить исходное состояние с результатами каждого из четырех этапов.
Рисунок 19. Изменение уровня зрелости по четырем этапам дорожной карты
На следующем рисунке каждый этап разобран отдельно. Диаграммы показывают, каким будет уровень зрелости по 15 практикам после очередного этапа, а таблицы рядом — точные оценки в баллах.
Рисунок 20. Уровни зрелости практик после каждого этапа дорожной карты
Для более подробного анализа есть отдельные графики по практикам. По ним видно, как меняются показатели на протяжении всего плана внедрения.
Рисунок 21. Динамика зрелости по отдельным направлениям безопасной разработки
Тепловая карта тоже формируется автоматически. Правда, с визуализацией есть недоработка: ячейки не раскрашиваются в зависимости от уровня зрелости.
Рисунок 22. Тепловая карта процессов безопасной разработки по SAMM
Итоговая оценка SAMM
По результатам эксперимента SAMM получила 34 балла из 47.
Таблица 4. Оценка SAMM
Критерий
Балл
Почему
Удобство определения уровня зрелости
8 из 10
Есть готовый опросник с автоматическим расчетом и графиками. Заполнять удобно, хотя без шероховатостей не обошлось
Формирование рекомендаций
6 из 10
Автоматически не формируются, но подробные описания практик позволяют составить их самостоятельно
Построение дорожной карты
10 из 10
Одна из самых удобных, гибких и понятных дорожных карт среди методологий для аудита безопасной разработки
Построение тепловой карты
4 из 10
Строится автоматически, но ячейки не раскрашиваются по уровню зрелости
Полнота охвата этапов SDLC
6 из 7
Охвачены шесть из семи этапов: сбор и анализ требований, планирование и анализ рисков, проектирование, тестирование, развертывание и поддержка
Итого
34 из 47
По удобству самостоятельной оценки SAMM оказалась лучшей из трех зарубежных методологий. Здесь есть почти всё необходимое: готовый опросник, расчет зрелости, тепловая карта и полноценный инструмент планирования улучшений. Отдельно придется поработать только над рекомендациями.
Главная сложность — не в инструментах, а в самих практиках. SAMM задает высокую планку зрелости, и не все предложенные подходы подходят российским компаниям без адаптации. Поэтому даже с готовым опросником важно учитывать реальные возможности компании, а не стремиться выполнить все требования подряд.
Итог по трем
Из трех зарубежных методологий из коробки работает только SAMM: опросник, расчет, дорожная и тепловая карта собраны в одном официальном файле. Для BSIMM опросник и расчет пришлось собирать самому, а официальный инструмент DSOMM у меня не заработал. При этом все три рассчитаны на зрелые зарубежные компании: часть практик для российских компаний дорога или неуместна, а формулировки приходится переводить и примерять на нашу действительность.
В третьей части разберу ГОСТ Р 56939-2024 — стандарт, написанный под российский контекст, и сравню его с SAMM, лидером среди зарубежных методологий. Сводные итоги по всем четырем методологиям — в первой части.
PURP — Telegram-канал, где кибербезопасность раскрывается с обеих сторон баррикад
t.me/purp_sec — инсайды и инсайты из мира этичного хакинга и бизнес‑ориентированной защиты от специалистов Бастиона
Источник: habr.com