Эксплуатация сетей ViPNet кому-то может показаться задачей рутинной, если не сказать простой. Обработал межсетевую информацию, создал справочники и ключи, разнес их по сети и можно идти пить кофе. Однако даже в этой стандартной процедуре легко допустить ряд ошибок, которые, накапливаясь словно снежный ком, в итоге приведут к аварии.
Всё потому, что замена мастер-ключей (не путать с межсетевыми мастер-ключами) — задача высокой сложности, связанная с определенными рисками. А неудача при их замене — это всегда авария. Хорошо, когда сеть состоит из одного координатора, расположенного в одном помещении с сервером администратора, тогда последствия можно легко устранить. И совсем другое, когда имеешь дело с геораспределенной сетью федерального масштаба, да еще с филиалами в труднодоступных местах.
Меня зовут Олег, я инженер группы администрирования средств защиты информации «РТК-ЦОД». В статье разберу наиболее распространённые ошибки, возникающие в работе с ключами шифрования на сетях ViPNet. Их легко совершить, трудно устранить и невозможно забыть.
Как устроена работа с ключами
Сети ViPNet, в основном, построены на симметричных ключах. Асимметричные тоже используются, в частности, для электронной подписи и — опционально — для межсетевого взаимодействия, но речь пойдёт не о них. Каждая пара узлов коннектится друг с другом в сети, зашифровывая трафик на ключах обмена. Существует ещё такое понятие, как матрица симметричных ключей: фактически, это совокупность ключей для всех тех узлов, с которыми связан конкретный узел. Эта матрица, состоящая из ключей обмена, зашифровывается на ключах защиты.
Для того, чтобы безопасно передать и сохранить такой ключ, используют ещё один — персональный — и он привязан к конкретному лицу (тогда как ключ защиты привязан к узлу, роль которого обычно играет компьютер, позволяющий работать сразу нескольким пользователям).
Для того, чтобы обеспечить централизованное управление ключами (в том числе, на случай их компрометации), используются мастер-ключи. В сетях под управлением ViPNet Administrator их три: один — для формирования ключей обмена, второй формирует ключи защиты, третий — персональные ключи.
В чём тут логика? При компрометации ключа, закреплённого за конкретным узлом, скомпрометированным считается только этот узел. При компрометации мастер-ключа —вся сеть. Естественно, в случае компрометации выполняется внеплановая замена мастер-ключей.
Мастер-ключи в сетях ViPNet Administrator
Существует и процедура плановой смены. В руководстве по эксплуатации удостоверяющего и ключевого центра (УКЦ) написано, что ее необходимо выполнять не реже одного раза в 15 месяцев. А вот в правилах пользования ViPNet Administrator срок немного другой — 18 месяцев. Правда, речь там идёт только о мастер-ключе для персональных ключей, в то время как в руководстве по эксплуатации УКЦ – обо всех трёх мастер-ключах. Мы с коллегами обычно выполняем эту процедуру по прошествии года с прошлой смены. С одной стороны, проще следить за датой и вести учёт мастер-ключей – тот же день, только другой год. С другой стороны, имеется запас времени для того, чтобы не нарушить требования по плановой смене (а в больших сетях, иногда, нужно несколько месяцев для смены МК).
В учебных центрах по подготовке администраторов, конечно же, не обходят стороной процедуру смены мастер-ключей и выполняют ее на тестовом стенде. Признайтесь, кому удавалось «окирпичить» координатор или стать свидетелем этого происшествия? Обычно это происходит через несколько часов после разворачивания сети, а рекомендация преподавателя сводится к чему-то вроде «попробуйте снова выполнить смену, переразвернув координатор на новом ключевом наборе». То же самое сказано в документации, и это действительно рабочий способ. Однако в учебной среде легко упустить из виду масштаб последствий: во-первых, моделирование процедуры за несколько часов между разворачиванием сети и сменой мастер-ключей не позволяет получить настоящий опыт (за это время почти не происходит изменений в сети, тогда как в действительности за 15 месяцев могут пройти тысячи изменений конфигурации), во-вторых, если бы это была не тестовая, а настоящая сеть, вышедший из строя координатор мог находиться где-то на краю света. А значит, пришлось бы немедленно туда отправиться для проведения восстановительных работ.
Совсем другая ситуация в эксплуатируемых сетях. Из общения с опытными коллегами, я понял, что в некоторых инфраструктурах мастер-ключи не менялись годами из-за опасения разрушить сеть, а в других одна неудачная попытка привела к необходимости заводского сброса десятков координаторов. При этом для старых версий аппаратных платформ сброс до заводских настроек возможен только в авторизованных сервисных центрах. Пережившие неудачу стали всячески избегать выполнения требований по смене мастер-ключей или оттягивать сроки. А когда откладывать уже стало невозможно, перестраховывались: вместо смены через отправку справочно-ключевой информации стали просто удалять ключи со всех узлов и выполнять новую инициализацию, опасаясь циклической перезагрузки.
Циклическая перезагрузка – это самая страшная проблема при смене мастер-ключей, которой подвержены программно-аппаратные комплексы (ViPNet Coordinator HW). В этом случае приглашение на ввод логина и пароля не появляется, так как из-за ошибки обработки ключей не загружается служба аутентификации. Следовательно, администратор не сможет получить доступ к логам, поэтому достоверную диагностику выполнить невозможно. Выйти из циклической перезагрузки можно только путём сброса координатора до заводских настроек, но это применимо только к версии 4.5 и более поздним.
Если мы впервые выполняем замену мастер-ключей, стоит морально приготовиться к тому, что она не всегда проходит гладко. Даже если вы всё делали строго по методическим документам — а в начале 2020-х, когда эксплуатировались версии предыдущие Администратора (4.6.1, 4.6.4) и Координатора (HW1000 4.2.1-2081, HW2000 4.2.1-1297, HW1000 4.3.2-3421, HW2000 4.3.2-3411), компания ИнфоТеКС предоставляла руководство по смене мастер-ключей — аварий избежать не удавалось.
При подготовке к процедуре производитель давал следующие рекомендации относительно координаторов ПАК:
-
Убедиться, что на координаторах установлены резервные наборы персональных ключей (РНПК), и что пароль пользователя-координатора в УКЦ совпадает с действительным паролем на координаторе.
-
Проверить, что на координаторе отсутствуют не применённые пакеты обновлений, путём выхода в режим дебага (admin escape) и выполнением команды find /opt/vipnet/ccc/ -name «k*.*». Вывод должен быть пустой, что означает отсутствие файлов.
Эти два пункта и составляют всю регламентную подготовку координаторов ПАК HW. Дальше начинается самое важное, необходимо:
-
Создать новые мастер-ключи
-
Создать и передать в ЦУС ключи пользователей
-
Создать и передать в ЦУС ключи узлов
-
Отправить с отложенным применением и проконтролировать применение и работоспособность.
У нас с коллегами за годы практики сложилось понимание, почему администраторы так или иначе ошибаются при выполнении этих пунктов. Этот опыт я оформил в виде трех сценариев, которые могут показаться неочевидными, но коварным образом приводят к авариям.
Пользователи на «железном» координаторе: должен остаться только один
Во время подготовки к очередной смене мастер-ключей на одном из координаторов я обнаружил отсутствие резервного набора персональных ключей. Мы с коллегами подумали: «Надо же, в этой сети 40 филиалов, вот бы пропустили случайно этот, и был бы один “кирпич” на ровном месте…». Было непонятно, как такое могло произойти, ведь этот координатор мы совсем недавно разворачивали из дистрибутива, РНПК должны быть на месте. Как их вообще можно удалить с координатора? И, став сверять построчно вывод команды iplir show key-info я обнаружил, что идентификатор пользователя не совпадает с пользователем-координатором — это ID пользователя-администратора!
Вывод Spare key set is not present может указывать как на простое отсутствие файла с резервным набором персональных ключей, так и сигнализировать о более серьёзной проблеме — наличии второго пользователя на координаторе
Захожу в ЦУС и вижу, что во вкладке «Пользователи» добавился администратор, хотя меня учили, что на «железном» координаторе может быть только один пользователь. Возникли вопросы к архитектуре ранних версий ПО: почему для «железных» координаторов была возможна такая конфигурация через ЦУС, почему не было проверки на роль и предупреждающих сообщений, как, например, при создании справочников с конфликтующими или неполными связями?
Эти вопросы я направил производителю, который подтвердил: на «железном» координаторе может быть только один пользователь, наличие второго привело бы к выходу устройства из строя при смене мастер-ключей.
Кстати, начиная с версии ViPNet Administrator 4.6.9 в документации появился файл «ViPNet Administrator 4. Замена мастер-ключей», в котором есть следующая фраза: «В ЦУСе найдите координаторы с несколькими пользователями и определите для какого пользователя установлен дистрибутив ключей на координаторе. Затем удалите других пользователей на координаторе», а также указания, каким образом удалить пользователя с координатора.
Настоятельно рекомендую изучить актуальную версию этого файла, поставляемого вместе с дистрибутивом ПО ViPNet Administrator.
Наличие второго пользователя на координаторе на тестовом стенде. Такая ситуация — сигнал тревоги: на координаторе должен быть только один пользователь!
У крупных сетей есть особенность — на протяжении жизненного цикла их эксплуатацией занимаются разные администраторы. Годы идут, старые увольняются, новые приходят, и вот уже никто не может сказать, кто и когда добавил нового пользователя в координатор, и даже логи ЦУСа вам это не покажут. Поэтому перед сменой мастер-ключей важно убедиться, что на координатор не добавлен второй (третий, четвёртый) пользователь.
При этом не стоит забывать, что удаление пользователя из ЦУСа само по себе аварию не предотвратит: пользователь не исчезнет с координатора даже после отправки справочно-ключевой информации. Исправление такой ошибки всегда будет подразумевать удаление ключей с координатора (путем переинициализации или с помощью команд, описанных в документации о смене мастер-ключей). В некоторых случаях в выводах команды iplir show key-info может пропасть «не тот» пользователь, а после пары перезагрузок — появиться вновь!
Вывод: если вы работаете в сети, которую кто-то эксплуатировал до вас, недостаточно просто убедиться, что в ЦУСе добавлен один-единственный пользователь. Даже если команда iplir show key-info не показывает ничего особенно тревожного, координатор может находиться в скрытой аварийной ситуации.
Что можно предпринять? Вместе с регламентной командой find /opt/vipnet/ccc/ -name «k*.*» проверить папку /opt/vipnet/ на наличие ключей пользователей (конкретные пути описаны в «ViPNet Administrator 4. Замена мастер-ключей» и зависят от версии координатора). Там всегда находится папка, название которой совпадает с идентификатором пользователя. Такая папка должна быть только одна. Если их несколько, этот координатор — кандидат на немедленную переинициализацию.
Попытка добавить второго пользователя на тестовом стенде. Вместо правильного пользователя, чья папка — abn_0002, появилась ещё одна – abn_000b. Перед сменой мастер-ключей второй пользователь должен быть удалён, а координатор необходимо переинициализировать.
Что тут еще можно посоветовать:
-
Обновляем и администратора, и координаторов до актуальной (сертифицированной) версии, изучаем актуальную документацию.
-
Даже при отсутствии явных проблем убеждаемся, что второй пользователь на координатор не добавлен, причем не только в ЦУСе, а с помощью проверки директорий файловой системы.
-
Не забываем, что пароль пользователя на координаторе должен совпадать с тем, который указан в УКЦ для координатора-пользователя.
Верните мой 2008-й: рассинхронизация версий, конфигурационных файлов или ключей
Пользователь на координаторе один, папка тоже одна — значит, можно приступать к смене мастер-ключей. Но вдруг статус справочников — «не приняты». Отправляю еще раз, и еще — с третьей попытки все-таки принял.
Зашёл на координатор посмотреть статус, заодно проверил папки с ключами и на второй ноде (развёрнут кластер). А там: Master personal key date : 2008-01-24 15:25:05.
Как 2008-й?!
Вывод команды iplir show key-info на первой ноде координатора
Вывод команды iplir show key-info на второй ноде координатора
Тут-то и обнаруживаем различие в номере ключа. Это стопроцентная авария, требующая переинициализации обеих нод. Кроме того, замечаем, что шрифты на картинках различаются: версии ПО на кластере тоже не совпадали, хотя кластер вроде бы работал…
И тут в чек-листе подготовки появляются сразу три дополнительных пункта. Убеждаемся, что:
-
Версия ПО одинаковая на обоих нодах кластера.
-
Даты создания и номера (а также вариант) ключей совпадают друг с другом на нодах и совпадают с датой создания мастер-ключа в УКЦ.
-
На всех нодах принимаются справочники. Для этого можно, например, переименовать узел добавлением лишнего пробела и отправить справочники — изменение должно отразиться и на активной, и на пассивной нодах. После проверки переименование можно откатить.
Организационные ошибки: когда администраторы не синхронизировались
Теперь-то точно всё готово. Но вот мы заходим на ЦУС и видим, что статусы справочников и ключей горят красным «требуется создать». Красный цвет — это сигнал к действию. Он может означать, что обработка «межсети́» остановилась где-то полпути.
Обыденная ситуация может обернуться потерей доступности до первого узла, если не заметить статус справочников и ключей
Самое опасное, когда такой «красный» статус горит на одном координаторе из десятков — его легко не заметить. Даже если создать ключи по правилам и передать их в ЦУС, справочно-ключевая информация на такой координатор не отправится, пока не будут созданы справочники. После ввода в действия новых мастер-ключей это будет «полукирпич»: локально с него ключи можно удалить, но от всех узлов сети он отвалится.
Чтобы исправить эту ошибку на старте, создаём справочники и досылаем остатки. Если не успеваем ничего отправить, потому что новые мастер-ключи уже введены, лучше откатить конфигурацию УКЦ на момент до начала смены мастер-ключей и начать всё заново.
Более «грубый» вариант развития событий — когда в конфигурацию вносятся какие-либо изменения (добавляется связь), затем что-либо рассылается уже после создания новых мастер-ключей, но до наступления времени их отложенного применения. Это может произойти, если заменой ключей занимается коллега-администратор, а мы об этом не знали или позабыли. А в итоге — циклическая перезагрузка и парализованная сеть.
Третий вариант развития событий — экзотический. При отправке справочно-ключевой информации ЦУС… аварийно завершил работу из-за отсутствия свободного места на диске. Ключи «улетели» приблизительно на половину узлов, а координаторы в этом списке рассылки обычно последние. Проблема благополучно решилась после очистки места и повторного запуска ЦУСа: неотправленные справочники остались в статусе готовности и были досланы на узлы с тем же временем отложенного применения.
Наконец, можно попасть в ситуацию с некорректным временем: например, справочники с отложенным до 15:00 применением применились на час раньше. Банально оказалось, что на координаторе установлено неправильное время. Здесь совет однозначный — всегда настраивать NTP в своей сети и проверять перед сменой мастер-ключей, что синхронизация времени работает.
С точки зрения инженера или администратора сети ситуация не кажется такой страшной, но для пользователей сети она критична, ведь в момент смены неизбежно произойдёт кратковременный разрыв связи, если проводится видеоконференция или звонок по IP-телефонии. Даже полная синхронизация времени на всех АРМ и координаторах не спасет: ViPNet-клиенты не смогут принять справочно-ключевую информацию секунда-в-секунду. В этот промежуток (от нескольких секунд до нескольких минут) часть ресурсов станет недоступна.
Важно учесть эти нюансы при планировании работ по смене мастер-ключей и заранее информировать пользователей о кратковременных разрывах связи, что справедливо и для введения в эксплуатацию межсетевых мастер-ключей.
Вот какие выводы мы сделали из «организационных» происшествий:
-
Проверяем свободное место на диске сервера администратора. 1 Гб свободного места — это мало, в большой сети дистрибутив для одного крупного координатора может «весить» больше 50 Мб.
-
Перед началом смены делаем резервную копию УКЦ и нажимаем разные кнопки («создать справочники», «отправить справочники и ключи»): так можно обнаружить «красный» координатор среди сотен других.
-
Перед началом смены оповещаем о сроках всех администраторов, имеющих доступ к серверу (включая тех, кто подключается с другого АРМ). Для наглядности создаем встречу в электронном календаре на период от отправки до применения ключей.
-
После отправки ключей, но до их применения, закрываем все приложения ViPNet Administrator (ЦУС и УКЦ) и вешаем картинку-баннер на весь экран сервера c ViPNet Administrator: «ВНИМАНИЕ! Мастер-ключи заменены. Выполнять действия на сервере ЗАПРЕЩЕНО до момента ввода в действие ключей в 15:00 в понедельник».
-
Всегда настраиваем синхронизацию времени посредством NTP и убеждаемся в работоспособности службы перед сменой.
-
Выбираем время применения с учетом того обстоятельства, что при применении ключей неизбежно возникнет кратковременный разрыв связи на узлах с ViPNet-клиентом.
Подведём итоги
Хочется сделать упор не на резюмировании технических нюансов (что, собственно, уже было сделано по каждому сценарию), а лишний раз сказать, что смена мастер-ключей в большой сети проверяет, насколько хорошо вы знаете её реальное состояние.
В вузах, наверное, каждый слышал поговорку, что студентами становятся не после зачисления, а после успешного прохождения первой сессии. Касательно сетей ViPNet, можно смело сказать, что настоящим администратором становится не тот, кто получил сертификат учебного курса, а тот, кто пережил полноценную смену мастер-ключей в большой эксплуатируемой сети.
Мой главный посыл лучше всего передают слова Альфреда Теннисона: «Сильными оставаться нас воля заставляет, бороться и искать, найти и не сдаваться», и, если после прочтения этой статьи вы найдете выход из кажущейся тупиковой ситуации, значит ее цель достигнута.
Источник: habr.com