Обновление ПО CrowdStrike сломало серверные сборки на Debian и Rocky Linux в апреле и мае этого года. Но этого особо никто не заметил, кроме нескольких клиентов. ИБ-разработчики неделями тянули с закрытием тикетов и писали отписки клиентам, долго выпускав нужный патч. Пользователи тогда заметили, что уровень тестирования и техподдержки в CrowdStrike оставляет желать лучшего. Хотя защитные сервисы этого разработчика используют 29 тыс. крупных компаний в мире, включая 500 из списка Fortune 1000. Оказалось, что большая часть из них предпочитает Windows, а техподдержка CrowdStrike оперативно реагирует только при глобальной проблеме.
В апреле обновление CrowdStrike привело к одновременному сбою всех серверов Debian Linux в гражданской технической лаборатории. Из-за инцидента IT-системы отказали загружаться без оперативных действий системных администраторов. Обновление CrowdStrike оказалось несовместимым с последней стабильной версией Debian, несмотря на то, что предположительно разработчиками поддерживалась конкретная конфигурация Linux. ИТ-команда лаборатории обнаружила, что удаление кода ПО CrowdStrike позволяет серверам на Linux загружаться штатно, и сообщила об инциденте ИБ-разработчикам.
Член команды инженеров лаборатории, участвовавший в приведении серверов в порядок после инцидента, выразил недовольство задержками с ответами техподдержки CrowdStrike. ИБ-разработчикам потребовались недели, чтобы провести анализ первопричин после того, как они признали свои ошибки. Анализ показал, что конфигурация Debian Linux не была включена в их тестовую матрицу.
«Модель Crowdstrike выглядит так: «Мы устанавливаем программное обеспечение на ваши машины в любое время, когда захотим, независимо от того, срочно оно или нет, без его тестирования», — заявил инженер из лаборатории с отключенными серверами Debian Linux .
В мае пользователи CrowdStrike также сообщали о подобных проблемах после обновления до RockyLinux 9.4, когда их серверы зависали из-за ошибки ядра. Служба поддержки Crowdstrike признала наличие проблемы, подчеркнув неадекватное тестирование и недостаточное внимание к проблемам совместимости в различных операционных системах.
Профильные эксперты считают, что для избежания подобных проблем в CrowdStrike следовало бы уделять приоритетное внимание тщательному тестированию всех поддерживаемых конфигураций. Кроме того, компаниям-клиентам CrowdStrike следует с осторожностью подходить к обновлениям этого ПО и иметь планы действий на случай непредвиденных обстоятельств для смягчения потенциальных сбоев.
19 июля глава ИБ-компании CrowdStrike Джордж Куртц (бывший технический директор McAfee и автор книги Hacking Expeded) заявил, что в компании понимают серьёзность ситуации и глубоко сожалеют о неудобствах и сбоях в IT-инфраструктуре клиентов. Курц подтвердил, что в глобальном сбое IT-систем в мире виноваты его разработчики. По его словам, хосты Mac и Linux не затронуты, а дефект в коде был в одном обновлении контента для хостов Windows. Все команды инженеров и разработчиков компании полностью мобилизованы и занимаются обеспечением безопасности и стабильности IT-инфраструктуры клиентов. Оказывается, подобная проблема с обновлением ПО CrowdStrike и сбоем в ОС возникала уже несколько месяцев назад и без особой осведомлённости среди клиентов компании.
Представители CrowdStrike открыли ветку на Reddit: BSOD error in latest crowdstrike update.
Три временных способа от производителя по решению проблемы со сбоем на ПК с Windows.
Эксперты из Microsoft пояснили СМИ, что для исправления «синего экран смерти» (BSOD) из-за CrowdStrike нужно просто перезагрузить компьютер 15 раз подряд. Этот совет предназначен специально для системных администраторов виртуальных машин, использующих Azure и столкнувшихся с глобальным сбоем в работе ПК и серверов на Windows из-за некорректного обновления ИБ-приложения CrowdStrike.
Инструкция как автоматически исправить BSOD в Windows 10 из-за CrowdStrike.
Источник: habr.com
Похожие новости:
Глава CrowdStrike Джордж Куртц: мы понимаем серьезность ситуации и глубоко сожалеем о неудобствах и сбоях у клиентов
Глава CrowdStrike Джордж Куртц: мы понимаем серьёзность ситуации и глубоко сожалеем о неудобствах и сбоях у клиентов
Разработчики Debian 10 напомнили пользователям о необходимости обновления до конца месяца
Глава CrowdStrike Джордж Куртц: хосты Mac и Linux не затронуты, дефект был в коде обновления контента для хостов Windows