По информации профильных СМИ, восстановление работоспособности IT-систем из-за сбоя ПО CrowdStrike в Windows во многих компаниях может занять недели. В CrowdStrike запустили отдельный сайт «How to Fix CrowdStrike Issue?» для помощи инженерам и системным администраторам пострадавших клиентов. В компании признали, что совершили логическую ошибку в коде в файле обновления C-00000291-*.sys, которое в итоге ушло тысячам клиентов по всему миру.
Вся команда CrowdStrike продолжает тесно сотрудничать с пострадавшими клиентами и партнёрами, чтобы обеспечить восстановление всех их систем. Но это оказалась сделать не так просто в оперативном режиме.
В CrowdStrike заявили, что предпримут шаги, чтобы предотвратить повторение подобного инцидента, хотя ранее клиенты на Linux сталкивалась с подобной ситуацией и техподдержка компании игнорировала или растягивала время решения тикета. «Модель Crowdstrike выглядит так: «Мы устанавливаем программное обеспечение на ваши машины в любое время, когда захотим, независимо от того, срочно оно или нет, без его тестирования», — заявил инженер из лаборатории с отключёнными серверами Debian Linux из-за некорректного обновления ПО Crowdstrike.
В крупных компаниях системные администраторы смогли возвратить к жизни ПК, серверы и ноутбуки вручную, удалённое подключение не работает. Нужно загрузить систему в Safe mode и выполнить некоторые команды или поработать с реестром. В некоторых компаниях смогли выполнить удалённо большое количество перезагрузок систем для перезапуска Windows в нормальном режиме (от трёх до пятнадцати перезагрузок в разных случаях).
Примечательно, что текущий глава CrowdStrike Джордж Куртц являлся техническим директором ИБ-компании McAfee в 2010 году, когда произошёл колоссальный сбой в работе Windows XP, из-за которого отключилась значительная часть Интернета. Человек, который в то время был техническим директором McAfee, теперь является генеральным директором Crowdstrike. Инцидент с McAfee стоил компании так дорого, что в итоге она была продана Intel.
Предыдущий масштабный с Куртцем во главе ИБ-компании произошёл в 2010 году — тогда McAfee неудачно обновила антивирусную систему на миллионах устройств. Обновление привело к тому, что одна часть этих компьютеров потеряла доступ к сетевым ресурсам, а другая начала бесконечно перезагружаться. В McAfee решили проблему новым обновлением. Но за потраченное на это время австралийской сети супермаркетов Coles пришлось закрыть магазины в южной и западной частях страны, в американском штате Род-Айленд была парализована работа больниц и отложены некоторые операции, 8 тыс. из 25 тыс. компьютеров Университета Мичигана вышли из строя, а патрульным штата Кентукки пришлось отказаться от работы с терминалами в служебных машинах и временно перейти на рукописные отчёты.
Часть текущих клиентов CrowdStrike начала отказываться от услуг компании. Илон Маск заявил, что решения CrowdStrike больше не будут использоваться в Tesla, X, SpaceX и других его компаниях.
19 июля глава ИБ-компании CrowdStrike Джордж Куртц (бывший технический директор McAfee и автор книги Hacking Expeded) заявил, что в компании понимают серьёзность ситуации и глубоко сожалеют о неудобствах и сбоях в IT-инфраструктуре клиентов. Курц подтвердил, что в глобальном сбое IT-систем в мире виноваты его разработчики. По его словам, хосты Mac и Linux не затронуты, а дефект в коде был в одном обновлении контента для хостов Windows. Все команды инженеров и разработчиков компании полностью мобилизованы и занимаются обеспечением безопасности и стабильности IT-инфраструктуры клиентов. Оказывается, подобная проблема с обновлением ПО CrowdStrike и сбоем в ОС возникала уже несколько месяцев назад и без особой осведомлённости среди клиентов компании.
Представители CrowdStrike открыли ветку на Reddit: BSOD error in latest crowdstrike update.
Три временных способа от производителя по решению проблемы со сбоем на ПК с Windows.
Эксперты из Microsoft пояснили СМИ, что для исправления «синего экран смерти» (BSOD) из-за CrowdStrike нужно просто перезагрузить компьютер 15 раз подряд. Этот совет предназначен специально для системных администраторов виртуальных машин, использующих Azure и столкнувшихся с глобальным сбоем в работе ПК и серверов на Windows из-за некорректного обновления ИБ-приложения CrowdStrike.
Инструкция как автоматически исправить BSOD в Windows 10 из-за CrowdStrike.
Ресурсы CrowdStrike с публикацией информации по текущей ситуации о сбое:
Statement on Falcon Content Update for Windows Hosts.
Technical Details on Today’s Outage.
В Microsoft настоятельно советуют системным администраторам при BSOD с ошибками 0x50 или 0x7E из-за CrowdStrike выполнить несколько операций перезапуска на ПК с Windows.
Также в Microsoft выпустили свои инструкции по решению этой проблемы для Windows 10 и Windows 11 под названием KB5042421: CrowdStrike issue impacting Windows endpoints causing an 0x50 or 0x7E error message on a blue screen.
Источник: habr.com
Похожие новости:
CrowdStrike сломал Debian и Rocky Linux в апреле и мае, но никто не заметил, а ИБ-разработчики не торопились с патчем
Глава CrowdStrike Джордж Куртц: мы понимаем серьезность ситуации и глубоко сожалеем о неудобствах и сбоях у клиентов
Глава CrowdStrike Джордж Куртц: мы понимаем серьёзность ситуации и глубоко сожалеем о неудобствах и сбоях у клиентов
Глава CrowdStrike Джордж Куртц: хосты Mac и Linux не затронуты, дефект был в коде обновления контента для хостов Windows