19 июля 2024 года инженерам команды Формулы-1 Mercedes AMG Petronas F1 Team во время работы на Гран-при Венгрии пришлось оперативно решать проблемы с BSOD на ПК с Windows, которые по стечению обстоятельств возникли из-за титульного спонсора команды ИБ-компании CrowdStrike.
В команде пояснили, что воздействие на работу этого сбоя было минимальным, так как системные инженеры Mercedes F1 Team быстро смогли разобраться с проблемой и устранить BSOD на ПК, включая те, которые выводили картинку на мониторы командного мостика. Технический директор команды Эндрю Шовлин не уточнил СМИ, помогали ли инженерам Mercedes F1 Team в этом процессе специалисты техподдержки CrowdStrike.
Оказалось, что инженерам Mercedes F1 Team пришлось оперативно чинить все ПК с Windows в пятницу утром в расположении команды, а также на заводской локации. Последние компьютеры, которые были приведены в порядок, оказались на командном мостике питлейн, потому что они не были нужны до начала первой тренировки пилотов. Именно эти мониторы с BSOD и засняли фотографы Формулы-1 на фоне инженеров команды в униформе с логотипом CrowdStrike.
Директор по информационной безопасности Acronis Кевин Рид пояснил СМИ: «Недавний инцидент в работе CrowdStrike был вызван ошибкой в файле, который, к сожалению, не был тщательно протестирован. Это привело к широкомасштабным сбоям с BSOD, многие ПК были затронуты по всему миру. Дефектное обновление требует ручного вмешательства для устранения, в частности, перезагрузки системы в «безопасном режиме» и удаления неисправного файла. Этот процесс является громоздким и временно оставляет системы уязвимыми, что потенциально может привести к оппортунистическим атакам».
Числа в сбое из-за ошибки в ПО CrowdStrike: 78 минут (19 июля в 12:09 AM ET старт, спустя 1 час и 18 минут разработчики убрали доступ к этому обновлению, но было поздно) в интернете с серверов CrowdStrike распространялся некорректный файл размером 40,04 КБ для ИБ-инструмента Falcon Sensor, который привёл к появлению BSOD на более чем 8,5 млн на ПК с Windows 7-11.
Сбой в работе миллионов ПК на базе операционной системы Windows мог случиться из-за договора между Еврокомиссией и компанией Microsoft, согласно которому разработчикам ПО информационной безопасности предоставляется доступ к ядру ОС. Об этом сообщила Wall Street Journal (WSJ) со ссылкой на представителя Microsoft.
Системные администраторы по всему миру продолжают исправлять BSOD в парках ПК на Windows из-за ошибки в ПО CrowdStrike. Им нужно загрузить систему в Safe mode и выполнить некоторые команды или поработать с реестром. Если диск ПК защищён шифрованием BitLocker, то нужно найти и ввести ключ восстановления BitLocker в каждой системе, а затем продолжить исправление обновления CrowdStrike, пока не заработают все компьютеры в организации. В большинстве организаций этот процесс занял до трёх суток, но в больших компаниях даже при мобилизации всего персонала команд техподдержки и системных администраторов решение этой проблемы может занять до недели или более из-за сложностей физического доступа к каждому ПК и удалённых месторасположений части филиалов.
В июне 2024 года техподдержка Red Hat предупреждала разработчиков и корпоративных клиентов о проблеме, вызывающей критический сбой (Kernel Panic) в версии Red Hat Enterprise Linux 9.4 после установки обновления, которое является частью механизмов поведенческой защиты, используемой для сенсоров Falcon ПО CrowdStrike.
Ранее стало известно, что обновление ПО CrowdStrike сломало серверные сборки на Debian и Rocky Linux в апреле и мае этого года. Но этого особо никто не заметил, кроме нескольких клиентов. ИБ-разработчики неделями тянули с закрытием тикетов и писали отписки клиентам, долго выпускав нужный патч. Пользователи тогда заметили, что уровень тестирования и техподдержки в CrowdStrike оставляет желать лучшего.
Только после глобального сбоя с ПК на Windows по всему миру в CrowdStrike заявили, что предпримут шаги, чтобы предотвратить повторение подобного инцидента с ошибками в обновлениях ПО.
Источник: habr.com
Похожие новости:
Восстановление работоспособности IT-систем клиентов из-за сбоя ПО CrowdStrike в Windows может занять недели
CrowdStrike сломал Debian и Rocky Linux в апреле и мае, но никто не заметил, а ИБ-разработчики не торопились с патчем
Microsoft выпустила инструмент для исправления BSOD в Windows из-за CrowdStrike с помощью загрузочного USB-накопителя
В июне Red Hat предупреждала о критической проблеме в Red Hat Enterprise Linux 9.4 после обновления ПО CrowdStrike