Глава CrowdStrike Джордж Куртц (бывший технический директор McAfee и автор книги Hacking Expeded) заявил, что на начало августа 99% ПК клиентов компании на Windows снова в работе после глобального IT-сбоя от 19 июля. Оказалось, что проблема была в лишнем 21-ом поле для ввода в файле обновления для ИБ-сенсора.
Сотрудники техподдержки по всему миру две недели продолжали исправлять BSOD в парках ПК на Windows из-за ошибки в ПО CrowdStrike. Им нужно было загрузить систему в Safe mode и выполнить некоторые команды или поработать с реестром. Если диск ПК защищён шифрованием BitLocker, то нужно было найти и ввести ключ восстановления BitLocker в каждой системе, а затем продолжить исправление обновления CrowdStrike, пока не заработают все компьютеры в организации. В большинстве организаций этот процесс занял до трёх суток, но в больших компаниях даже при мобилизации всего персонала команд техподдержки и системных администраторов решение этой проблемы может занять до недели или более из-за сложностей физического доступа к каждому ПК и удалённых месторасположений части филиалов.
В CrowdStrike признали, что IT-катастрофа произошла из-за логической ошибки в коде в файле размером 40,04 КБ с обновлением для ИБ-сенсора Falcon, которую с помощью тестового ПО внутри CrowdStrike разработчики защитной системы обнаружить не смогли.
Оказалось, что программный датчик ПО CrowdStrike ожидал 20 полей ввода, в то время как обновление предоставило 21 поле ввода. В этом случае несоответствие привело к чтению памяти за пределами допустимого диапазона, что спровоцировало сбой в работе ИБ-системы и появление BSOD на миллионах ПК, серверов, киосков, видеоэкранах на Windows.
Числа в сбое из-за ошибки в ПО CrowdStrike: 78 минут (19 июля в 12:09 AM ET старт, спустя 1 час и 18 минут разработчики убрали доступ к этому обновлению, но было поздно) в интернете с серверов CrowdStrike распространялся некорректный файл размером 40,04 КБ для ИБ-инструмента Falcon Sensor, который привёл к появлению BSOD на десятках миллионов на ПК с Windows 10 и 11.
CrowdStrike пообещала более тщательно тестировать обновления, улучшить обработку ошибок в коде и реализовать поэтапное развёртывание патчей, чтобы избежать повторения этой IT-катастрофы.
«Мы глубоко сожалеем о том, какое влияние это оказало на наших клиентов. Нет ничего важнее, чем вернуть ваше доверие и уверенность партнёров по бизнесу. С момента основания мы всегда ставили защиту клиентов на первое место. Это было нашей путеводной звездой, и мы продолжаем уделять этому внимание каждый день», — уточнил глава CrowdStrike.
CrowdStrike пересмотрела свои алгоритмы проверки ПО для предотвращения повторения подобных ситуаций. Они включают обновление процедур тестирования Content Configuration System и добавление дополнительных уровней развёртывания обновлений в тестовых средах и приёмочных проверок на части етстовых клиентах для всех ИБ-систем. В компании также предоставят клиентам больше контроля над тем, как эти обновления развёртываются на их ПК с Windows.
Также CrowdStrike сообщили, что компания наймёт «двух независимых сторонних поставщиков программного обеспечения безопасности», которые изучат закрытый код ИБ-сенсора, а также проведут внутренний контроль качества по разработке ИБ-проектов и предоставят планы для улучшения обновлений защитного ПО. О том, когда эти проверки будут завершены, в CrowdStrike ничего не сообщается.
В конце июля власти Малайзии обратились к Microsoft и CrowdStrike по поводу рассмотрения вопроса о компенсациях компаниям, понёсшим убытки во время глобального технологического сбоя. Среди пострадавших из-за IT-коллапса в Малайзии оказались пять государственных учреждений и девять компаний, работающих в сфере авиации, банковского дела и здравоохранения. В Microsoft и CrowdStrike пока что не заявляли о финансовой стороне этого инцидента.
В начале августа 2024 года в компании CrowdStrike заявили, что не виноваты в многодневном отключении IT-систем Delta Airlines из-за сбоя ПК на Windows из-за некорректного обновления ПО CrowdStrike. Компания по кибербезопасности утверждает, что Delta Airlines отказалась от помощи на месте, и что предъявленный авиакомпанией иск на $500 млн компенсации способствует формированию среди клиентов CrowdStrike «вводящей в заблуждение информации». В качестве основного доказательства в CrowdStrike приводят тот факт, что авиакомпания отклонила неоднократные предложения ИБ-компании в помощи по восстановлению затронутых IT-систем.
6 августа 2024 года Microsoft сообщила СМИ, что руководство Delta Airlines само отказывалась от бесплатной помощи специалистов компании и проигнорировала электронное письмо от гендиректора Сатьи Наделлы в рамках решения IT-сбоя на ПК с Windows из-за обновления CrowdStrike. Microsoft предполагает, что проблемы Delta AirLines были связаны с устаревшей IT-инфраструктурой, а не с Windows.
Генеральный директор Delta Airlines Эд Бастиан планирует через суд получить компенсацию от CrowdStrike и Microsoft в размере $500 млн, которые Delta потеряла из-за сбоя. В Microsoft считают, что компания не виновата, так как Delta Airlines несколько раз отказывалась от её бесплатной помощи.
Источник: habr.com
Похожие новости:
Microsoft: Delta Airlines отказалась от бесплатной помощи и проигнорировала электронное письмо от Сатьи Наделла
CrowdStrike заявила о невиновности в отключении IT-систем Delta Airlines и сбоя ПК на Windows из-за обновления своего ПО
CrowdStrike: BSOD на миллионах ПК с Windows произошёл из-за неправильной проверки файла с помощью тестового ПО компании
Восстановление работоспособности IT-систем клиентов из-за сбоя ПО CrowdStrike в Windows может занять недели