CrowdStrike быстро извинилась после того, как неисправное обновление контента вызвало глобальный сбой в работе ИТ-сети. Руководитель подробно рассказал о внутренних изменениях, призванных предотвратить повторение этого события.
Старший вице-президент CrowdStrike по операциям по борьбе с противником Адам Мейерс выступает на слушаниях подкомитета Комитета по внутренней безопасности Палаты представителей в здании офиса Cannon House 24 сентября 2024 года в Вашингтоне, округ Колумбия. Анна Манимейкер/Getty Images через Getty Images
«Идеальный шторм проблем» и внутренние ошибки проверки привели к дефектному обновлению программного обеспечения CrowdStrike, которое вызвало глобальный сбой в работе ИТ-сети в июле, заявил руководитель во время показаний во вторник на слушаниях в Конгрессе.
Адам Мейерс, старший вице-президент по противодействию злоумышленникам в CrowdStrike, взял на себя полную ответственность и извинился от имени компании за то, что стал причиной одного из крупнейших сбоев в работе ИТ в истории, давая показания перед членами подкомитета Палаты представителей по кибербезопасности и защите инфраструктуры.
«Доверие завоевывается годами, а рушится за секунды, и мы понимаем, что подорвали доверие и что нам нужно работать, чтобы вернуть его», — сказал Мейерс.
Члены подкомитета в основном с пониманием отнеслись к техническим проблемам отрасли кибербезопасности, хотя в нескольких конфликтных моментах законодатели критиковали процессы CrowdStrike, которые позволили ошибке проскользнуть во время тестирования.
«Кажется, это очень большой промах. Вы, ребята, затрагиваете много вещей. Вы затрагиваете много инфраструктуры в Соединенных Штатах, в чем мы на вас рассчитываем, и что вы отлично справлялись до этого момента», — сказал представитель Морган Латтрелл.
«Вы упоминаете Северную Корею, Китай и Иран, наши внешние игроки пытаются достать нас каждый день. Мы выстрелили себе в ногу внутри дома».
Хотя вина за этот инцидент лежит на CrowdStrike, широкое влияние его ошибки на пользователей Windows поставило под сомнение практику поставщиков кибербезопасности, в частности, зависимость их инструментов от глубокого контроля и доступа к ядру Windows.
Участие Microsoft является значительным, и ее реакция внимательно отслеживается, поскольку она продолжает пересматривать свою стратегию кибербезопасности. На прошлой неделе Microsoft обрисовала некоторые внутренние тестирования и системные изменения, над которыми она работает, чтобы предотвратить еще один масштабный сбой через сторонних поставщиков.
Вот пять выводов из показаний Мейерса:
1. Процесс тестирования CrowdStrike не удался.
Процесс CrowdStrike по тестированию обновлений контента до и во время неисправного обновления 19 июля опирался на валидаторы, которые тестировали файлы каналов контента по отдельности, но не коллективно. С тех пор это изменилось.
«Новая методология заключается в том, чтобы тестировать все обновления контента внутри компании, прежде чем они будут выпущены для первых пользователей», — сказал Мейерс.
Во время дачи показаний Мейерсом некоторые законодатели стремились понять, что пошло не так с неисправным обновлением содержимого датчика. Процессы были соблюдены, но эти внутренние процессы не смогли обнаружить ошибку.
«Мы протестировали каждый из каналов, поэтому каждое из различных правил, которые были внутри этого файла содержимого, было протестировано индивидуально», — сказал Мейерс.
Валидаторы гарантировали, что правила соответствуют и соответствуют структуре, которую CrowdStrike построил для обновления содержимого. «Оно было протестировано как чистое или хорошее, и именно поэтому его разрешили развернуть», — сказал Мейерс.
Однако файл содержимого вызвал проблему в ядре. «Это почти как если бы вы представляли себе шахматную доску, пытающуюся переместить шахматную фигуру в место, где нет квадрата. Это фактически то, что произошло внутри датчика», — сказал Мейерс.
В обновлении конфигурации было несоответствие в полях, из-за чего одно из полей осталось несвязанным с правилом.
«Это не было отсутствием следования процессу. Это была проблема с валидатором контента», — сказал Мейерс. «Идеальным штормом было то, что валидатор контента позволил конфигурации контента выйти на датчик, и датчик не смог найти правило, которое он искал, что и вызвало проблему».
Фактор новизны того, что пошло не так, не ускользнул от Мейерса, который сказал: «Насколько мне известно, эта проблема проявилась впервые».
2. CrowdStrike объясняет, почему ему нужен доступ к ядру в системах Windows.
Ядро — это центральная часть операционной системы Windows, отвечающая за взаимодействие с оборудованием. По словам Мейерса, оно также критически важно для инструментов кибербезопасности, чтобы гарантировать производительность, поддерживать видимость в масштабах всей системы и обеспечивать предотвращение угроз.
«Драйвер ядра — это ключевой компонент каждого продукта безопасности, который я могу себе представить. Сказали бы они, что выполняют большую часть своей работы в ядре, или нет, зависит от поставщика, но попытаться защитить операционную систему без доступа к ядру было бы очень сложно», — сказал Мейерс.
Ядро Windows также обеспечивает защиту от несанкционированного доступа, что необходимо для предотвращения отключения киберпреступниками инструментов безопасности, сказал Мейерс.
Видимость ядра имеет решающее значение для того, чтобы группы угроз не получили доступ к ядру и не отключили или не удалили продукты и функции безопасности, сказал Мейерс.
«В этом случае мы ошиблись, и мы учимся на том, что произошло, и мы внедрили изменения, чтобы гарантировать, что это не повторится».
Microsoft заявила, что планирует усилить возможности безопасности за пределами ядра, включая защиту от несанкционированного доступа и требования к датчикам безопасности.
3. Клиенты CrowdStrike теперь контролируют частоту обновления контента.
Обновления контента CrowdStrike теперь работают по модели подписки, которую Мейерс описал как «систему концентрических колец». Поэтапный подход дает клиентам возможность выбирать, когда и как их системы будут получать обновления конфигурации контента.
Тестирование, первый шаг в этом новом процессе, происходит внутри CrowdStrike. Оттуда клиенты могут выбрать участие в программе раннего внедрения, чтобы получать обновления контента, как только CrowdStrike сделает их доступными.
Общая доступность происходит после раннего внедрения, и клиенты могут отложить обновления еще больше по своему усмотрению или вообще не получать их. CrowdStrike не может в одностороннем порядке переопределять эти элементы управления обновлением контента.
Раннее внедрение подходит для целей корпоративного тестирования, «если организация хочет получать эти обновления контента своевременно и убедиться в отсутствии каких-либо последствий или неожиданного поведения», — сказал Мейерс.
«Для критически важных систем или вещей, которые они предпочли бы подождать дольше, они могут сделать это, но это, конечно, сопряжено с риском того, что они не получат самую актуальную информацию об угрозах, предоставленную их системе», — сказал Мейерс.
4. CrowdStrike изменила свою политику, чтобы рассматривать обновления контента как код.
Неисправное обновление конфигурации контента, которое включало базовую ошибку ввода поля, вызвавшую чтение за пределами выделенной памяти, было не кодом, а информацией об угрозах, распространенной на датчики клиентов CrowdStrike.
После ошибки CrowdStrike больше не делает различий между изменениями программного кода и обновлениями конфигурации контента в отношении тестирования.
«Теперь конфигурация рассматривается как код, тогда как раньше она рассматривалась исключительно как информация о конфигурации», — сказал Мейерс. «Таким образом, мы обеспечиваем гораздо больше контроля и видимости того, что это такое и как это попадает в систему».
Обновления контента CrowdStrike для датчиков теперь проходят более тщательное внутреннее тестирование, прежде чем они будут распространены среди первых пользователей или клиентов, которые подписались на обновления для общей доступности.
«До этого наши пакеты датчиков, весь наш исходный код, уже имели эти устоявшиеся передовые практики, и теперь мы применяем их также к обновлениям контента», — сказал Мейерс.
5. Быстрые обновления конфигурации контента останутся.
CrowdStrike выпускает обновления конфигурации контента для датчиков Windows в среднем 10–12 раз в день.
Эти обновления «содержат последнюю информацию об угрозах, чтобы инструментировать наш датчик, наш инструмент, чтобы понимать, какие новые угрозы развиваются», — сказал Мейерс.
«Иногда ландшафт угроз меняется каждую минуту», — сказал Мейерс. «Чтобы опережать эти угрозы, чтобы позволить платформе CrowdStrike обнаруживать и предотвращать эти угрозы, ей нужны регулярные обновления».
Мейерс не дал никаких указаний на то, что CrowdStrike планирует ограничить частоту обновления датчиков.
«Мы продолжим обновлять наш продукт информацией об угрозах так часто, как нам нужно, чтобы опережать угрозы, с которыми мы сталкиваемся», — сказал Мейерс. «Скорость имеет значение в этой области, чтобы опережать этих субъектов угроз».
