Масштабный сбой Cloudflare связан с ошибкой в системе определения ботов

Cloudflare пережил крупнейший сбой со времен 2019 года. Компания подтвердила, что ее система фильтрации ботов вышла из строя, что привело к отключению множества сайтов и сервисов по всему миру.

Сооснователь и CEO Cloudflare Мэттью Принс (Matthew Prince) опубликовал подробный разбор инцидента.

Сбой произошел 18 ноября 2025 года в 11:20 по UTC (14:20 по Москве) и привел к глобальным последствиям — множество сайтов оказались недоступны. Cloudflare не подвергалась DDoS-атаке, как многие сначала предположили. Это важно, потому что у пользователей мог появиться страх, что сеть вывела из строя вредоносная атака. После того как инженеры обнаружили причину, компания заменила поврежденный конфигурационный feature file его резервной копией, что позволило устранить проблему. По данным Cloudflare, основной трафик вернулся к норме к 14:30 UTC (17:30 по Москве), примерно через три часа после начала инцидента. Полное восстановление всех систем завершилось к 17:06 UTC (20:06 по Москве).

Ошибка, которую видели пользователи, указывала на «internal server error» в сети Cloudflare — внутреннюю серверную ошибку, из-за которой сервисы не могли обработать запросы

Cloudflare описывает проблему следующим образом:

Из-за изменения поведения базового запроса в ClickHouse, который формирует этот файл [feature file], в нем появилось большое количество дублирующихся строк «feature». Это изменило размер файла конфигурации, который ранее имел фиксированный объем, что и привело к сбою в модуле обработки ботов.

Упрощенно проблема выглядела так: Cloudflare изменила права в одной из своих баз данных, и из-за этого база начала записывать в «feature file» множество повторяющихся строк. Этот файл используется системой Bot Management, которая должна постоянно обновляться, чтобы корректно распознавать автоматизированные запросы. В Bot Management входит несколько модулей, включая модель машинного обучения, которая рассчитывает показатель bot score для каждого сетевого запроса. Клиенты Cloudflare — сайты и онлайн-сервисы — используют эти оценки, чтобы решать, какие запросы пропускать, а какие блокировать как подозрительные.

«Feature file» служит конфигурационным файлом для модели, которая определяет, является ли запрос автоматизированным. Серверы Cloudflare используют его при маршрутизации трафика. Из-за ошибки файл увеличился вдвое, модуль не смог его обработать, и сбой распространился по всей сети. Сайты с правилами блокировки ботов начали получать массовые ложные срабатывания и стали недоступны.

Cloudflare заявила, что усилит защиту системы от подобных сбоев и внесет следующие изменения:

• Ужесточит проверку и обработку автоматически генерируемых конфигурационных файлов так же, как пользовательских данных;
• Добавит больше глобальных «kill switch» для аварийного отключения функций;
• Исключит ситуации, в которых core dumps и другие отчеты об ошибках могут перегружать системные ресурсы;
• Пересмотрит сценарии отказов и обработку ошибок во всех ключевых прокси-модулях.

Масштаб сбоя, конечно, не сравним с прошлогодним инцидентом CrowdStrike, но Cloudflare фактически вывела из строя значительную часть интернета. Проблема затронула не только сайты — перестали работать и онлайн-сервисы, включая ChatGPT, X, Spotify и Downdetector. Даже статус-страница Cloudflare, которая должна показывать состояние сети, тоже была недоступна.

Страница статуса Cloudflare тоже работает внутри собственной сети, поэтому когда она перестала открываться, в компании сначала заподозрили атаку. Позже удалось установить, что причиной стал именно баг, и устранить его. Факт остается тревожным: зависимость от сети Cloudflare огромна — около 20% интернета работает через ее инфраструктуру.