Crawl delay

Crawl-delay: что означает задержка обхода сайта

Crawl-delay — дополнительная директива файла robots.txt, с помощью которой владелец сайта может сообщить поисковому роботу желаемое ограничение частоты запросов. Её используют для снижения нагрузки от автоматического сканирования страниц, когда конкретный краулер поддерживает такую настройку.

Директива записывается в формате Crawl-delay: N, где N — числовое значение, интерпретация которого зависит от поискового робота. Например, для Bingbot значение 5 означает ограничение до одного обращения в пятиисекундном интервале.

Важное ограничение: Crawl-delay не входит в стандартный набор правил robots.txt, определённый RFC 9309. Разные поисковые системы могут поддерживать, игнорировать или по-разному интерпретировать эту запись. Поэтому наличие директивы в файле не означает, что все роботы будут соблюдать указанную скорость.

Как работает директива Crawl-delay в robots.txt

Файл robots.txt размещается в корне соответствующего хоста и содержит инструкции для поисковых роботов. Директива Crawl-delay указывается в группе правил, относящихся к определённому User-agent.

Пример настройки для Bingbot

Чтобы задать Bingbot ограничение частоты обращений, можно использовать следующую запись:

User-agent: Bingbot
Crawl-delay: 5

В официальной документации Bing значение 5 означает не более одного запроса к URL сайта в течение пятиисекундного окна. Это не обязательно строго выдерживаемая пауза после завершения предыдущего HTTP-запроса.

Bing документирует использование значений от 1 до 20 секунд. Чем больше значение, тем меньше потенциальная частота обращений. Например, при значении 10 теоретический предел составляет 8640 обращений за сутки, если считать непрерывный обход с одним запросом в каждом десятисекундном интервале. Фактическое количество запросов может быть существенно меньше.

Настройка для нескольких поисковых роботов

В robots.txt можно задать общую группу правил:

User-agent: *
Crawl-delay: 5

Звёздочка означает группу для роботов, к которым не применяется более специфичная группа правил. Однако поддержка самой директивы остаётся индивидуальной особенностью каждого краулера.

Использовать глобальную задержку без необходимости не рекомендуется. Она не повлияет на роботов, игнорирующих Crawl-delay, но способна ограничить обход другими системами, которые её поддерживают.

Для адресного управления лучше указывать конкретный User-agent и предварительно проверять документацию соответствующего поискового робота.

Поддерживают ли Crawl-delay Google, Яндекс и Bing

Поддержка директивы различается между поисковыми системами. Это главный фактор, который необходимо учитывать перед изменением robots.txt.

Googlebot: Crawl-delay не поддерживается

Google не учитывает Crawl-delay в robots.txt. В официальной спецификации Google перечислены поддерживаемые поля: User-agent, Allow, Disallow и Sitemap. Crawl-delay прямо отнесена к неподдерживаемым инструкциям.

Скорость обхода Googlebot определяется алгоритмами Google с учётом доступности сервера и других факторов. Добавление строки Crawl-delay: 10 не заставит Googlebot обращаться к сайту с десятисекундными интервалами.

При реальной перегрузке Google рекомендует временно возвращать коды HTTP 503 или 429. Такие ответы служат сигналом о проблемах с обслуживанием запросов и могут привести к снижению активности краулера.

Этот механизм предназначен для кратковременных аварийных ситуаций, а не для постоянного ограничения обхода. Продолжительная выдача подобных ответов может ухудшить доступность документов для поиска и привести к удалению URL из индекса.

Яндекс: Crawl-delay не работает для основного поискового обхода

Яндекс официально прекратил учитывать Crawl-delay для своего поискового робота 22 февраля 2018 года. Поэтому указание задержки в robots.txt не является способом настройки скорости обхода основным индексирующим роботом Яндекса.

Вместо этого используется инструмент Яндекс Вебмастера:

Индексирование → Скорость обхода.

По умолчанию применяется режим «Доверять Яндексу», в котором система самостоятельно определяет подходящую скорость обращений. При необходимости владелец сайта может перейти к ручной настройке.

Заданная скорость носит рекомендательный характер. Фактическая интенсивность обхода может отличаться в зависимости от состояния сайта и решений поисковой системы.

Существует важное исключение: в документации рекламного робота YandexDirect, применяемого Рекламной сетью Яндекса, Crawl-delay по-прежнему описана как поддерживаемая настройка. Поэтому утверждение о полном отсутствии поддержки у всех роботов Яндекса было бы некорректным. Для SEO существенна прежде всего отмена поддержки основным поисковым роботом.

Bingbot: Crawl-delay поддерживается

Bing официально поддерживает Crawl-delay и позволяет ограничивать частоту обращений Bingbot через robots.txt.

Дополнительно в Bing Webmaster Tools существует инструмент Crawl Control, предназначенный для управления интенсивностью обхода в разное время суток.

При этом Bing устанавливает приоритет директивы Crawl-delay из robots.txt над настройками Crawl Control. Если необходимо управлять скоростью по часам, следует учитывать этот приоритет.

Избыточное ограничение способно замедлить обнаружение новых страниц и обновление существующих документов. Поэтому уменьшать частоту запросов целесообразно только при подтверждённой необходимости.

Когда имеет смысл ограничивать скорость обхода

Crawl-delay может быть полезна, если поддерживающий её робот создаёт заметную нагрузку на сервер. Однако высокая частота обращений сама по себе ещё не означает техническую проблему.

Перед изменением настроек необходимо определить источник запросов и проверить, действительно ли краулинг влияет на работоспособность сайта.

Типичные причины повышенной нагрузки

• Большое количество URL, формируемых фильтрами, сортировками и параметрами.
• Повторное сканирование технических страниц и дублей.
• Высокая стоимость генерации динамических страниц.
• Ограниченные ресурсы сервера при одновременной активности посетителей и роботов.
• Массовое обращение к устаревшим или ошибочным URL.
• Недостаточно эффективное кеширование публичных страниц.

В подобных ситуациях изменение задержки не всегда устраняет первопричину. Если сайт генерирует тысячи ненужных URL, ограничение скорости лишь замедлит обращения к ним, но не исправит структуру.

Как проверить фактическую частоту запросов

Основной источник технической информации — серверные access-логи. Они позволяют увидеть время запросов, запрашиваемые URL, HTTP-коды, IP-адреса и строки User-agent.

Для диагностики следует:

1. Определить робота, создающего основную нагрузку.
2. Проверить подлинность поискового робота, а не полагаться только на User-agent.
3. Подсчитать частоту запросов за выбранные интервалы времени.
4. Выделить группы URL, которые сканируются наиболее активно.
5. Сопоставить активность робота с нагрузкой на сервер, временем ответа и ошибками.
6. Проверить изменения после корректировки настроек.

Если проблема связана с Bingbot, можно проверить необходимость Crawl-delay или Crawl Control. Для Googlebot и основного поискового робота Яндекса следует использовать предусмотренные их документацией механизмы.

Чем Crawl-delay отличается от crawl rate и crawl budget

Эти понятия относятся к обходу сайтов, но описывают разные аспекты работы поисковых систем.

Crawl-delay — инструкция, задающая ограничение частоты запросов для поддерживающего её робота.

Crawl rate — фактическая интенсивность обхода, которую можно измерять количеством запросов за секунду, минуту или другой период.

Crawl budget — понятие, связанное с объёмом URL, который поисковая система способна и стремится просканировать на сайте в определённых условиях.

Настройка Crawl-delay может влиять на потенциальное количество запросов поддерживающего робота, но не предоставляет сайту дополнительный бюджет обхода и не гарантирует индексирование страниц.

Снижение частоты запросов иногда необходимо для стабильности сервера, однако слишком жёсткое ограничение может увеличить время обнаружения и обновления документов.

Ошибки при использовании Crawl-delay

Ожидание одинаковой работы во всех поисковых системах

Одна из распространённых ошибок — считать Crawl-delay универсальной директивой robots.txt. Google её не поддерживает, основной поисковый робот Яндекса не учитывает с 2018 года, а Bingbot поддерживает.

Настройки следует выбирать по документации конкретной системы, а не по общему шаблону robots.txt.

Слишком большая задержка

Неоправданно высокое значение может серьёзно сократить частоту обхода. Особенно это нежелательно для крупных сайтов с регулярно обновляемыми каталогами, карточками товаров и информационными страницами.

Уменьшение нагрузки нужно сопоставлять с необходимостью своевременного обнаружения изменений.

Попытка исправить проблемы индексации через задержку

Crawl-delay не предназначена для управления индексированием. Она не заменяет Disallow, noindex, canonical, корректные HTTP-коды и устранение технических дублей.

Если нужные страницы не появляются в поиске, необходимо отдельно проверять доступность URL, внутренние ссылки, индексирование и другие факторы. Изменение задержки само по себе не исправляет эти проблемы.

Ограничение роботов без анализа серверных логов

Высокое потребление ресурсов может быть вызвано не поисковыми системами, а неоптимальными запросами к базе данных, недостаточным кешированием, автоматизированным трафиком других источников или ошибками приложения.

Поэтому Crawl-delay должна рассматриваться как узкоспециализированный инструмент ограничения поддерживающего её краулера, а не универсальный способ ускорения сайта.

Практический вывод

Crawl-delay остаётся полезной директивой для отдельных поисковых роботов, прежде всего Bingbot, но её возможности ограничены поддержкой конкретной системы.

Для Googlebot следует опираться на официальные механизмы управления нагрузкой и устранение причин избыточного обхода. Для основного поискового робота Яндекса предназначена настройка скорости в Яндекс Вебмастере.

Правильная задача технической SEO-оптимизации — не максимально замедлить роботов, а обеспечить стабильный сервер, доступность важных URL и рациональное использование ресурсов обхода.