Защита инфраструктуры

Защита сайта от вредоносных ботов и автоматической нагрузки

Анализируем логи, отделяем полезных роботов от сканеров, парсеров и злоупотреблений, затем настраиваем ограничения на уровне Nginx, CDN/WAF, WordPress и API.

Что входит
Nginx CDN / WAF WordPress API
Первый результат

Что будет определено после анализа бот-трафика

Первый этап показывает источники автоматической нагрузки, проблемные маршруты и безопасный уровень фильтрации для каждого сценария.

1 выборка

Карта трафика

Источники, User-Agent, маршруты, частота, коды ответа и временные всплески.

1 список

Дорогие запросы

Поиск, фильтры, API, экспорт, авторизация и другие ресурсоёмкие операции.

1 проверка

Полезные роботы

Поисковые системы, мониторинг, платёжные сервисы и внутренние интеграции.

1 модель

Уровни защиты

CDN/WAF, Nginx, WordPress, REST API и логика конкретного действия.

1 режим

Порог блокировки

Лимиты, временные ограничения, challenge и исключения для доверенных процессов.

1 оценка

План внедрения

Сроки, диапазон бюджета, критерии результата и порядок отката.

Технический контроль

Что контролируем при блокировке ботов

Защита строится на измеримых признаках и распределяется по уровням, чтобы вредный запрос не тратил ресурсы приложения.

01 01

Диагностика

Проверяем исходное состояние и зависимости.

02 02

Архитектура

Учитываем структуру, данные и будущие изменения.

03 03

Безопасность

Работаем с резервными копиями и ограниченными доступами.

04 04

Производительность

Не добавляем решения, которые необоснованно замедляют проект.

05 05

Интеграции

Проверяем внешние сервисы, API и обработку ошибок.

06 06

Контроль

Тестируем результат по согласованным сценариям.

Поисковые роботы

Как сохранить индексацию при блокировке ботов

Легитимные поисковые роботы проверяются технически, а правила фильтрации учитывают индексируемые страницы, карты сайта и коды ответа.

BOT

Проверка источника

User-Agent сопоставляется с DNS и официальной инфраструктурой робота.

ROBOTS

robots.txt

Правила сканирования не подменяются серверной блокировкой и проверяются отдельно.

MAP

XML-карты

Важные URL остаются доступными и возвращают ожидаемые коды ответа.

RATE

Раздельные лимиты

Поисковое сканирование не получает тот же порог, что перебор входа или API.

Организация работы

Чем системная фильтрация отличается от списка заблокированных IP

Сравниваем разовые запреты отдельных адресов и многоуровневую защиту по поведению и стоимости запроса.

Задача Ручные блокировки IP веб-студия «Vagizov»
Оценка

Цена называется без изучения исходных данных.

Сначала проверяем задачу и зависимости, затем фиксируем смету.
План

Работы начинаются с разрозненных поручений.

Есть последовательность, границы и критерии приёмки.
Коммуникация

Клиент координирует нескольких исполнителей.

Вопросы собирает один руководитель проекта.
Техническая часть

Результат проверяется только визуально.

Проверяем код, данные, ошибки и рабочие сценарии.
Допработы

Новые платежи появляются по ходу проекта.

Дополнительный объём согласуется до выполнения.
Передача

После оплаты остаётся только готовый файл или правка.

Передаём документацию и рекомендации по дальнейшей работе.
Принципы

Принципы защиты сайта от ботов

Нужно уменьшить вредную автоматическую нагрузку, не закрывая сайт клиентам, поисковым системам и рабочим интеграциям.

Сначала измерение

Правило вводится после анализа логов и подтверждения проблемного сценария.

Ближе к источнику

Массовый трафик останавливается до PHP, если для решения не нужна бизнес-логика.

Разные лимиты

Главная, поиск, вход, заказ и API получают отдельные пороги.

Проверка роботов

Доверие не выдаётся только по User-Agent; источник подтверждается технически.

Без вечных запретов

Временные блокировки и адаптивные ограничения предпочтительнее бесконечного списка IP.

Контроль результата

После запуска проверяются нагрузка, реальные пользователи, интеграции и индексация.

Расчёт проекта

От чего зависит стоимость защиты от ботов

Основные факторы — объём и доступность логов, инфраструктура, число маршрутов, тип автоматического трафика, критичные интеграции и допустимый риск ложной блокировки.

LOG

Объём журналов

Один сайт и короткий период или несколько серверов, доменов и источников данных.

INFRA

Инфраструктура

Виртуальный хостинг, VPS, CDN/WAF, балансировщик и несколько приложений.

FLOW

Типы запросов

Сканирование, парсинг, вход, поиск, API, экспорт и другие дорогие операции.

LOAD

Интенсивность

Редкие обращения, постоянный парсинг или распределённые всплески нагрузки.

ALLOW

Исключения

Поисковые системы, партнёры, приложения, мониторинг и внутренние интеграции.

RISK

Цена ошибки

Допустимость спорных блокировок и требования к непрерывной работе.

Форматы и ориентиры бюджета

Базовый формат

Диагностика и правила

35 000–55 000 ₽

Анализ логов, проверка роботов и ограничения для нескольких проблемных URL.

Рекомендуемый

Комплексная защита трафика

70 000–120 000 ₽

Раздельные правила Nginx или CDN, WordPress, API и мониторинг.

В ежемесячном формате

Что входит в базовый контур работ

  • ДиагностикаСимптомы, журналы, источники и проблемные маршруты.
  • КлассификацияПолезные роботы, сканеры, парсеры и злоупотребления.
  • ПравилаЛимиты, временные блокировки, challenge и исключения.
  • ПриложениеWordPress, REST API, вход и ресурсоёмкие операции.
  • НаблюдениеЖурнал, метрики и проверка ложных срабатываний.
  • ПриёмкаКлиенты, интеграции, индексация, нагрузка и откат.
Отдельная оценка

Что оценивается отдельно

  • Подключение CDN или WAFПеренос DNS, базовая конфигурация, правила кеширования и безопасность.
  • Защита нескольких сайтовЕдиная политика, отдельные исключения и общий мониторинг.
  • Разработка API-авторизацииТокены, роли, подписи запросов и управление клиентами.
  • Оптимизация дорогих запросовИсправление SQL, кеширования, поиска, фильтров и генерации данных.
  • Длительный мониторингРегулярный анализ логов, отчётность и изменение порогов.
  • Реакция на DDoS-инцидентКоординация с провайдером, аварийные правила и восстановление доступности.
Тарифы

Стоимость защиты сайта от ботов

Стоимость зависит от объёма логов, инфраструктуры, числа проблемных endpoint, характера атаки, наличия CDN/WAF и требований к непрерывности работы.

Базовый формат

Диагностика и правила

35 000–55 000 ₽
2–4 рабочих дня

Для ограниченной задачи или небольшого проекта с понятными исходными данными.

  • Анализ логов и маршрутов
  • Проверка поисковых роботов
  • Блокировка очевидных сканеров
  • Rate limiting для критичных URL
  • Тестирование реальных сценариев
  • Документация и откат
Рекомендуемый

Комплексная защита трафика

70 000–120 000 ₽
4–7 рабочих дней

Для проекта, где требуется полноценная проработка, внедрение и контроль результата.

  • Расширенный анализ журналов
  • Правила Nginx или CDN
  • Раздельные лимиты по действиям
  • Защита WordPress и API
  • Мониторинг ложных срабатываний
  • Корректировка после запуска
Сложный проект

Высокая нагрузка и WAF

140 000–260 000+ ₽
от 7 рабочих дней

Для большого объёма, сложной архитектуры, интеграций или нестандартных требований.

  • CDN/WAF и серверный контур
  • Защита API и авторизации
  • Правила для нескольких доменов
  • Метрики и журналирование
  • План аварийного отключения
  • Период наблюдения и настройка
Состав работ

Что входит в защиту сайта от ботов

01

Анализ логов и источников роботного трафика

Анализ логов и источников роботного трафика. Объём и способ реализации определяются после изучения задачи.

02

Разделение полезных и вредных роботов

Разделение полезных и вредных роботов. Объём и способ реализации определяются после изучения задачи.

03

Правила WAF, rate limit и ограничения доступа

Правила WAF, rate limit и ограничения доступа. Объём и способ реализации определяются после изучения задачи.

04

Защита форм, входа и API

Защита форм, входа и API. Объём и способ реализации определяются после изучения задачи.

05

Проверка влияния фильтрации на SEO

Проверка влияния фильтрации на SEO. Объём и способ реализации определяются после изучения задачи.

06

Мониторинг после включения

Мониторинг после включения. Объём и способ реализации определяются после изучения задачи.

07

Документация по правилам

Документация по правилам. Объём и способ реализации определяются после изучения задачи.

08

Передача контроля и рекомендации

Передача контроля и рекомендации. Объём и способ реализации определяются после изучения задачи.

Для каких проектов

Когда нужна защита от автоматического трафика

Подходит проектам, где боты создают нагрузку, копируют данные, перебирают доступы или злоупотребляют дорогими операциями.

Подходит, когдаЕсть измеримый технический или бизнес-ущерб, а простые запреты IP и User-Agent не дают устойчивого результата.
01

Интернет-магазины

Парсинг цен, пустые корзины, перебор промокодов и нагрузка на поиск.

02

Каталоги

Массовое копирование карточек, изображений, документов и характеристик.

03

Личные кабинеты

Перебор входа, регистраций, восстановления пароля и пользовательских операций.

04

API и сервисы

Частые запросы к REST, webhook, отчётам и генерации данных.

05

Контентные сайты

Сканирование URL, копирование материалов и лишняя нагрузка на сервер.

06

Высоконагруженные проекты

Автоматический трафик влияет на TTFB, ошибки и доступность для клиентов.

Этапы

Как проходит защита сайта от ботов

01

Симптомы и вводные

Фиксируем нагрузку, проблемные маршруты, время всплесков и критичные интеграции.

Что подготовить
02

Анализ журналов

Группируем запросы, определяем паттерны и проверяем полезных роботов.

Что контролируем
03

Проектирование правил

Разделяем ограничения между CDN/WAF, Nginx, WordPress и API.

Состав работ
04

Пошаговое внедрение

Запускаем безопасные лимиты, журналирование и режим наблюдения.

Границы работ
05

Проверка и настройка

Контролируем нагрузку, клиентов, интеграции и поисковую индексацию.

Вопросы и ответы
Подбор формата

Какой формат защиты от ботов нужен вашему сайту

Ответьте на пять вопросов. Один вариант уже выбран; результат поможет определить глубину диагностики и уровень фильтрации.

Шаг 1 из 5 Первый вариант выбран — при необходимости измените
01Как проявляется проблема?

Выберите главный наблюдаемый симптом.

До старта

Что подготовить для первичной оценки

На первом сообщении не нужны пароли и архив сайта. Достаточно описать симптомы и инфраструктуру; безопасный доступ к логам согласуем отдельно.

Границы работ

Что важно учитывать до блокировки ботов

Реалистичный результат Снижаем вредную нагрузку и стоимость злоупотреблений, но не обещаем навсегда остановить любой автоматический запрос к публичному сайту.
01

Публичные данные нельзя сделать недоступными только парсерам

Если страницу видит браузер, её можно воспроизвести автоматическим клиентом; задача — ограничить массовость и дорогие операции.

02

User-Agent легко подделать

Подпись Googlebot или YandexBot сама по себе не доказывает принадлежность поисковой системе.

03

Жёсткие правила могут блокировать клиентов

Лимиты и challenge проверяются на реальных сценариях и вводятся поэтапно.

04

Виртуальный хостинг ограничивает возможности

Часть серверных правил, журналов и WAF может быть недоступна без VPS или внешнего CDN.

05

Атака меняет поведение

Правила требуют наблюдения и корректировки, особенно при распределённом трафике.

06

DDoS не всегда решается настройкой WordPress

Объёмные сетевые атаки требуют возможностей провайдера, CDN/WAF или специализированной защиты.

Вопросы и ответы

Вопросы о блокировке ботов на сайте

Обсудить задачу

Обсудить защиту сайта от ботов

Опишите симптомы, проблемные страницы и инфраструктуру. В ответ определим, какие данные нужны для диагностики и какой формат работ подходит.

Как считается стоимость
Связанные услуги

Что может понадобиться дополнительно

Четыре направления выводятся отдельным блоком и не включаются в стоимость автоматически.

Все услуги →
Безопасность

Защита от спама

Настройка защиты форм, регистрации, комментариев, заказов и API от автоматического спама: серверная проверка, honeypot, rate limiting, CAPTCHA и журналирование.

от 25 000 ₽ Подробнее
Безопасность

Лечение сайта от вирусов

Очистка заражённого сайта, поиск бэкдоров и причины взлома, восстановление файлов и базы, смена ключей, обновление уязвимых компонентов и контроль после запуска.

от 35 000 ₽ Подробнее
Аудит

Технический аудит

Проверяем сервер, CMS, код, скорость, формы, интеграции и базовую безопасность. Вы получаете приоритетный план исправлений.

от 45 000 ₽ Подробнее
Поддержка

Техническая поддержка

Регулярно обслуживаем сайт: контролируем доступность, безопасно обновляем CMS, исправляем ошибки, проверяем формы и выполняем согласованный объём доработок.

от 35 000 ₽ / мес Подробнее

Защита сайта от вредоносных ботов без блокировки клиентов и поисковых роботов

Автоматический трафик бывает полезным и вредным. Поисковые роботы индексируют страницы, системы мониторинга проверяют доступность, а интеграции обращаются к API по расписанию. Одновременно сканеры перебирают уязвимости, парсеры копируют каталог, боты подбирают пароли, создают нагрузку и вызывают дорогие операции без бизнес-цели. Простая блокировка по User-Agent или стране часто останавливает не тех посетителей и не решает проблему надолго.

Веб-студия «Vagizov» анализирует журналы веб-сервера, CDN, WordPress и приложений, разделяет автоматические запросы по поведению и назначению, после чего вводит правила на подходящем уровне: Nginx, CDN/WAF, WordPress, REST API или конкретный обработчик. Цель — сократить вредную нагрузку и злоупотребления, сохранив доступ реальным клиентам, поисковым системам, платёжным сервисам и внутренним интеграциям.

Какие боты создают проблемы сайту

Один и тот же IP-адрес не всегда однозначно показывает источник. Современные сканеры используют распределённые сети, меняют заголовки и имитируют браузер. Поэтому при диагностике учитывается не один признак, а последовательность запросов, скорость, глубина обхода, набор URL, коды ответа, повторяемость параметров и результат действий.

  • сканеры уязвимостей и перебор типовых адресов WordPress, панелей и резервных копий;
  • парсеры цен, карточек, изображений, документов и контактных данных;
  • боты, создающие нагрузку на поиск, фильтры, корзину, экспорт или генерацию файлов;
  • попытки подбора паролей, регистраций и восстановления доступа;
  • автоматические запросы к REST API, XML-RPC, admin-ajax.php и кастомным endpoint;
  • ложные поисковые роботы, которые только представляются Googlebot, YandexBot или Bingbot.

Как проводится диагностика автоматического трафика

Сначала фиксируются симптомы: рост нагрузки, ошибки 5xx, лишние обращения к базе, всплески трафика, перебор URL или массовое скачивание контента. Затем собираются логи за репрезентативный период. Мы группируем запросы по источнику, маршруту, частоте, коду ответа и влиянию на ресурсы. Для спорных роботов проверяется обратная DNS-верификация и соответствие официальным диапазонам, а не только подпись в User-Agent.

Отдельно оценивается стоимость запроса. Обращение к статическому изображению и запуск тяжёлого фильтра каталога создают разную нагрузку. Поэтому защита может ограничивать конкретные операции, не запрещая весь сайт. Например, обычный просмотр карточек остаётся доступным, а частые запросы к поиску или экспорту получают более строгий лимит.

Где лучше блокировать ботов

На уровне CDN, WAF или веб-сервера

Массовый трафик выгоднее останавливать до запуска PHP и обращения к базе данных. На этом уровне применяются ограничения частоты, правила по маршрутам, временные блокировки, challenge и фильтрация очевидных сканеров. При этом правила проектируются так, чтобы не закрыть административные интеграции, мониторинг и поисковое сканирование.

На уровне приложения и WordPress

Часть злоупотреблений становится понятной только после разбора бизнес-действия. WordPress может проверять права, nonce, структуру параметров, допустимую последовательность и лимиты конкретного пользователя. Такой уровень нужен для личных кабинетов, REST API, сложных фильтров, генерации отчётов и других операций, которые нельзя безопасно отфильтровать одной директивой Nginx.

Как сохранить индексацию сайта

Запрещать всех роботов по признаку «часто ходит по страницам» опасно. Поисковая система может обходить большой каталог интенсивнее обычного посетителя. Мы проверяем robots.txt, XML-карты, коды ответа и доступность важных страниц для легитимных роботов. Поддельный Googlebot не получает доверие только из-за имени: источник подтверждается технически. После внедрения контролируются журналы сканирования и отчёты поисковых систем.

Защита от парсинга и копирования контента

Полностью запретить копирование публично доступной информации невозможно: страницу, которую видит браузер, можно воспроизвести автоматическим клиентом. Реалистичная задача — повысить стоимость массового сбора, ограничить скорость, защитить дорогие endpoint, скрыть непубличные данные и обнаруживать аномальные сценарии. Для коммерческих каталогов отдельно обсуждаются выгрузки, водяные знаки, лимиты API и условия доступа к документам.

От чего зависит стоимость блокировки ботов

Стоимость определяется объёмом журналов, инфраструктурой, числом доменов и endpoint, характером автоматического трафика и допустимым риском ложной блокировки. Компактному WordPress-сайту может хватить диагностики и нескольких серверных правил. Для магазина, каталога или сервиса с API требуется раздельная политика, мониторинг, WAF/CDN и настройка порогов после запуска.

Что подготовить для оценки

Полезны адрес сайта, описание симптомов, примерное время всплесков, данные о хостинге или CDN и перечень критичных интеграций. Логи и доступы не нужно отправлять в первом сообщении. После согласования мы определяем безопасный способ получения технических данных, фиксируем критерии результата и план отката правил.

Как оценивается результат

Сравниваются нагрузка на PHP и базу, количество запросов к проблемным маршрутам, доля ошибок, время ответа и число ложных срабатываний. Для каждого правила понятно, что оно ограничивает и как его временно отключить. Защита не считается завершённой только потому, что график трафика снизился: проверяются формы, заказы, вход, API, поисковые роботы и реальные пользовательские сценарии.

Почему правила требуют последующего контроля

Поведение ботов меняется, на сайте появляются новые формы, плагины и endpoint, а CDN или хостинг обновляют собственные механизмы. Поэтому для проектов с постоянным автоматическим трафиком полезен период наблюдения: анализируются новые паттерны, корректируются лимиты и удаляются правила, которые больше не дают результата. Это снижает риск накопить хаотичный набор блокировок, понятный только автору старой конфигурации.