Технология / продукт

Screaming Frog

Раздел о Screaming Frog SEO Spider: возможностях crawler для технического обхода сайта, поиска ошибок, анализа ссылок, метаданных, дублей, JavaScript, Sitemap, структурированных данных и интеграций с сервисами Google.

1материал
По задачам

Материалы

Статьи про Screaming Frog

Все технологии →

Что такое Screaming Frog

Screaming Frog SEO Spider это настольный SEO crawler для технического обхода сайтов. Программа переходит по обнаруженным URL, собирает данные о страницах, ссылках и ресурсах и помогает находить потенциальные проблемы технического SEO. Screaming Frog доступен для Windows, macOS и Linux.

Название Screaming Frog часто используют как сокращённое обозначение самого SEO Spider, хотя Screaming Frog является компанией, а SEO Spider конкретным программным продуктом.

Актуальная версия инструмента проверяет сотни типов SEO проблем и предупреждений. При этом результаты crawler следует воспринимать как диагностические данные. Screaming Frog может обнаружить техническое состояние URL, но не определяет самостоятельно, какие исправления имеют наивысший приоритет для конкретного сайта.

На Vagizov.com эта taxonomy страница посвящена именно продукту Screaming Frog. Сейчас с термом связан материал о поиске битых ссылок. Общие вопросы технического аудита, работы SEO crawler и индексирования раскрываются на сайте отдельно, поэтому здесь основное внимание уделяется возможностям самого SEO Spider.

Для чего нужен Screaming Frog SEO Spider

Основная задача Screaming Frog состоит в массовой проверке сайта на уровне отдельных URL. Вместо ручного открытия страниц специалист запускает crawl и получает таблицу с кодами ответа, метаданными, директивами индексирования, внутренними и внешними ссылками и другими параметрами.

Такой обход используют при техническом SEO аудите, поиске ошибок после изменений сайта, проверке миграций, анализе внутренней структуры и повторном контроле после исправлений.

Screaming Frog поддерживает обычный обход сайта по ссылкам и List Mode, в котором можно загрузить конкретный список URL. Это позволяет проверять как весь доступный раздел сайта, так и заранее подготовленный набор адресов.

Поиск битых ссылок и HTTP ошибок

Один из основных сценариев Screaming Frog это поиск неработающих внутренних и внешних ссылок. В Response Codes можно отфильтровать URL с ответами 4xx, 5xx и другими статусами, а затем посмотреть страницы, на которых были обнаружены соответствующие ссылки.

Это важно при работе с 404 и другими ошибками, поскольку одного списка проблемных URL недостаточно. Для исправления внутренней ссылки нужно понимать, откуда именно на неё ведёт переход.

На Vagizov.com поиск битых ссылок вынесен в отдельный подробный материал. Taxonomy Screaming Frog поэтому не дублирует полную методику проверки 404, 410, серверных логов и безопасного crawling, а описывает роль самого инструмента.

Проверка редиректов

Screaming Frog собирает HTTP ответы и позволяет находить постоянные и временные редиректы, цепочки и циклы перенаправлений. Отдельные отчёты помогают проследить путь от исходного URL до конечной страницы.

List Mode особенно полезен при миграциях. В программу можно загрузить старые URL и проверить, куда они перенаправляются после переноса сайта или изменения структуры.

Crawler при этом показывает фактическую цепочку HTTP ответов. Решение о том, нужен ли конкретный редирект и каким должен быть конечный URL, остаётся частью архитектуры и SEO стратегии сайта.

Title, Description и заголовки

Screaming Frog извлекает Page Title, Meta Description, H1, H2 и ряд других элементов страницы. В интерфейсе можно находить отсутствующие, повторяющиеся и потенциально проблемные значения и фильтровать URL по нужному признаку.

Такая проверка удобна для крупных сайтов, где одна ошибка шаблона способна затронуть сотни или тысячи страниц.

Автоматический фильтр не определяет качество Title или Description с точки зрения поискового интента. Он помогает найти технические и шаблонные проблемы, после чего содержание метаданных оценивается отдельно.

Canonical, robots и индексируемость

SEO Spider собирает canonical и директивы, влияющие на индексируемость страниц. Это позволяет массово проверять, какие URL содержат canonical, noindex и другие связанные настройки.

Подобные данные особенно полезны при сопоставлении разных сигналов. Например, URL может возвращать успешный HTTP ответ, но одновременно иметь noindex или указывать canonical на другую страницу.

При этом состояние в Screaming Frog нельзя приравнивать к фактическому индексу Google или Яндекса. Диагностический crawler показывает доступные ему сигналы страницы, тогда как решение о включении документа в поисковый индекс принимает поисковая система. Этот вопрос на Vagizov.com раскрывается отдельно в материале о SEO crawler и индексировании.

Анализ hreflang

Screaming Frog умеет извлекать hreflang из HTML, HTTP заголовков и XML Sitemap и проверять распространённые ошибки реализации. Среди доступных проверок есть некорректные коды языка и региона, отсутствующие обратные ссылки, ссылки на неканонические или недоступные URL и другие проблемы.

Это особенно полезно для многоязычных и мультирегиональных сайтов, где ручная проверка всех пар альтернативных страниц становится сложной.

Некоторые hreflang отчёты требуют дополнительного Crawl Analysis после завершения основного обхода.

Поиск дублирующегося контента

SEO Spider умеет выявлять точные дубли страниц. Для точного сравнения используется сохранённое хеш значение содержимого страницы.

В платной функциональности также присутствует анализ near duplicate content, позволяющий искать страницы с близким содержанием.

Найденное сходство не означает автоматически SEO ошибку. На сайте могут существовать страницы с закономерно похожим шаблонным содержанием. Поэтому результаты необходимо сопоставлять с назначением URL, canonical и поисковым интентом.

Анализ внутренних ссылок

Во время crawl Screaming Frog сохраняет связи между страницами. Для выбранного URL можно увидеть входящие ссылки, исходящие ссылки, анкоры и другие сведения о внутренней структуре.

Такие данные помогают находить страницы с недостаточным количеством внутренних ссылок, анализировать источники проблемных URL и проверять архитектуру сайта после изменений.

Screaming Frog также содержит визуализации структуры и внутренних связей. Они дополняют табличные отчёты и помогают исследовать большие сайты на уровне архитектуры.

JavaScript рендеринг

Screaming Frog поддерживает отдельный JavaScript rendering mode. В этом режиме SEO Spider выполняет клиентский JavaScript в headless Chromium и анализирует не только исходный HTML, но и результат рендеринга.

Это важно для сайтов на React, Vue, Angular и других архитектурах, где часть контента или ссылок появляется после выполнения JavaScript.

В JavaScript разделе можно определить страницы, где ссылки или контент обнаруживаются только после рендеринга, а также просматривать ошибки JavaScript из консоли Chromium.

При этом рендеринг Screaming Frog является инструментом диагностики. Он не доказывает сам по себе, что Google обработал конкретную страницу точно таким же способом или включил полученный контент в индекс.

XML Sitemap

Screaming Frog позволяет генерировать XML Sitemap на основе результатов crawl. Возможность входит в основной набор функций SEO Spider.

Также Sitemap можно использовать как дополнительный источник URL при техническом анализе. Это помогает сопоставлять адреса из карты сайта с теми URL, которые crawler способен обнаружить по внутренним ссылкам.

Если страница находится в Sitemap, это ещё не гарантирует её индексирование. Для диагностики нужно отдельно учитывать доступность, robots, canonical, внутренние ссылки и фактическое состояние URL в поисковой системе.

Структурированные данные

Screaming Frog может извлекать и проверять структурированные данные. В актуальном наборе функций продукта присутствует Structured Data & Validation.

Это позволяет массово находить страницы с разметкой и выявлять технические проблемы без последовательной ручной проверки каждого URL.

Результаты такой проверки относятся к реализации разметки. Само наличие корректных структурированных данных не гарантирует показ расширенного результата в поисковой выдаче.

Анализ изображений

SEO Spider собирает изображения и связанные с ними параметры. Это позволяет находить изображения без alt атрибута, исследовать их размер и определять страницы, на которых они используются.

Такой анализ особенно полезен на интернет магазинах, каталогах и контентных сайтах, где изображения формируются шаблонно и ошибки повторяются на большом количестве страниц.

Custom Search и Custom Extraction

В Screaming Frog предусмотрен Custom Search для поиска произвольного текста или элементов исходного кода. Его можно использовать, например, для проверки присутствия определённого скрипта, фрагмента разметки или другого технического признака.

Custom Extraction позволяет извлекать собственные данные с помощью XPath, CSS Path и регулярных выражений. Это превращает SEO Spider из набора заранее определённых SEO проверок в более универсальный инструмент массового анализа страниц.

Например, можно извлекать дополнительные заголовки, значения атрибутов, цены, идентификаторы или другие элементы, присутствующие в HTML.

Custom JavaScript

SEO Spider поддерживает выполнение пользовательского JavaScript для каждого анализируемого URL. Эта возможность применяется для собственной обработки и извлечения данных, когда стандартных полей программы недостаточно.

Custom JavaScript отличается от JavaScript rendering. Rendering предназначен для получения отрисованного содержимого страницы, тогда как Custom JavaScript позволяет выполнить собственную логику анализа.

Интеграция с Google Search Console

Платная версия Screaming Frog поддерживает подключение Google Search Console через API. Данные Search Console можно получать для URL внутри crawl и анализировать рядом с технической информацией страницы.

Это позволяет сопоставлять технические характеристики URL с кликами, показами и другими доступными поисковыми показателями.

При этом данные Search Console и Screaming Frog имеют разное происхождение. SEO Spider получает техническую информацию во время собственного обхода, а Search Console предоставляет данные Google о поисковой видимости и обработке сайта.

Google Analytics и PageSpeed Insights

Screaming Frog также интегрируется с Google Analytics и PageSpeed Insights. После подключения API соответствующие данные можно добавить к URL, обнаруженным во время crawl.

Интеграции удобны тем, что позволяют рассматривать несколько источников информации в одной рабочей таблице. Например, технические параметры страницы можно сопоставлять с аналитическими данными и показателями производительности.

Screaming Frog при этом не заменяет сами сервисы Google. Он получает выбранные показатели через API и объединяет их с результатами собственного обхода.

Проверка доступности интерфейсов

В SEO Spider имеется автоматизированный accessibility audit на основе набора правил axe. Для этой проверки требуется JavaScript rendering.

Автоматическая проверка помогает найти часть технических проблем доступности, но не заменяет полноценное тестирование интерфейса. Некоторые аспекты невозможно корректно оценить только автоматическими правилами.

Сравнение результатов crawl

Платная версия Screaming Frog позволяет сохранять обходы и сравнивать их между собой. Это помогает увидеть, какие URL и технические показатели изменились между двумя проверками.

Такой сценарий полезен после технических исправлений, миграции или крупного обновления сайта. Вместо сравнения отдельных файлов можно анализировать изменения внутри инструмента.

В актуальных версиях SEO Spider также поддерживается автоматическое сравнение обходов.

Планирование автоматических обходов

Screaming Frog позволяет запускать crawl по расписанию. Проверки можно выполнять однократно в назначенное время или повторять с заданным интервалом.

Этот режим подходит для регулярного технического контроля. Например, можно периодически проверять сайт и сравнивать результаты с предыдущими обходами.

Для автоматизированных рабочих процессов также доступно управление через command line.

Искусственный интеллект в Screaming Frog

Современные версии SEO Spider позволяют подключать внешние модели и выполнять AI prompts во время crawl. В официальной документации указана работа с OpenAI, Gemini, Anthropic и Ollama. Такие запросы можно применять к содержимому анализируемых страниц для дополнительной обработки данных.

Это дополнительная возможность Screaming Frog, а не замена стандартным crawler данным. Коды ответа, ссылки, canonical и другие технические параметры по прежнему получают обычными механизмами SEO Spider.

В версии 24 разработчики также добавили MCP Server, который позволяет связывать SEO Spider с совместимыми ИИ клиентами и управлять crawl, анализом и экспортом данных через такой интерфейс.

Бесплатная и платная версии Screaming Frog

Screaming Frog SEO Spider можно использовать бесплатно для обхода до 500 URL за один crawl. Бесплатная версия позволяет выполнять базовые проверки, включая поиск битых ссылок, анализ HTTP ответов, метаданных и ряда других элементов.

Лицензия снимает ограничение в 500 URL и открывает дополнительные возможности, включая расширенную конфигурацию, сохранение crawl, JavaScript rendering, интеграции, планирование, сравнение обходов и другие функции. Фактический максимальный объём большого crawl при этом зависит от доступной памяти и хранилища компьютера.

Стоимость лицензии может зависеть от валюты и актуальных условий, поэтому для покупки следует проверять текущую страницу Screaming Frog, а не ориентироваться на старые обзоры.

Screaming Frog на Windows, macOS и Linux

SEO Spider является настольным приложением и доступен для Windows, macOS и Linux.

Это отличает его от полностью облачных SEO сервисов. Обход выполняется приложением на компьютере пользователя, поэтому при крупных crawl имеют значение доступная память, дисковое пространство и выбранный режим хранения данных.

Что Screaming Frog не показывает напрямую

Screaming Frog является диагностическим crawler, а не поисковой системой. Успешный обход URL не означает, что страница проиндексирована Google или Яндексом.

Аналогично обнаруженная техническая проблема не означает автоматически потерю позиций. Её влияние зависит от типа страницы, архитектуры сайта и того, затрагивает ли проблема обнаружение, обработку, индексирование или работу пользователя.

Поэтому результаты SEO Spider желательно сопоставлять с Google Search Console, Яндекс Вебмастером, серверными ответами, логами и другими источниками. На Vagizov.com различие между диагностическим crawler и поисковым роботом подробно рассматривается отдельно, чтобы не смешивать продукт Screaming Frog с общей темой индексирования.

Когда использовать Screaming Frog

Screaming Frog подходит для первичного технического аудита, регулярного контроля сайта, проверки миграций, поиска битых ссылок и редиректов, анализа внутренней структуры, метаданных, hreflang, JavaScript и других массовых задач.

Сильная сторона SEO Spider состоит в том, что данные по большому числу URL собираются в одном crawl и могут анализироваться через фильтры, отчёты, сегменты и собственные правила.

При этом программа не заменяет SEO специалиста. Screaming Frog помогает быстро обнаружить технические сигналы и собрать данные, а окончательное решение о приоритетах, архитектуре, индексировании и изменениях на сайте принимается после проверки контекста конкретной проблемы.