Robots.txt для SEO: директивы, настройка и частые ошибки
Robots.txt управляет доступом поисковых роботов к URL, но не заменяет управление индексированием. Разбираем рабочие директивы, проверку файла и ошибки, способные закрыть важные…
Тема блога
Краулинг
Материалы этого раздела и его подразделов.
2материала
Фильтр по технологии
Материалы
Последние публикации
Робот Яндекса: как YandexBot обходит сайт и что влияет на краулинг
Разбираем, как YandexBot обнаруживает и загружает страницы сайта, где проверить его обращения и какие технические настройки могут мешать нормальному обходу.