Строка Disallow: /, оставшаяся после staging, незаметно убирает из поиска весь сайт. Этот навык находит эту и еще десять проблем в robots.txt и sitemap и объясняет, как исправить каждую из них.

Ваш агент запускает сканер для robots.txt и всех XML-файлов sitemap в проекте или в результатах сборки. Кроме того, он сверяет каждый URL из sitemap с robots.txt по правилу самого длинного совпадения, которое использует Google. Он выдает результат BLOCK, REVIEW или NOT FLAGGED с указанием файла, строки, причины и более безопасного варианта.

Что проверяется

BLOCK (исправить до выпуска)

• R01: Disallow: / (или /*) для всех краулеров или для Googlebot

• R02: адреса localhost, частные IP или URL staging в sitemap

• R03: sitemap, который не является валидным XML карты сайта

REVIEW (проверить перед релизом)

• R11: в robots.txt нет строки Sitemap

• R12: относительный путь в строке Sitemap

• R13: заблокированы папки с CSS, JS или ресурсами

• R14: правила с опечатками или неподдерживаемые правила, например Noindex

• R15: правила до первой строки User-agent

• R16: смешение http/https или разных хостов в одном sitemap

• R17: некорректные даты lastmod или даты в будущем

• R18: URL из sitemap, которые блокирует robots.txt

Что входит в комплект

• Сканер (Python 3.9+, только стандартная библиотека)

• Справочник по правилам: для каждого правила указаны причина и более безопасный вариант

• Рискованные и безопасные файлы-примеры, а также реальный отчет, который сканер выдает по рискованным примерам

Ограничения

Он читает файлы в том виде, в каком они написаны: не загружает живой сайт, не распаковывает sitemap в формате .xml.gz и не переходит от индексного файла sitemap к дочерним картам. Статус NOT FLAGGED не гарантирует позиций в поиске.

Содержимое

Один ZIP-архив, в нем 12 файлов: SKILL.md, сканер в scripts/ (2 файла на Python), references/rules.md (все правила с причинами и более безопасными вариантами) и examples/ (7 файлов-примеров плюс report.md, реальный отчет сканера по рискованному примеру).

Как использовать: это навык для агента: папка с файлом SKILL.md и скриптами на Python, которые может запускать ИИ-агент для программирования, например Claude Code, Cursor или Codex CLI. Распакуйте архив в папку навыков вашего агента (для Claude Code: ~/.claude/skills/), затем попросите агента проверить ваш проект. Скрипты также работают самостоятельно с Python 3.9 или новее, ничего устанавливать не нужно. Они только читают ваши файлы: без доступа к сети, никакие данные никуда не отправляются.