Ein vom Staging übrig gebliebenes Disallow: / entfernt unbemerkt eine ganze Website aus der Suche. Dieser Skill findet genau das und zehn weitere Probleme mit robots.txt und Sitemaps und erklärt, wie Sie jedes davon beheben.

Ihr Agent lässt einen Scanner über robots.txt und jede Sitemap-XML-Datei im Projekt oder im Build-Output laufen. Außerdem gleicht er jede Sitemap-URL mit robots.txt ab, und zwar nach Googles Regel der längsten Übereinstimmung. Das Ergebnis lautet BLOCK, REVIEW oder NOT FLAGGED, jeweils mit Datei, Zeile, Begründung und einer sichereren Alternative.

Was geprüft wird

BLOCK (vor dem Release beheben)

• R01: Disallow: / (oder /*) für alle Crawler oder für Googlebot

• R02: localhost-, private IP- oder Staging-URLs in der Sitemap

• R03: eine Sitemap, die kein gültiges Sitemap-XML ist

REVIEW (vor der Veröffentlichung prüfen)

• R11: keine Sitemap-Zeile in robots.txt

• R12: eine relative Sitemap-Zeile

• R13: blockierte CSS-, JS- oder Asset-Ordner

• R14: falsch geschriebene oder nicht unterstützte Regeln wie Noindex

• R15: Regeln vor der ersten User-agent-Zeile

• R16: gemischtes http/https oder gemischte Hosts in einer Sitemap

• R17: fehlerhafte oder in der Zukunft liegende lastmod-Daten

• R18: Sitemap-URLs, die robots.txt blockiert

Lieferumfang

• Der Scanner (Python 3.9+, nur Standardbibliothek)

• Ein Regelleitfaden mit Begründung und sichererer Alternative für jede Regel

• Riskante und sichere Beispieldateien sowie der echte Bericht, den der Scanner für die riskanten Dateien erzeugt

Grenzen

Er liest die Dateien so, wie sie geschrieben sind: Er ruft nicht die Live-Website ab, entpackt keine .xml.gz-Sitemaps und folgt keinem Sitemap-Index zu den untergeordneten Sitemaps. NOT FLAGGED ist keine Garantie für Rankings.

Inhalt

Eine ZIP-Datei mit 12 Dateien: SKILL.md, der Scanner in scripts/ (2 Python-Dateien), references/rules.md (jede Regel mit Begründung und sichererer Alternative) und examples/ (7 Beispieldateien plus report.md, die echte Scanner-Ausgabe für das riskante Beispiel).

So wird es verwendet: Dies ist ein Agent-Skill: ein Ordner mit einer SKILL.md-Datei und Python-Skripten, die ein KI-Coding-Agent wie Claude Code, Cursor oder Codex CLI ausführen kann. Entpacken Sie ihn in den Skills-Ordner Ihres Agenten (für Claude Code: ~/.claude/skills/) und bitten Sie Ihren Agenten dann, Ihr Projekt zu prüfen. Die Skripte laufen auch eigenständig mit Python 3.9 oder neuer, ohne dass etwas installiert werden muss. Sie lesen nur Ihre Dateien: kein Netzwerkzugriff, und es wird nichts irgendwohin gesendet.