User-agent: GPTBot, ClaudeBot sieht so aus, als würde es zwei KI-Crawler sperren, doch der Parser von Google liest nur den ersten Namen, und strengere Parser erkennen keinen von beiden. Eine llms.txt, die Ihre /docs/*.md-Seiten auflistet, während robots.txt allen Disallow: /*.md$ vorgibt, bewirbt Seiten, die KI-Tools überspringen sollen, und eine Gruppe, die nur User-agent: ClaudeBot plus Crawl-delay: 1 enthält, öffnet stillschweigend jeden Pfad, den Ihre *-Gruppe schließt. Dieser Skill findet diese und die weiteren unten aufgeführten Fehler in llms.txt und bei KI-Crawlern vor der Veröffentlichung und sagt Ihnen, wie Sie jeden einzelnen beheben.

Ihr Agent lässt einen Scanner über jede llms.txt, llms-full.txt und robots.txt in den Quellordnern Ihres Projekts laufen (public/, static/, .well-known/ und ähnliche). Build-Ausgabeordner werden beim Projektscan übersprungen; für eine llms.txt, die ein Docusaurus-, VitePress- oder Astro-Plugin erzeugt, baut Ihr Agent daher die Website und scannt auch den Ausgabeordner. Er liest llms.txt so, wie das llms.txt-Format es beschreibt (H1-Titel, Zusammenfassung, Abschnitte mit Links der Form [name](url): notes), überspringt Codeblöcke und Front Matter, und liest robots.txt so, wie RFC 9309 es beschreibt: eine Gruppe pro Crawler, die längste passende Regel gewinnt, die *-Gruppe gilt nur für Crawler, die keine Gruppe nennt. Liegen llms.txt und robots.txt im selben Webordner (oder Next.js app/robots.txt neben public/), prüft er jeden Link aus llms.txt gegen robots.txt für die KI-Crawler-Tokens von OpenAI, Anthropic, Google, Perplexity, Common Crawl, Apple, ByteDance und Meta. Er ruft Ihre Website nie ab. Er liefert BLOCK, REVIEW oder NOT FLAGGED mit Datei, Zeile, Grund und einem sichereren Vorgehen, und jede Regel verlinkt auf das llms.txt-Format, RFC 9309 oder die Seite des Crawler-Betreibers, auf der sie beruht. Geheimnisse werden nie ausgegeben.

Was geprüft wird

BLOCK (vor der Auslieferung beheben)

• L01: llms.txt ohne H1-Titel (sie beginnt mit einem Abschnitt, reinem Text oder einer HTML-Seite oder ist leer)
• L02: Links in der Dateiliste auf localhost, private IP-Adressen, .local/.test/.internal-Namen, Staging-Hosts, Netlify-Deploy-Previews, Vercel-Branch-URLs, ngrok- oder Cloudflare-Tunnel oder Platzhalter-Domains
• L03: Links in llms.txt (oder llms.txt selbst), die robots.txt für alle bekannten KI-Crawler und Fetcher sperrt
• L04: mehrere KI-Crawler-Namen in einer User-agent-Zeile oder ein vollständiger Browser-User-Agent-String
• L05: Links in llms.txt mit Passwort, API-Schlüssel, Token, JWT oder Signatur in der URL sowie echt wirkende Passwörter in Datenbank-URLs in Codebeispielen

REVIEW (vor dem Release prüfen)

• L11: KI-Such- und Antwort-Agenten (OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot, meta-webindexer) für die gesamte Website gesperrt, während llms.txt veröffentlicht ist
• L12: falsch geschriebene, versionierte oder veraltete KI-Crawler-Namen (GPT-Bot, Google-Extend, GPTBot/1.1, ChatGPT, anthropic-ai ohne ClaudeBot)
• L13: KI-Crawler-Gruppen, die die Disallow-Regeln der *-Gruppe nicht wiederholen, sodass diese Pfade für sie offen sind
• L14: Sperren für ChatGPT-User, Perplexity-User oder meta-externalfetcher, die laut ihren Betreibern robots.txt möglicherweise nicht befolgen
• L15: Listeneinträge ohne Link in einem Linkabschnitt von llms.txt oder viele Links, von denen keiner eine Beschreibung hat
• L16: dieselbe URL zweimal in llms.txt aufgeführt
• L17: http://-Links in llms.txt
• L18: llms.txt mit mehr als 100.000 Zeichen oder llms-full.txt größer als 1 MB

Lieferumfang

• Der Scanner (Python 3.9+, nur Standardbibliothek)
• Ein Regelleitfaden mit Grund, sichererem Vorgehen und Link zur offiziellen Quelle für jede Regel
• Ein riskantes und ein sicheres Beispielprojekt (ein Shop und ein Dokumentationsportal) sowie der echte Bericht, den der Scanner für das riskante erzeugt

Grenzen

Er liest die Dateien so, wie sie geschrieben sind. Build-Ausgabeordner (build/, dist/, .next/ und ähnliche) werden beim Scannen eines Projekts übersprungen; scannen Sie den Ausgabeordner direkt, um eine generierte llms.txt zu prüfen. Eine beim Build erzeugte robots.txt (etwa Next.js app/robots.ts), CDN- oder Hosting-Einstellungen und X-Robots-Tag-Header werden nicht gelesen, und Links werden nicht abgerufen, sodass defekte Seiten nicht gefunden werden. Ob ein Crawler robots.txt befolgt, liegt bei seinem Betreiber, und neue KI-Crawler tauchen häufig auf. Klassische Suchmaschinenregeln in robots.txt gehören nicht zum Umfang. NOT FLAGGED ist keine Garantie.

Inhalt

Eine ZIP-Datei mit 15 Dateien: SKILL.md, der Scanner in scripts/ (5 Python-Dateien), references/rules.md (jede Regel mit Grund und sichererem Vorgehen) und examples/ (7 Beispieldateien plus report.md, die echte Scannerausgabe für das riskante Beispiel).

Verwendung: Dies ist ein Agent-Skill: ein Ordner mit einer SKILL.md-Datei und Python-Skripten, die ein KI-Coding-Agent wie Claude Code, Cursor oder Codex CLI ausführen kann. Entpacken Sie ihn in den Skills-Ordner Ihres Agenten (für Claude Code: ~/.claude/skills/) und bitten Sie Ihren Agenten dann, Ihr Projekt zu prüfen. Die Skripte laufen auch eigenständig mit Python 3.9 oder neuer, ohne dass etwas installiert werden muss. Sie lesen nur Ihre Dateien: kein Netzwerkzugriff, und nichts wird irgendwohin gesendet.