Ein apiKey, der in promptfooconfig.yaml unter einem Provider eingefügt wird, landet in git und in jedem gespeicherten Eval. Ein Test-Glob wie file://tests/*.yml fügt überhaupt keine Tests hinzu, wenn die Dateien auf .yaml enden, und eine Suite, deren Tests kein assert enthalten, besteht in der CI, egal was das Modell antwortet. Dieser Skill findet diese und die weiteren unten aufgeführten Fehler in promptfoo-Konfigurationen, bevor Sie committen oder das Eval ausführen, und erklärt Ihnen, wie Sie jeden davon beheben.

Ihr Agent führt einen Scanner über promptfooconfig.yaml-, .yml- und .json-Dateien aus, über andere YAML- oder JSON-Dateien, die ihrem Inhalt nach promptfoo-Konfigurationen sind (etwa ein generiertes redteam.yaml), sowie über die Test-, Szenario-, Provider- und defaultTest-Dateien, die eine Konfiguration per file:// lädt, Globs eingeschlossen. Er löst file://-Pfade wie promptfoo vom Ordner der Konfiguration aus auf, prüft deren exakte Groß- und Kleinschreibung, liest bei CSV-Testdateien nur die Kopfzeile auf __expected-Spalten und behandelt {{ env.NAME }}-Vorlagen, apiKeyEnvar-Namen, Platzhalter aus der Dokumentation und Schlüssel für lokale Server als nicht geheim. Er führt nie promptfoo, einen Provider, ein Skript oder ein Eval aus und kontaktiert nie eine Modell-API. Er liefert BLOCK, REVIEW oder NOT FLAGGED, jeweils mit Datei, Zeile, Begründung und einem sichereren Vorgehen. Geheimnisse werden nie ausgegeben.

Was geprüft wird

BLOCK (vor der Auslieferung beheben)

• P01: API-Schlüssel, Tokens, Passwörter und private Schlüssel, die in eine Konfiguration oder eine von ihr geladene Datei geschrieben sind: Provider-apiKey und andere geheime Felder, env:-Einträge, Header mit Zugangsdaten, auth-Blöcke, TLS- oder Signaturschlüssel, Passwörter in URLs sowie Werte, die überall wie echte Provider-Schlüssel aussehen, auch in Prompts und Testvariablen
• P02: file://-Verweise auf Prompts, Provider, Testdateien oder Globs, Variablendateien, Assertion-Skripte oder Transformationen, die nicht existieren oder nur mit anderer Groß- und Kleinschreibung existieren
• P03: Provider, die Zugangsdaten über unverschlüsseltes http:// oder ws:// an einen entfernten Host senden

REVIEW (vor dem Release prüfen)

• P11: Evals ganz ohne Assertions sowie Tests ohne Assertions in einer Liste, in der die anderen welche haben
• P12: Prüfungen, die nicht fehlschlagen können: threshold 0 bei Mindestpunktzahl-Assertions oder assert-sets, ein Test-threshold von 0, weight 0 bei jeder Assertion, leere contains-Werte, Regexe, die alles treffen, javascript- oder python-Prüfungen, die einfach true zurückgeben
• P13: modellbewertete Assertions (llm-rubric, factuality, g-eval, similar und andere) ohne festgelegten Grader sowie similar-Prüfungen, deren Grader kein Embedding-Modell hat
• P14: in der Konfiguration aktiviertes Teilen von Ergebnissen (sharing: true, ein sharing-Block, commandLineOptions.share), mit der Korrektur, die Uploads tatsächlich verhindert: sharing: false
• P15: Provider-, Assertion-, Variablen- oder Erweiterungscode, der über einen absoluten Pfad oder von außerhalb des Projekts geladen wird, sowie exec:-Provider, die ein Programm über einen absoluten Pfad ausführen
• P16: Testvariablen mit geheimen Namen und literalen Werten, E-Mail-Adressen, Zahlungskartennummern und US-Sozialversicherungsnummern in vars sowie Provider-Schlüssel, die mit {{ env.NAME }} in env kopiert werden
• P17: Tests mit derselben Beschreibung oder denselben vars und Assertions in einer Liste
• P18: falsch geschriebene Assertion-Typen (contain, llm_rubric, json), die promptfoo als unbekannt ablehnt

Was enthalten ist

• Der Scanner (Python 3.9+, nur Standardbibliothek)
• Ein Regelleitfaden mit Begründung, sichererem Vorgehen und offizieller promptfoo-Quelle für jede Regel
• Ein riskantes und ein sicheres Beispiel-Eval (Konfiguration, Testdatei und Prompt) sowie der echte Bericht, den der Scanner für das riskante erzeugt

Einschränkungen

Er liest nur YAML- und JSON-Konfigurationen: promptfooconfig.js- und .ts-Dateien, Kommandozeilenoptionen und Werte, die zur Laufzeit aus der Umgebung eingesetzt werden, sind nicht bekannt. Dateien, die ein Setup-Skript herunterlädt oder ein Hook vor dem Eval schreibt, werden als fehlend gemeldet, bis sie existieren. Die Erkennung personenbezogener Daten umfasst nur E-Mail-Adressen, Kartennummern und US-Sozialversicherungsnummern. Offizielle Beispiele ohne Assertions oder mit dem Standard-Grader erhalten absichtlich P11 oder P13. NOT FLAGGED ist keine Garantie.

Inhalt

Eine ZIP-Datei mit 17 Dateien: SKILL.md, der Scanner in scripts/ (7 Python-Dateien), references/rules.md (jede Regel mit Begründung und sichererem Vorgehen) und examples/ (7 Beispieldateien plus report.md, die echte Scanner-Ausgabe für das riskante Beispiel).

Verwendung: Dies ist ein Agent-Skill: ein Ordner mit einer SKILL.md-Datei und Python-Skripten, die ein KI-Coding-Agent wie Claude Code, Cursor oder Codex CLI ausführen kann. Entpacken Sie ihn in den Skills-Ordner Ihres Agenten (für Claude Code: ~/.claude/skills/) und bitten Sie dann Ihren Agenten, Ihr Projekt zu prüfen. Die Skripte laufen auch eigenständig mit Python 3.9 oder neuer, ohne dass etwas installiert werden muss. Sie lesen nur Ihre Dateien: kein Netzwerkzugriff, und nichts wird irgendwohin gesendet.