Une apiKey collée sous un fournisseur dans promptfooconfig.yaml finit dans git et dans chaque évaluation enregistrée. Un glob de tests comme file://tests/*.yml, quand les fichiers se terminent par .yaml, n'ajoute aucun test, et une suite dont les tests n'ont aucun assert passe en CI quelle que soit la réponse du modèle. Ce skill détecte ces erreurs et les autres erreurs de configuration promptfoo ci-dessous avant que vous ne fassiez un commit ou ne lanciez l'évaluation, et vous indique comment corriger chacune d'elles.

Votre agent exécute un scanner sur les fichiers promptfooconfig.yaml, .yml et .json, sur les autres fichiers YAML ou JSON qui sont des configurations promptfoo d'après leur contenu (comme un redteam.yaml généré), ainsi que sur les fichiers de tests, de scénarios, de fournisseurs et defaultTest qu'une configuration charge avec file://, globs compris. Il résout les chemins file:// à partir du dossier de la configuration comme le fait promptfoo, vérifie la casse exacte des lettres, ne lit que l'en-tête des fichiers de tests CSV pour y chercher les colonnes __expected, et considère comme non secrets les modèles {{ env.NAME }}, les noms apiKeyEnvar, les espaces réservés de la documentation et les clés de serveurs locaux. Il n'exécute jamais promptfoo, un fournisseur, un script ou une évaluation, et ne contacte jamais l'API d'un modèle. Il renvoie BLOCK, REVIEW ou NOT FLAGGED, avec le fichier, la ligne, la raison et une approche plus sûre. Les secrets ne sont jamais affichés.

Ce qui est vérifié

BLOCK (à corriger avant la mise en production)

• P01 : clés API, jetons, mots de passe et clés privées écrits dans une configuration ou dans un fichier qu'elle charge : apiKey de fournisseur et autres champs secrets, entrées env:, en-têtes d'identification, blocs auth, clés TLS ou de signature, mots de passe dans les URL, et valeurs ayant la forme de vraies clés de fournisseur n'importe où, prompts et variables de test compris
• P02 : références file:// vers des prompts, des fournisseurs, des fichiers ou globs de tests, des fichiers de variables, des scripts d'assertion ou des transformations qui n'existent pas, ou qui n'existent qu'avec une casse différente
• P03 : fournisseurs qui envoient des identifiants à un hôte distant en http:// ou ws:// simple

REVIEW (à vérifier avant la publication)

• P11 : évaluations sans aucune assertion, et tests sans assertions dans une liste où les autres en ont
• P12 : vérifications qui ne peuvent pas échouer : seuil 0 sur des assertions à score minimal ou des assert-sets, seuil de test à 0, poids 0 sur toutes les assertions, valeurs contains vides, expressions régulières qui acceptent tout, vérifications javascript ou python qui renvoient simplement true
• P13 : assertions évaluées par un modèle (llm-rubric, factuality, g-eval, similar et autres) sans évaluateur fixé, et vérifications similar dont l'évaluateur n'a pas de modèle d'embedding
• P14 : partage des résultats activé dans la configuration (sharing: true, un bloc sharing, commandLineOptions.share), avec la correction qui arrête réellement les envois : sharing: false
• P15 : code de fournisseur, d'assertion, de variable ou d'extension chargé depuis un chemin absolu ou depuis l'extérieur du projet, et fournisseurs exec: qui lancent un programme par chemin absolu
• P16 : variables de test au nom de secret avec des valeurs littérales, adresses e-mail, numéros de carte de paiement et numéros de sécurité sociale américains dans les variables, et clés de fournisseur copiées dans env avec {{ env.NAME }}
• P17 : tests ayant la même description, ou les mêmes variables et assertions, dans une même liste
• P18 : types d'assertion mal orthographiés (contain, llm_rubric, json) que promptfoo rejette comme inconnus

Contenu fourni

• Le scanner (Python 3.9+, bibliothèque standard uniquement)
• Un guide des règles avec la raison, l'approche plus sûre et la source officielle promptfoo pour chaque règle
• Un exemple d'évaluation risquée et un exemple sûr (configuration, fichier de tests et prompt), ainsi que le vrai rapport produit par le scanner sur l'exemple risqué

Limites

Il ne lit que les configurations YAML et JSON : les fichiers promptfooconfig.js et .ts, les options de ligne de commande et les valeurs fournies par l'environnement à l'exécution ne sont pas connus. Les fichiers qu'un script de préparation télécharge ou qu'un hook écrit avant l'évaluation sont signalés comme manquants tant qu'ils n'existent pas. La détection des données personnelles ne couvre que les adresses e-mail, les numéros de carte et les numéros de sécurité sociale américains. Les exemples officiels sans assertions ou avec l'évaluateur par défaut reçoivent P11 ou P13 volontairement. NOT FLAGGED n'est pas une garantie.

Contenu de l'archive

Un fichier ZIP de 17 fichiers : SKILL.md, le scanner dans scripts/ (7 fichiers Python), references/rules.md (chaque règle avec sa raison et son approche plus sûre) et examples/ (7 fichiers d'exemple plus report.md, la vraie sortie du scanner sur l'exemple risqué).

Utilisation : Il s'agit d'un skill d'agent : un dossier contenant un fichier SKILL.md et des scripts Python qu'un agent de programmation IA comme Claude Code, Cursor ou Codex CLI peut exécuter. Décompressez-le dans le dossier des skills de votre agent (pour Claude Code : ~/.claude/skills/), puis demandez à votre agent de vérifier votre projet. Les scripts fonctionnent aussi seuls avec Python 3.9 ou plus récent, sans rien à installer. Ils se contentent de lire vos fichiers : aucun accès réseau, et rien n'est envoyé nulle part.