Ключ apiKey, вставленный под провайдером в promptfooconfig.yaml, попадает в git и в каждый сохранённый eval. Шаблон тестов вроде file://tests/*.yml, когда файлы заканчиваются на .yaml, не добавляет ни одного теста, а набор, тесты которого не содержат assert, проходит в CI, что бы ни ответила модель. Этот навык находит такие и другие ошибки конфигурации promptfoo, перечисленные ниже, ещё до коммита или запуска eval, и подсказывает, как исправить каждую из них.

Ваш агент запускает сканер для файлов promptfooconfig.yaml, .yml и .json, других файлов YAML или JSON, которые по содержимому являются конфигурациями promptfoo (например, сгенерированный redteam.yaml), а также файлов тестов, сценариев, провайдеров и defaultTest, которые конфигурация подгружает через file://, включая шаблоны. Он разрешает пути file:// относительно папки конфигурации так же, как promptfoo, проверяет точный регистр букв, читает только заголовок CSV-файлов с тестами в поисках столбцов __expected и не считает секретами шаблоны {{ env.NAME }}, имена apiKeyEnvar, заглушки из документации и ключи для локальных серверов. Он никогда не запускает promptfoo, провайдер, скрипт или eval и никогда не обращается к API модели. Результат: BLOCK, REVIEW или NOT FLAGGED с указанием файла, строки, причины и более безопасного подхода. Секреты никогда не выводятся.

Что проверяется

BLOCK (исправить до выпуска)

• P01: API-ключи, токены, пароли и закрытые ключи, вписанные в конфигурацию или в подгружаемый ею файл: apiKey провайдера и другие секретные поля, записи env:, заголовки с учётными данными, блоки auth, ключи TLS или подписи, пароли в URL, а также значения, похожие на настоящие ключи провайдеров, где угодно, включая промпты и переменные тестов
• P02: ссылки file:// на промпты, провайдеры, файлы или шаблоны тестов, файлы переменных, скрипты проверок или преобразования, которые не существуют или существуют только с другим регистром букв
• P03: провайдеры, отправляющие учётные данные на удалённый хост по обычному http:// или ws://

REVIEW (проверить перед релизом)

• P11: eval-прогоны совсем без проверок, а также тесты без проверок в списке, где у остальных они есть
• P12: проверки, которые не могут провалиться: порог 0 у проверок с минимальной оценкой или у assert-set, порог теста 0, вес 0 у всех проверок, пустые значения contains, регулярные выражения, совпадающие со всем, проверки на javascript или python, которые просто возвращают true
• P13: проверки с оценкой моделью (llm-rubric, factuality, g-eval, similar и другие) без закреплённого оценщика, а также проверки similar, у оценщика которых нет модели эмбеддингов
• P14: общий доступ к результатам, включённый в конфигурации (sharing: true, блок sharing, commandLineOptions.share), с исправлением, которое действительно останавливает загрузку: sharing: false
• P15: код провайдеров, проверок, переменных или расширений, загружаемый по абсолютному пути или из-за пределов проекта, а также провайдеры exec:, запускающие программу по абсолютному пути
• P16: переменные тестов с секретными именами и буквальными значениями, адреса электронной почты, номера платёжных карт и номера социального страхования США в переменных, а также ключи провайдеров, скопированные в env с помощью {{ env.NAME }}
• P17: тесты с одинаковым описанием или одинаковыми переменными и проверками в одном списке
• P18: опечатки в типах проверок (contain, llm_rubric, json), которые promptfoo отклоняет как неизвестные

Что входит в комплект

• Сканер (Python 3.9+, только стандартная библиотека)
• Руководство по правилам с причиной, более безопасным подходом и официальным источником promptfoo для каждого правила
• Рискованный и безопасный примеры eval (конфигурация, файл тестов и промпт), а также реальный отчёт сканера по рискованному примеру

Ограничения

Читаются только конфигурации YAML и JSON: файлы promptfooconfig.js и .ts, флаги командной строки и значения, подставляемые из окружения во время запуска, неизвестны. Файлы, которые скачивает скрипт настройки или записывает хук перед eval, считаются отсутствующими, пока их нет. Поиск персональных данных охватывает только адреса электронной почты, номера карт и номера социального страхования США. Официальные примеры без проверок или с оценщиком по умолчанию намеренно получают P11 или P13. NOT FLAGGED не является гарантией.

Состав

Один ZIP-файл с 17 файлами: SKILL.md, сканер в scripts/ (7 файлов Python), references/rules.md (все правила с причиной и более безопасным подходом) и examples/ (7 файлов примеров плюс report.md, реальный вывод сканера для рискованного примера).

Как использовать: Это навык для агента: папка с файлом SKILL.md и скриптами Python, которые может запускать ИИ-агент для программирования, например Claude Code, Cursor или Codex CLI. Распакуйте архив в папку навыков вашего агента (для Claude Code: ~/.claude/skills/), затем попросите агента проверить ваш проект. Скрипты также работают самостоятельно на Python 3.9 или новее, ничего устанавливать не нужно. Они только читают ваши файлы: никакого доступа к сети, ничего никуда не отправляется.