CLI-инструменты
AI Crawler Audit Kit – Обнаружение AI-ботов, соответствие robots.txt и HTML-отчёты
Анализируйте трафик сайта, выявляйте AI-краулеры, обнаруживайте нарушения в файле robots.txt и потенциально поддельных ботов, а также генерируйте подробные HTML-, JSON- или терминальные отчёты с помощью этого лёгкого набора инструментов на Python.
Что вы получите: 2 файла · 163.25 KB · ZIP
Варианты покупкиПревью
Открыть превью (PDF)Описание товара
Возьмите под контроль видимость AI-краулеров на вашем сайте с помощью набора инструментов AI Crawler Audit Kit.
Этот легкий инструмент на Python помогает владельцам сайтов и разработчикам понять, как обходчики AI взаимодействуют с их сайтами. Он анализирует журналы доступа к серверу, идентифицирует различные категории AI-краулеров, проверяет соответствие правилам robots.txt и помечает потенциально поддельных ботов.
Независимо от того, хотите ли вы отслеживать краулеры для обучения AI, понимать трафик от AI-поисковиков или выявлять ботов, получающих доступ к ограниченным URL, этот набор инструментов предоставляет ценные сведения через детальные отчеты.
Ключевые функции
Обнаружение AI-краулеров – идентифицируйте краулеры для обучения AI, индексаторы поиска, извлекатели по запросу пользователя и других AI-ботов.
Анализ трафика – отслеживайте запросы, ошибки, использование пропускной способности, запрашиваемые URL и суточные тенденции трафика.
Соответствие robots.txt – выявляйте краулеры, обращающиеся к URL, запрещенным правилами вашего robots.txt.
Обнаружение поддельных ботов – помечайте запросы, претендующие на принадлежность к поддерживаемым краулерам, но исходящие из IP-адресов вне заданных диапазонов.
Проверка политики – обзор того, как конфигурация robots.txt влияет на разных AI-краулеров.
Генератор robots.txt – генерируйте правила для блокировки выбранных категорий AI-краулеров или конкретных ботов.
Несколько форматов отчетов – экспорт результатов в HTML, JSON или вывод в терминале.
Что входит
Python-скрипт аудита (aibot_audit.py)
Пример журналов доступа
Пример конфигурации robots.txt
Пример файла диапазонов IP для GPTBot
Готовый HTML-демо-отчет
Юнит-тесты
Документация README
Файл лицензии
Требования
Python 3.8 или новее
Не требуется внешних зависимостей Python
Совместим с Linux, macOS и Windows
Для кого это
Владельцы сайтов
Веб-разработчики
Системные администраторы
SEO-профессионалы
Любители веб-безопасности
Важно
Этот инструмент анализирует журналы сервера и определяет активность краулеров на основе доступной информации User-Agent и заданных диапазонов IP. Верификация IP доступна только для ботов с поддерживаемыми опубликованными диапазонами IP. robots.txt является добровольным, поэтому фактическое принуждение требует правил сервера или CDN.
Получайте лучшую видимость активности AI-краулеров на вашем сайте с помощью набора AI Crawler Audit Kit.
Что вы получите
2 файла · 163.25 KB
- ai-crawler-audit-kit-v1.0.0.zipZIP · 152.48 KB
- sample-report.htmlHTML · 10.77 KB
CLI-инструменты
AI Crawler Audit Kit – Обнаружение AI-ботов, соответствие robots.txt и HTML-отчёты
Анализируйте трафик сайта, выявляйте AI-краулеры, обнаруживайте нарушения в файле robots.txt и потенциально поддельных ботов, а также генерируйте подробные HTML-, JSON- или терминальные отчёты с помощью этого лёгкого набора инструментов на Python.
Бесплатное демо, покупка не нужна
Включено в Getly ProПолучить Pro
Частые вопросы
Доступ открывается сразу?
Да. Это цифровой товар - скачать его можно сразу после оплаты, прямо из своей библиотеки.
Можно ли использовать в коммерческих проектах?
Только для личного использования. Пользуйтесь сами - не в работе, которую продаёте или сдаёте клиенту, - и не перепродавайте и не распространяйте файл.
Какие условия возврата?
Запросить возврат можно в течение 30 дней. Если что-то не так, оформите заявку в своём заказе - её рассмотрит команда Getly.
Какие форматы и размеры файлов я получу?
Вы скачаете 2 файла - ZIP, HTML - всего 163.25 KB.
Обновления бесплатны?
Да - когда продавец выпускает новую версию, вы можете бесплатно скачать актуальные файлы из своей библиотеки. Последние изменения смотрите в истории версий.
Цена
$19.00

