Перейти к основному содержимому

Меню команд

Перейти на страницу или искать в каталоге

Размеченные датасеты

Корпус качественных технических ссылок - 215 061 проверенная запись о веб-страницах

215 061 запись метаданных URL с arXiv, GitHub, Wikipedia и Stack Overflow, проверенная по цитатам: оценки качества от ИИ, ключевые слова и документированная методология. JSONL.

$39.00

Что вы получите: 1 файл · 51.49 MB · ZIP

Варианты покупки

Описание товара

# Корпус качественных технических ссылок - 215 061 проверенная запись о веб-страницах

Комплект поставки: ZIP-архив с файлом данных JSONL (сжатым с помощью zstd), LICENSE, руководством для покупателя (README) и методологией оценки (METHODOLOGY.md). Мгновенное скачивание.

## Что вы получите

Метаданные 215 061 англоязычной технической веб-страницы: проверенная по цитатам часть корпуса из 225 852 записей. Каждая запись содержит URL, домен, тип источника, вердикт LLM-оценщика («содержательная страница или заготовка») с кратким письменным обоснованием и 10–15 ключевых слов.

Записи также содержат page_topic_hint - тему страницы, извлечённую по правилам (категории arXiv, например «arxiv: Информатика > Машинное обучение»). Поле заполнено примерно у 22% записей; у остальных указано техническое значение-заглушка. Для тематической фильтрации используйте keywords, которые есть в каждой записи.

Одна запись JSONL (сокращена до основных полей; полные записи содержат 16 полей: pid, slug, theme, url, domain, tap, source, track, worthy, reason, keywords, phrases, entities, brands_products, quotes_verified, page_topic_hint):

```json

{

"pid": "kv_cache_llm_05509c8977",

"url": "https://arxiv.org/abs/2607.20495",

"domain": "arxiv.org",

"tap": "arxiv",

"worthy": true,

"reason": "Содержательная страница статьи на arXiv с полной аннотацией о кэшировании с учётом рабочей нагрузки...",

"keywords": ["KV-кэш", "инференс LLM", "политика вытеснения"],

"page_topic_hint": "arxiv: Информатика > Машинное обучение",

"quotes_verified": true

}

```

## Для чего подходит

- Обучение классификатора качества страниц: 215 тыс. размеченных примеров (содержательная страница или заготовка/шаблонный текст/404/реклама) с обоснованием для каждой записи

- Начальный список для обхода сайтов в RAG и ИИ-поиске: действующие URL содержательных технических страниц, уже прошедшие фильтрацию

- Фильтры отбора перспективных URL для SEO-инструментов

## Источники и состав

- 1 899 уникальных доменов в наборе данных; крупнейшие источники по числу записей: github.com 28.9%, arxiv.org 28.5%, en.wikipedia.org 21.3%, stackoverflow.com 17.7%, datatracker.ietf.org 2.3%, остальные ~1.5% (EUR-Lex, ICLR, Ethresear.ch и различные технические блоги)

- 100% https, 99,98% уникальных URL, срез данных: ноябрь 2026 года

- Проверки качества: каждая запись сверена с текстом страницы (quotes_verified: true во всех 215 061 записи); записи с нарушенной привязкой оценки к странице исключены; выборочная проверка 25 случайных URL: 21 из 25 доступен, все доступные страницы содержательные

## Что намеренно НЕ включено

- Тексты страниц (только метаданные)

- Дословные цитаты со страниц (для соблюдения авторских прав)

- Исходное поле поискового запроса для сбора данных: это отправная точка поиска, а не классификация. Для тематической фильтрации используйте keywords (есть в каждой записи); page_topic_hint добавляет категории arXiv, где они доступны (~22% записей)

## Честно об ограничениях

- Вердикты сформированы моделью (GLM-5.3-flash, температура 0,2, промпт задокументирован); промпт рассчитан на технический корпус, однако оценщик принял и часть содержательных нетехнических страниц (~15–20% записей с worthy=true). Их можно отфильтровать по тексту обоснования; методология повторной классификации включена в комплект

- Входной текст ограничен 12 000 символами на страницу: аннотации описывают начальную часть каждой страницы

- page_topic_hint заполнено примерно у 22% записей (в основном категории arXiv); у остальных указано техническое значение-заглушка

- Ссылки устаревают; срез данных сделан в ноябре 2026 года

## Формат

- clean-verified.jsonl.zst: 215 061 запись, проверенная по цитатам. Это файл данных в данном комплекте (51,5 МБ в сжатом виде); в комплект также входят LICENSE, руководство для покупателя (README) и METHODOLOGY.md

- Полная версия корпуса (225 852 записи, каждая с флагом quotes_verified) доступна по запросу: напишите в чате товара

- JSONL, одна запись на строку, фрейм zstd; открывается с помощью библиотеки zstd для любого языка программирования

- Бесплатная выборка из 4 000 записей на Hugging Face (ссылка в карточке товара)

Что вы получите

1 файл · 51.49 MB

  • getly-package.zipZIP · 51.49 MB
Попробовать бесплатно

Пробная версия с huggingface.co

ЛицензияТолько личное использование
Опубликовано15 нояб. 2026 г.
Размер файла51.49 MB
Формат файлаZIP
Версияv1.0

Теги

dataseturl metadataragquality filteringllm judgeweb crawldata curationarxivgithubsearch
D
Defmass Studio

Частые вопросы

Доступ открывается сразу?

Да. Это цифровой товар - скачать его можно сразу после оплаты, прямо из своей библиотеки.

Можно ли использовать в коммерческих проектах?

Только для личного использования. Пользуйтесь сами - не в работе, которую продаёте или сдаёте клиенту, - и не перепродавайте и не распространяйте файл.

Какие условия возврата?

Запросить возврат можно в течение 30 дней. Если что-то не так, оформите заявку в своём заказе - её рассмотрит команда Getly.

Какие форматы и размеры файлов я получу?

Вы скачаете 1 файл - ZIP - всего 51.49 MB.

Обновления бесплатны?

Да - когда продавец выпускает новую версию, вы можете бесплатно скачать актуальные файлы из своей библиотеки. Последние изменения смотрите в истории версий.

Цена

$39.00