Перейти до основного вмісту

Меню команд

Перейдіть на сторінку або пошукайте в каталозі

Розмічені датасети

Корпус якісних технічних посилань - 215 061 перевірений запис про вебсторінки

215 061 запис метаданих URL з arXiv, GitHub, Wikipedia та Stack Overflow, перевірений за цитатами: оцінки якості від ШІ, ключові слова та задокументована методологія. JSONL.

$39.00

Що ви отримаєте: 1 файл · 51.49 MB · ZIP

Переглянути варіанти купівлі

Опис товару

# Корпус якісних технічних посилань - 215 061 перевірений запис про вебсторінки

Комплект постачання: ZIP-архів із файлом даних JSONL (стисненим за допомогою zstd), LICENSE, посібником для покупця (README) та методологією оцінювання (METHODOLOGY.md). Миттєве завантаження.

## Що ви отримаєте

Метадані 215 061 англомовної технічної вебсторінки: перевірена за цитатами частина корпусу з 225 852 записів. Кожен запис містить URL, домен, тип джерела, висновок LLM-оцінювача («змістовна сторінка чи заготовка») з коротким письмовим обґрунтуванням і 10–15 ключових слів.

Записи також містять page_topic_hint - тему сторінки, визначену за правилами (категорії arXiv, наприклад «arxiv: Інформатика > Машинне навчання»). Поле заповнене приблизно у 22% записів; решта містить технічне значення-заповнювач. Для тематичної фільтрації використовуйте keywords, які є в кожному записі.

Один запис JSONL (скорочений до основних полів; повні записи містять 16 полів: pid, slug, theme, url, domain, tap, source, track, worthy, reason, keywords, phrases, entities, brands_products, quotes_verified, page_topic_hint):

```json

{

"pid": "kv_cache_llm_05509c8977",

"url": "https://arxiv.org/abs/2607.20495",

"domain": "arxiv.org",

"tap": "arxiv",

"worthy": true,

"reason": "Змістовна сторінка статті на arXiv з повною анотацією про кешування з урахуванням робочого навантаження...",

"keywords": ["KV-кеш", "інференс LLM", "політика витіснення"],

"page_topic_hint": "arxiv: Інформатика > Машинне навчання",

"quotes_verified": true

}

```

## Для чого підходить

- Навчання класифікатора якості сторінок: 215 тис. розмічених прикладів (змістовна сторінка чи заготовка/шаблонний текст/404/реклама) з обґрунтуванням для кожного запису

- Початковий список для обходу сайтів у RAG та ШІ-пошуку: чинні URL змістовних технічних сторінок, що вже пройшли фільтрацію

- Фільтри відбору перспективних URL для SEO-інструментів

## Джерела та склад

- 1 899 унікальних доменів у наборі даних; найбільші джерела за кількістю записів: github.com 28.9%, arxiv.org 28.5%, en.wikipedia.org 21.3%, stackoverflow.com 17.7%, datatracker.ietf.org 2.3%, інші ~1.5% (EUR-Lex, ICLR, Ethresear.ch та різні технічні блоги)

- 100% https, 99,98% унікальних URL, зріз даних: листопад 2026 року

- Перевірки якості: кожен запис звірено з текстом сторінки (quotes_verified: true в усіх 215 061 записі); записи з порушеним зв’язком між оцінкою та сторінкою вилучено; вибіркова перевірка 25 випадкових URL: 21 із 25 доступний, усі доступні сторінки змістовні

## Що навмисно НЕ включено

- Тексти сторінок (лише метадані)

- Дослівні цитати зі сторінок (задля дотримання авторських прав)

- Початкове поле пошукового запиту для збору даних: це відправна точка пошуку, а не класифікація. Для тематичної фільтрації використовуйте keywords (є в кожному записі); page_topic_hint додає категорії arXiv, де вони доступні (~22% записів)

## Чесно про обмеження

- Висновки сформовано моделлю (GLM-5.3-flash, температура 0,2, промпт задокументовано); промпт орієнтований на технічний корпус, проте оцінювач прийняв і деякі змістовні нетехнічні сторінки (~15–20% записів із worthy=true). Їх можна відфільтрувати за текстом обґрунтування; методологія повторної класифікації входить до комплекту

- Вхідний текст обмежено 12 000 символами на сторінку: анотації описують початкову частину кожної сторінки

- page_topic_hint заповнене приблизно у 22% записів (переважно категорії arXiv); решта містить технічне значення-заповнювач

- Посилання застарівають; зріз даних зроблено в листопаді 2026 року

## Формат

- clean-verified.jsonl.zst: 215 061 запис, перевірений за цитатами. Це файл даних у цьому комплекті (51,5 МБ у стисненому вигляді); до комплекту також входять LICENSE, посібник для покупця (README) та METHODOLOGY.md

- Повна версія корпусу (225 852 записи, кожен із прапорцем quotes_verified) доступна за запитом: напишіть у чаті товару

- JSONL, один запис на рядок, фрейм zstd; відкривається за допомогою бібліотеки zstd для будь-якої мови програмування

- Безкоштовна вибірка з 4 000 записів на Hugging Face (посилання в картці товару)

Що ви отримаєте

1 файл · 51.49 MB

  • getly-package.zipZIP · 51.49 MB
Спробувати безкоштовно

Безкоштовна пробна версія від huggingface.co

ЛіцензіяЛише особисте використання
Опубліковано15 лист. 2026 р.
Розмір файлу51.49 MB
Формат файлуZIP
Версіяv1.0

Теги

dataseturl metadataragquality filteringllm judgeweb crawldata curationarxivgithubsearch
D
Defmass Studio

Поширені запитання

Чи отримаю я доступ одразу?

Так. Це цифровий товар: ви можете завантажити його одразу після оплати, просто зі своєї бібліотеки.

Чи можна використовувати його в комерційних проєктах?

Лише для особистого використання. Використовуйте для себе, а не в роботі, яку ви продаєте чи передаєте клієнту, і не перепродавайте та не поширюйте файл.

Яка у вас політика повернення коштів?

Ви можете запросити повернення коштів протягом 30 дн. Якщо щось не так, подайте запит зі свого замовлення, і команда Getly його розгляне.

Які формати та розміри файлів я отримаю?

Ви завантажите 1 файл - ZIP - загалом 51.49 MB.

Чи отримую я безкоштовні оновлення?

Так: коли продавець випускає нову версію, ви можете повторно завантажити свіжі файли зі своєї бібліотеки безкоштовно. Останні оновлення дивіться в журналі змін.

Ціна

$39.00