Jeux de données étiquetés
Corpus de qualité des liens techniques - 215 061 fiches de pages web vérifiées
215 061 fiches de métadonnées d’URL issues d’arXiv, GitHub, Wikipedia et Stack Overflow, vérifiées à partir de citations, avec évaluations de qualité par IA, mots-clés et méthodologie documentée. JSONL.
Ce que vous recevez : 1 fichier · 51.49 MB · ZIP
Voir les options d'achatDescription du produit
# Corpus de qualité des liens techniques - 215 061 fiches de pages web vérifiées
Livraison : archive ZIP contenant le fichier de données JSONL (compressé avec zstd), LICENSE, le guide de l’acheteur (README) et la méthodologie d’évaluation (METHODOLOGY.md). Téléchargement immédiat.
## Ce que vous obtenez
Les métadonnées de 215 061 pages web techniques en anglais : le sous-ensemble vérifié à partir de citations d’un corpus de 225 852 fiches. Chaque fiche comprend une URL, un domaine, un type de source, un verdict d’un évaluateur LLM (« page au contenu substantiel ou ébauche »), une courte justification écrite et 10 à 15 mots-clés.
Les fiches contiennent également page_topic_hint - un thème de page extrait selon des règles (catégories arXiv comme « arxiv: Informatique > Apprentissage automatique »). Ce champ est renseigné pour environ 22 % des fiches ; les autres contiennent une valeur technique de remplacement. Pour filtrer par thème, utilisez keywords, présents dans chaque fiche.
Une fiche JSONL (limitée aux champs principaux ; les fiches complètes comportent 16 champs : pid, slug, theme, url, domain, tap, source, track, worthy, reason, keywords, phrases, entities, brands_products, quotes_verified, page_topic_hint) :
```json
{
"pid": "kv_cache_llm_05509c8977",
"url": "https://arxiv.org/abs/2607.20495",
"domain": "arxiv.org",
"tap": "arxiv",
"worthy": true,
"reason": "Une page d’article arXiv au contenu substantiel, avec un résumé complet sur la mise en cache tenant compte de la charge de travail...",
"keywords": ["cache KV", "inférence de LLM", "politique d’éviction"],
"page_topic_hint": "arxiv: Informatique > Apprentissage automatique",
"quotes_verified": true
}
```
## Cas d’utilisation
- Entraînement d’un classificateur de qualité des pages : 215 000 exemples étiquetés (contenu substantiel ou ébauche/texte standard/404/publicité), avec une justification par fiche
- Liste de départ pour l’exploration web en RAG et en recherche par IA : des URL actives de pages techniques au contenu substantiel, déjà filtrées
- Filtres de prospection d’URL pour les outils SEO
## Sources et composition
- 1 899 domaines distincts dans le jeu de données ; principales sources en nombre de fiches : github.com 28.9%, arxiv.org 28.5%, en.wikipedia.org 21.3%, stackoverflow.com 17.7%, datatracker.ietf.org 2.3%, autres ~1.5% (EUR-Lex, ICLR, Ethresear.ch et divers blogs techniques)
- 100 % https, 99,98 % d’URL uniques, état des données : novembre 2026
- Contrôles qualité : chaque fiche a été recoupée avec le texte de la page (quotes_verified: true pour les 215 061 fiches) ; les fiches dont l’évaluation était associée à la mauvaise page ont été exclues ; contrôle en direct de 25 URL aléatoires : 21/25 accessibles, toutes avec un contenu substantiel
## Ce qui n’est PAS inclus (par choix)
- Les textes des pages (métadonnées uniquement)
- Les citations textuelles des pages (par respect du droit d’auteur)
- Le champ d’origine de la requête de collecte : il sert de point de départ à la recherche, et non de classification. Pour filtrer par thème, utilisez keywords (présents dans chaque fiche) ; page_topic_hint ajoute les catégories arXiv lorsqu’elles sont disponibles (~22 % des fiches)
## Les limites, en toute transparence
- Les verdicts sont générés automatiquement (GLM-5.3-flash, température 0,2, prompt documenté) ; le prompt vise un corpus technique, mais l’évaluateur a aussi accepté certaines pages non techniques au contenu substantiel (~15–20 % des fiches avec worthy=true). Vous pouvez les filtrer à partir du texte de justification ; la méthodologie de reclassement est incluse
- Entrée limitée à 12 000 caractères par page : les annotations décrivent le début de chaque page
- page_topic_hint est renseigné pour environ 22 % des fiches (principalement des catégories arXiv) ; les autres contiennent une valeur technique de remplacement
- Les liens vieillissent ; état des données datant de novembre 2026
## Format
- clean-verified.jsonl.zst : 215 061 fiches vérifiées à partir de citations, le fichier de données de ce pack (51,5 Mo compressé) ; le pack comprend également LICENSE, le guide de l’acheteur (README) et METHODOLOGY.md
- Le corpus complet (225 852 fiches, chacune avec l’indicateur quotes_verified) peut être fourni sur demande : contactez le vendeur via le chat du produit
- JSONL, une fiche par ligne, trame zstd ; s’ouvre avec une bibliothèque zstd pour n’importe quel langage de programmation
- Échantillon gratuit de 4 000 fiches sur Hugging Face (lien dans la fiche produit)
Ce que vous recevez
1 fichier · 51.49 MB
- getly-package.zipZIP · 51.49 MB
Jeux de données étiquetés
Corpus de qualité des liens techniques - 215 061 fiches de pages web vérifiées
215 061 fiches de métadonnées d’URL issues d’arXiv, GitHub, Wikipedia et Stack Overflow, vérifiées à partir de citations, avec évaluations de qualité par IA, mots-clés et méthodologie documentée. JSONL.
Essai gratuit de huggingface.co
Tags
Questions fréquentes
Ai-je accès au produit immédiatement ?
Oui. C'est un produit numérique : vous pouvez le télécharger juste après le paiement, directement depuis votre bibliothèque.
Puis-je l'utiliser pour des projets commerciaux ?
Usage personnel uniquement. Utilisez-le pour vous, pas dans un travail que vous vendez ou remettez à un client, et ne revendez ni ne redistribuez le fichier.
Quelle est votre politique de remboursement ?
Vous pouvez demander un remboursement dans un délai de 30 jours. Si quelque chose ne va pas, demandez-le depuis votre commande et l'équipe Getly l'examine.
Quels formats et quelles tailles de fichier vais-je recevoir ?
Vous téléchargerez 1 fichier - ZIP - 51.49 MB au total.
Ai-je droit aux mises à jour gratuites ?
Oui : quand le vendeur publie une nouvelle version, vous pouvez retélécharger les derniers fichiers depuis votre bibliothèque sans frais. Consultez le journal des modifications pour les dernières mises à jour.
Prix
$39.00



