Beschriftete Datensätze
Korpus zur Qualität technischer Links - 215.061 geprüfte Webseiten-Datensätze
215.061 anhand von Zitaten geprüfte URL-Metadatensätze von arXiv, GitHub, Wikipedia und Stack Overflow, mit KI-Qualitätsurteilen, Keywords und dokumentierter Methodik. JSONL.
Das bekommst du: 1 Datei · 51.49 MB · ZIP
Kaufoptionen ansehenProduktbeschreibung
# Korpus zur Qualität technischer Links - 215.061 geprüfte Webseiten-Datensätze
Lieferumfang: ZIP-Paket mit der JSONL-Datendatei (zstd-komprimiert), LICENSE, Käuferleitfaden (README) und der Bewertungsmethodik (METHODOLOGY.md). Sofortiger Download.
## Das erhalten Sie
Metadaten zu 215.061 englischsprachigen technischen Webseiten: der anhand von Zitaten geprüfte Teil eines Korpus mit 225.852 Datensätzen. Jeder Datensatz enthält URL, Domain, Quellentyp, ein Urteil eines LLM-Bewerters („inhaltlich gehaltvolle Seite oder Seitenstub“) mit einer kurzen schriftlichen Begründung sowie 10–15 Keywords.
Die Datensätze enthalten außerdem page_topic_hint - ein regelbasiert extrahiertes Seitenthema (arXiv-Kategorien wie „arxiv: Informatik > Maschinelles Lernen“). Das Feld ist bei etwa 22% der Datensätze ausgefüllt; die übrigen enthalten einen technischen Platzhalter. Verwenden Sie für die thematische Filterung keywords, die in jedem Datensatz vorhanden sind.
Ein JSONL-Datensatz (auf die wichtigsten Felder gekürzt; vollständige Datensätze haben 16 Felder: pid, slug, theme, url, domain, tap, source, track, worthy, reason, keywords, phrases, entities, brands_products, quotes_verified, page_topic_hint):
```json
{
"pid": "kv_cache_llm_05509c8977",
"url": "https://arxiv.org/abs/2607.20495",
"domain": "arxiv.org",
"tap": "arxiv",
"worthy": true,
"reason": "Eine gehaltvolle arXiv-Artikelseite mit vollständiger Zusammenfassung zu lastabhängigem Caching...",
"keywords": ["KV-Cache", "LLM-Inferenz", "Verdrängungsstrategie"],
"page_topic_hint": "arxiv: Informatik > Maschinelles Lernen",
"quotes_verified": true
}
```
## Einsatzmöglichkeiten
- Training eines Klassifikators für Seitenqualität: 215.000 annotierte Beispiele (gehaltvolle Seite oder Stub/Standardtext/404/Werbung) mit Begründung pro Datensatz
- Startliste für das Crawling im Rahmen von RAG und KI-Suche: bereits gefilterte, erreichbare URLs gehaltvoller technischer Seiten
- Filter zur Ermittlung geeigneter URLs für SEO-Tools
## Quellen und Zusammensetzung
- 1.899 unterschiedliche Domains im Datensatz; größte Quellen nach Anzahl der Datensätze: github.com 28.9%, arxiv.org 28.5%, en.wikipedia.org 21.3%, stackoverflow.com 17.7%, datatracker.ietf.org 2.3%, weitere ~1.5% (EUR-Lex, ICLR, Ethresear.ch und verschiedene Technikblogs)
- 100% https, 99,98% eindeutige URLs, Datenstand: November 2026
- Qualitätsprüfungen: jeder Datensatz wurde mit dem Seitentext abgeglichen (quotes_verified: true in allen 215.061 Datensätzen); Datensätze mit fehlerhafter Zuordnung zwischen Bewertung und Seite wurden ausgeschlossen; Live-Stichprobe von 25 zufälligen URLs: 21/25 erreichbar, alle erreichbaren Seiten inhaltlich gehaltvoll
## Was bewusst NICHT enthalten ist
- Seitentexte (nur Metadaten)
- Wörtliche Zitate aus den Seiten (zur Wahrung des Urheberrechts)
- Das ursprüngliche Feld der Suchanfrage zur Datenerfassung: Es dient als Ausgangspunkt für die Suche, nicht als Klassifizierung. Verwenden Sie für die thematische Filterung keywords (in jedem Datensatz vorhanden); page_topic_hint ergänzt arXiv-Kategorien, sofern verfügbar (~22% der Datensätze)
## Offen benannte Einschränkungen
- Die Urteile sind maschinell erzeugt (GLM-5.3-flash, Temperatur 0,2, dokumentierter Prompt); der Prompt ist auf einen technischen Korpus ausgerichtet, der Bewerter hat jedoch auch einige gehaltvolle nichttechnische Seiten akzeptiert (~15–20% der Einträge mit worthy=true). Diese lassen sich anhand der Begründung filtern; die Methodik zur erneuten Klassifizierung ist enthalten
- Eingabebegrenzung auf 12.000 Zeichen pro Seite: Die Annotationen beschreiben den Anfang jeder Seite
- page_topic_hint ist bei etwa 22% der Datensätze ausgefüllt (hauptsächlich arXiv-Kategorien); die übrigen enthalten einen technischen Platzhalter
- Links veralten; Datenstand November 2026
## Format
- clean-verified.jsonl.zst: 215.061 anhand von Zitaten geprüfte Datensätze, die Datendatei dieses Pakets (51,5 MB komprimiert); das Paket enthält außerdem LICENSE, den Käuferleitfaden (README) und METHODOLOGY.md
- Der vollständige Korpus (225.852 Datensätze, jeweils mit dem Flag quotes_verified) ist auf Anfrage erhältlich: Fragen Sie im Produktchat nach
- JSONL, ein Datensatz pro Zeile, zstd-Frame; lässt sich mit einer zstd-Anbindung für jede Programmiersprache öffnen
- Kostenlose Stichprobe mit 4.000 Datensätzen auf Hugging Face (Link in der Produktkarte)
Das bekommst du
1 Datei · 51.49 MB
- getly-package.zipZIP · 51.49 MB
Beschriftete Datensätze
Korpus zur Qualität technischer Links - 215.061 geprüfte Webseiten-Datensätze
215.061 anhand von Zitaten geprüfte URL-Metadatensätze von arXiv, GitHub, Wikipedia und Stack Overflow, mit KI-Qualitätsurteilen, Keywords und dokumentierter Methodik. JSONL.
Kostenlose Testversion von huggingface.co
Tags
Häufige Fragen
Erhalte ich sofort Zugriff?
Ja. Dies ist ein digitales Produkt - du kannst es direkt nach dem Kauf aus deiner Bibliothek herunterladen.
Darf ich es für kommerzielle Projekte nutzen?
Nur für den privaten Gebrauch. Nutze es für dich - nicht in Arbeiten, die du verkaufst oder an Kunden lieferst - und verkaufe oder verbreite die Datei nicht weiter.
Wie sind die Rückerstattungsbedingungen?
Du kannst innerhalb von 30 Tagen eine Rückerstattung anfordern. Stimmt etwas nicht, fordere sie bei deiner Bestellung an - das Getly-Team prüft sie.
Welche Dateiformate und -größen erhalte ich?
Du lädst 1 Datei herunter - ZIP - insgesamt 51.49 MB.
Erhalte ich kostenlose Updates?
Ja - wenn der Verkäufer eine neue Version veröffentlicht, kannst du die aktuellen Dateien kostenlos erneut aus deiner Bibliothek herunterladen. Aktuelle Änderungen findest du im Changelog.
Preis
$39.00



