Zum Hauptinhalt springen

Befehlsmenü

Zu einer Seite springen oder den Katalog durchsuchen

Beschriftete Datensätze

Korpus zur Qualität technischer Links - 215.061 geprüfte Webseiten-Datensätze

215.061 anhand von Zitaten geprüfte URL-Metadatensätze von arXiv, GitHub, Wikipedia und Stack Overflow, mit KI-Qualitätsurteilen, Keywords und dokumentierter Methodik. JSONL.

$39.00

Das bekommst du: 1 Datei · 51.49 MB · ZIP

Kaufoptionen ansehen

Produktbeschreibung

# Korpus zur Qualität technischer Links - 215.061 geprüfte Webseiten-Datensätze

Lieferumfang: ZIP-Paket mit der JSONL-Datendatei (zstd-komprimiert), LICENSE, Käuferleitfaden (README) und der Bewertungsmethodik (METHODOLOGY.md). Sofortiger Download.

## Das erhalten Sie

Metadaten zu 215.061 englischsprachigen technischen Webseiten: der anhand von Zitaten geprüfte Teil eines Korpus mit 225.852 Datensätzen. Jeder Datensatz enthält URL, Domain, Quellentyp, ein Urteil eines LLM-Bewerters („inhaltlich gehaltvolle Seite oder Seitenstub“) mit einer kurzen schriftlichen Begründung sowie 10–15 Keywords.

Die Datensätze enthalten außerdem page_topic_hint - ein regelbasiert extrahiertes Seitenthema (arXiv-Kategorien wie „arxiv: Informatik > Maschinelles Lernen“). Das Feld ist bei etwa 22% der Datensätze ausgefüllt; die übrigen enthalten einen technischen Platzhalter. Verwenden Sie für die thematische Filterung keywords, die in jedem Datensatz vorhanden sind.

Ein JSONL-Datensatz (auf die wichtigsten Felder gekürzt; vollständige Datensätze haben 16 Felder: pid, slug, theme, url, domain, tap, source, track, worthy, reason, keywords, phrases, entities, brands_products, quotes_verified, page_topic_hint):

```json

{

"pid": "kv_cache_llm_05509c8977",

"url": "https://arxiv.org/abs/2607.20495",

"domain": "arxiv.org",

"tap": "arxiv",

"worthy": true,

"reason": "Eine gehaltvolle arXiv-Artikelseite mit vollständiger Zusammenfassung zu lastabhängigem Caching...",

"keywords": ["KV-Cache", "LLM-Inferenz", "Verdrängungsstrategie"],

"page_topic_hint": "arxiv: Informatik > Maschinelles Lernen",

"quotes_verified": true

}

```

## Einsatzmöglichkeiten

- Training eines Klassifikators für Seitenqualität: 215.000 annotierte Beispiele (gehaltvolle Seite oder Stub/Standardtext/404/Werbung) mit Begründung pro Datensatz

- Startliste für das Crawling im Rahmen von RAG und KI-Suche: bereits gefilterte, erreichbare URLs gehaltvoller technischer Seiten

- Filter zur Ermittlung geeigneter URLs für SEO-Tools

## Quellen und Zusammensetzung

- 1.899 unterschiedliche Domains im Datensatz; größte Quellen nach Anzahl der Datensätze: github.com 28.9%, arxiv.org 28.5%, en.wikipedia.org 21.3%, stackoverflow.com 17.7%, datatracker.ietf.org 2.3%, weitere ~1.5% (EUR-Lex, ICLR, Ethresear.ch und verschiedene Technikblogs)

- 100% https, 99,98% eindeutige URLs, Datenstand: November 2026

- Qualitätsprüfungen: jeder Datensatz wurde mit dem Seitentext abgeglichen (quotes_verified: true in allen 215.061 Datensätzen); Datensätze mit fehlerhafter Zuordnung zwischen Bewertung und Seite wurden ausgeschlossen; Live-Stichprobe von 25 zufälligen URLs: 21/25 erreichbar, alle erreichbaren Seiten inhaltlich gehaltvoll

## Was bewusst NICHT enthalten ist

- Seitentexte (nur Metadaten)

- Wörtliche Zitate aus den Seiten (zur Wahrung des Urheberrechts)

- Das ursprüngliche Feld der Suchanfrage zur Datenerfassung: Es dient als Ausgangspunkt für die Suche, nicht als Klassifizierung. Verwenden Sie für die thematische Filterung keywords (in jedem Datensatz vorhanden); page_topic_hint ergänzt arXiv-Kategorien, sofern verfügbar (~22% der Datensätze)

## Offen benannte Einschränkungen

- Die Urteile sind maschinell erzeugt (GLM-5.3-flash, Temperatur 0,2, dokumentierter Prompt); der Prompt ist auf einen technischen Korpus ausgerichtet, der Bewerter hat jedoch auch einige gehaltvolle nichttechnische Seiten akzeptiert (~15–20% der Einträge mit worthy=true). Diese lassen sich anhand der Begründung filtern; die Methodik zur erneuten Klassifizierung ist enthalten

- Eingabebegrenzung auf 12.000 Zeichen pro Seite: Die Annotationen beschreiben den Anfang jeder Seite

- page_topic_hint ist bei etwa 22% der Datensätze ausgefüllt (hauptsächlich arXiv-Kategorien); die übrigen enthalten einen technischen Platzhalter

- Links veralten; Datenstand November 2026

## Format

- clean-verified.jsonl.zst: 215.061 anhand von Zitaten geprüfte Datensätze, die Datendatei dieses Pakets (51,5 MB komprimiert); das Paket enthält außerdem LICENSE, den Käuferleitfaden (README) und METHODOLOGY.md

- Der vollständige Korpus (225.852 Datensätze, jeweils mit dem Flag quotes_verified) ist auf Anfrage erhältlich: Fragen Sie im Produktchat nach

- JSONL, ein Datensatz pro Zeile, zstd-Frame; lässt sich mit einer zstd-Anbindung für jede Programmiersprache öffnen

- Kostenlose Stichprobe mit 4.000 Datensätzen auf Hugging Face (Link in der Produktkarte)

Das bekommst du

1 Datei · 51.49 MB

  • getly-package.zipZIP · 51.49 MB
Kostenlos testen

Kostenlose Testversion von huggingface.co

LizenzNur private Nutzung
Veröffentlicht15. Nov. 2026
Dateigröße51.49 MB
DateiformatZIP
Versionv1.0

Tags

dataseturl metadataragquality filteringllm judgeweb crawldata curationarxivgithubsearch
D
Defmass Studio

Häufige Fragen

Erhalte ich sofort Zugriff?

Ja. Dies ist ein digitales Produkt - du kannst es direkt nach dem Kauf aus deiner Bibliothek herunterladen.

Darf ich es für kommerzielle Projekte nutzen?

Nur für den privaten Gebrauch. Nutze es für dich - nicht in Arbeiten, die du verkaufst oder an Kunden lieferst - und verkaufe oder verbreite die Datei nicht weiter.

Wie sind die Rückerstattungsbedingungen?

Du kannst innerhalb von 30 Tagen eine Rückerstattung anfordern. Stimmt etwas nicht, fordere sie bei deiner Bestellung an - das Getly-Team prüft sie.

Welche Dateiformate und -größen erhalte ich?

Du lädst 1 Datei herunter - ZIP - insgesamt 51.49 MB.

Erhalte ich kostenlose Updates?

Ja - wenn der Verkäufer eine neue Version veröffentlicht, kannst du die aktuellen Dateien kostenlos erneut aus deiner Bibliothek herunterladen. Aktuelle Änderungen findest du im Changelog.

Preis

$39.00