CV-Parsing-Benchmark: Methodik und offener Datensatz

Genauigkeitsangaben für CV-Parsing sind ohne Messmethode wertlos: Sie hängen davon ab, welche Felder gezählt werden, wie ein Teiltreffer gewertet wird und wie der Datensatz aussieht. Dieser Benchmark legt beides offen — Datensatz und Auswertung. Ergebniszahlen veröffentlichen wir erst, wenn der Lauf tatsächlich durchgelaufen ist.

Aktueller Stand: noch keine Ergebnisse

Der Testaufbau ist fertig und ausführbar. Der Lauf vom 10. August 2026 wurde abgebrochen, weil die Provider-Zugangsdaten in der verwendeten Umgebung nicht gesetzt waren. Das Skript meldet solche Läufe als blocked und erzeugt bewusst keine Ergebniswerte — damit aus einem fehlgeschlagenen Lauf nie versehentlich eine veröffentlichte Zahl wird.

Sobald der Lauf durchläuft, erscheinen Ergebnisdatei und Methodik hier gemeinsam. Bis dahin gilt: Testen Sie mit Ihren eigenen Lebensläufen. Zehn echte Bewerbungen aus Ihrer letzten Ausschreibung sagen mehr als jede Herstellerangabe — auch mehr als unsere.

Der Datensatz

Sechs vollständig synthetische Lebensläufe. Keine echten Bewerberdaten, weder verwendet noch enthalten. Alle Namen, Firmen und Adressen sind erfunden; E-Mail-Domains verwenden .invalid nach RFC 2606 und sind technisch nicht erreichbar.

Die Fälle decken gezielt die Fehlerklassen ab, an denen Parsing scheitert:

Die sechs Testfälle und die jeweils geprüfte Fehlerklasse
Fall	Beschreibung	Geprüfte Fehlerklasse
syn-001	Standard, einspaltig, deutsch	Baseline
syn-002	Zweispaltiges Layout	Zuordnungsfehler
syn-003	Lücke im Werdegang, fehlende Angaben	fehlende Felder
syn-004	Englischer Lebenslauf, Schweizer Kontext	Sprachwechsel
syn-005	Überlappende Beschäftigungszeiträume	Datumslogik
syn-006	Sehr sparsamer Lebenslauf	fehlende Felder, Übergenerierung

Zu jedem Fall ist festgehalten, welche Felder wie belegt sein müssen. Nur diese Felder werden bewertet — ein Feld, das im Lebenslauf schlicht nicht vorkommt, zählt weder als Treffer noch als Fehler.

Wie bewertet wird

14 Felder, je nach Typ unterschiedlich verglichen. Der Vergleichstyp steht im Skript und ist damit prüfbar:

Vergleichslogik je Feldtyp
Vergleich	Angewendet auf	Regel
exakt, ohne Groß-/Kleinschreibung	Name, Ort	Muss identisch sein
Teilstring beidseitig	Rolle, Unternehmen, Abschluss	Eine Seite muss die andere enthalten
boolesch	Abschlussarten, Führungserfahrung, Führerschein	Wahrheitswert muss übereinstimmen
numerisch exakt	Teamgröße, Kündigungsfrist	Zahl muss identisch sein
numerisch mit Toleranz	Berufsjahre, Gehaltsvorstellung	±10 %, mindestens ±1
Mengenabdeckung	Sprachen	Alle erwarteten Werte müssen abgedeckt sein

Jede Abweichung wird einer Fehlerklasse zugeordnet: fehlendes Feld, numerische Abweichung oder falscher Wert. Zusätzlich wird die Laufzeit je Fall gemessen.

Nachrechnen

Datensatz, Ground Truth und Auswertungsskript liegen im öffentlichen Repository unter scripts/seo/benchmark/. Der Lauf:

# Standardpfad (Mistral AI, Paris)
npm run benchmark

# Alternativer Pfad (Vertex AI, europe-west4)
BENCHMARK_PROVIDER=gemini-2.5-flash npm run benchmark

Das Ergebnis enthält jeden Einzelvergleich, nicht nur die Summe. Damit lässt sich nachvollziehen, welches Feld in welchem Fall danebenlag — und dieselben sechs Fälle lassen sich gegen jeden anderen Anbieter halten.

Grenzen und was HireSift nicht tut

Sechs synthetische Fälle sind keine repräsentative Stichprobe. Sie zeigen Fehlerklassen, keine Marktgenauigkeit.
Synthetische Lebensläufe sind sauberer als echte. Reale Scans, Handschrift und ungewöhnliche Vorlagen sind härter.
Sprachmodelle sind nicht deterministisch. Ein einzelner Lauf ist ein Stichtagswert.
Die Ground Truth ist unsere Interpretation der Lebensläufe. Sie liegt offen, damit man ihr widersprechen kann.
Der Benchmark misst Extraktion, nicht die Qualität der Bewertung gegen Ihre Kriterien.

Warum wir keine Zahl ohne Methode nennen

„98 % Genauigkeit“ ist keine Aussage, sondern eine Behauptung. Ohne Angabe der gezählten Felder, der Bewertung von Teiltreffern und der Beschaffenheit des Datensatzes lässt sich weder prüfen noch vergleichen, was gemessen wurde.

Unsere Redaktionsrichtlinien legen deshalb fest, welche Zahlen wir grundsätzlich nicht veröffentlichen, solange keine reproduzierbare Messung dahintersteht. Diese Seite ist der Weg, das zu ändern — und zwar so, dass Sie es nachrechnen können.

Was der Parser konkret extrahiert, steht auf CV Parser.
Wie aus den extrahierten Daten ein Ranking wird, steht auf CV-Screening-Software.

Quellen

Stand: 10. August 2026

Reviewstatus: Methodik und Datensatz sind vollständig; der Messlauf steht aus. Es werden keine Ergebniszahlen genannt, solange kein Lauf durchgelaufen ist.