Datenvalidierung
Inter-Labeler-Reliabilität
Mechanismus
Statistisches Maß (z. B. Cohens Kappa) für die Übereinstimmungsrate zwischen verschiedenen menschlichen Annotatoren.
Implikation
Ein niedriger Wert signalisiert uneindeutige Annotationsrichtlinien und führt zu verrauschten Trainingsdaten.