Tokenisierungsverfahren
WordPiece
WordPiece ist ein Begriff aus dem Bereich Tokenisierungsverfahren: subword-Tokenisierung basierend auf der Wahrscheinlichkeitsmaximierung eines Unigram-Sprachmodells für den Gesamtkorpus.
Mechanismus
Subword-Tokenisierung basierend auf der Wahrscheinlichkeitsmaximierung eines Unigram-Sprachmodells für den Gesamtkorpus.
Implikation
Nutzt explizite Fortsetzungsmarker (z. B. "##"), um segmentierte Wortbestandteile im Vektorraum semantisch zu verknüpfen.
Ausführliche Erklärung
Verwandte Begriffe
Artikel zu diesem Begriff
Aktuell sind keine Artikel zu diesem Begriff verknüpft.