Tokenisierungsverfahren
WordPiece
Mechanismus
Subword-Tokenisierung basierend auf der Wahrscheinlichkeitsmaximierung eines Unigram-Sprachmodells für den Gesamtkorpus.
Implikation
Nutzt explizite Fortsetzungsmarker (z. B. "##"), um segmentierte Wortbestandteile im Vektorraum semantisch zu verknüpfen.