Tokenisierungsverfahren
Byte-Pair Encoding (BPE)
Mechanismus
Iterative Verschmelzung der am häufigsten vorkommenden benachbarten Zeichen- oder Bytepaare zu neuen Subword-Tokens.
Implikation
Bildet ein hocheffizientes Vokabular und verhindert das Auftreten von Out-Of-Vocabulary-Fehlern im Betrieb.