Textvorbereitung
Tokenisierung
Tokenisierung ist ein Begriff aus dem Bereich Textvorbereitung: die Zerlegung von Freitext in diskrete Zeichenketten-Fragmente, die anschließend in numerische Indizes übersetzt werden.
Mechanismus
Die Zerlegung von Freitext in diskrete Zeichenketten-Fragmente, die anschließend in numerische Indizes übersetzt werden.
Implikation
Bestimmt maßgeblich die Effizienz des Kontextfensters, die Vokabulargröße und die Verarbeitungsgeschwindigkeit des Modells.
Ausführliche Erklärung
Verwandte Begriffe
Artikel zu diesem Begriff
Aktuell sind keine Artikel zu diesem Begriff verknüpft.