Textvorbereitung
Tokenisierung
Mechanismus
Die Zerlegung von Freitext in diskrete Zeichenketten-Fragmente, die anschließend in numerische Indizes übersetzt werden.
Implikation
Bestimmt maßgeblich die Effizienz des Kontextfensters, die Vokabulargröße und die Verarbeitungsgeschwindigkeit des Modells.