Transformer-Komponente
Causal Masking
Mechanismus
Anwendung einer Maskierungsmatrix, die dem Decoder-Netzwerk den Zugriff auf zukünftige Token-Positionen mathematisch verwehrt.
Implikation
Garantiert die streng autoregressive Generierung von Texten, bei der das Modell nur aus der Vergangenheit lernt.