Transformer-Komponente
Causal Masking
Causal Masking ist ein Begriff aus dem Bereich Transformer-Komponente: anwendung einer Maskierungsmatrix, die dem Decoder-Netzwerk den Zugriff auf zukünftige Token-Positionen mathematisch verwehrt.
Mechanismus
Anwendung einer Maskierungsmatrix, die dem Decoder-Netzwerk den Zugriff auf zukünftige Token-Positionen mathematisch verwehrt.
Implikation
Garantiert die streng autoregressive Generierung von Texten, bei der das Modell nur aus der Vergangenheit lernt.
Ausführliche Erklärung
Verwandte Begriffe
Artikel zu diesem Begriff
Aktuell sind keine Artikel zu diesem Begriff verknüpft.