Transformer-Komponente
Padding Masking
Padding Masking ist ein Begriff aus dem Bereich Transformer-Komponente: maskierung von künstlich hinzugefügten Füll-Tokens (Padding), um deren Einfluss auf die Aufmerksamkeitsberechnung zu eliminieren.
Mechanismus
Maskierung von künstlich hinzugefügten Füll-Tokens (Padding), um deren Einfluss auf die Aufmerksamkeitsberechnung zu eliminieren.
Implikation
Verhindert, dass mathematische Füllwerte, die für einheitliche Batch-Größen nötig sind, die semantische Ausgabe verzerren.
Ausführliche Erklärung
Verwandte Begriffe
Artikel zu diesem Begriff
Aktuell sind keine Artikel zu diesem Begriff verknüpft.