Transformer-Komponente
Padding Masking
Mechanismus
Maskierung von künstlich hinzugefügten Füll-Tokens (Padding), um deren Einfluss auf die Aufmerksamkeitsberechnung zu eliminieren.
Implikation
Verhindert, dass mathematische Füllwerte, die für einheitliche Batch-Größen nötig sind, die semantische Ausgabe verzerren.