Transformer-Komponente
Self-Attention
Mechanismus
Mathematischer Vergleich jedes Tokens einer Sequenz mit allen anderen Tokens über ein skaliertes Skalarprodukt.
Implikation
Ermöglicht die Erfassung globaler Kontexte und semantischer Abhängigkeiten über extreme Distanzen hinweg.