Transformer-Komponente
Self-Attention
Self-Attention ist ein Begriff aus dem Bereich Transformer-Komponente: mathematischer Vergleich jedes Tokens einer Sequenz mit allen anderen Tokens über ein skaliertes Skalarprodukt.
Mechanismus
Mathematischer Vergleich jedes Tokens einer Sequenz mit allen anderen Tokens über ein skaliertes Skalarprodukt.
Implikation
Ermöglicht die Erfassung globaler Kontexte und semantischer Abhängigkeiten über extreme Distanzen hinweg.
Ausführliche Erklärung
Verwandte Begriffe
Artikel zu diesem Begriff
Aktuell sind keine Artikel zu diesem Begriff verknüpft.