Transformer-Komponente
Key (K)
Mechanismus
Ein Vektor, der die Eigenschaften und den semantischen Inhalt eines Tokens als Antwortangebot für Queries repräsentiert.
Implikation
Bestimmt über das Skalarprodukt mit der Query, wie viel Aufmerksamkeit ein anderes Wort der Sequenz erhält.