Transformer-Komponente
Multi-Head Attention
Multi-Head Attention ist ein Begriff aus dem Bereich Transformer-Komponente: parallele Ausführung mehrerer Self-Attention-Berechnungen (Heads) in unterschiedlich projizierten Vektorräumen.
Mechanismus
Parallele Ausführung mehrerer Self-Attention-Berechnungen (Heads) in unterschiedlich projizierten Vektorräumen.
Implikation
Erlaubt dem Modell, verschiedene Aspekte der Repräsentation und Grammatik gleichzeitig mathematisch zu analysieren.
Ausführliche Erklärung
Verwandte Begriffe
Artikel zu diesem Begriff
Aktuell sind keine Artikel zu diesem Begriff verknüpft.