Transformer-Komponente
Scaled Dot-Product Attention
Scaled Dot-Product Attention ist ein Begriff aus dem Bereich Transformer-Komponente: der mathematische Attention-Kern, bei dem das Skalarprodukt von Query und Key durch dividiert und per Softmax normalisiert wird.
Mechanismus
Der mathematische Attention-Kern, bei dem das Skalarprodukt von Query und Key durch dividiert und per Softmax normalisiert wird.
Implikation
Stabilisiert das mathematische Verhalten des Netzwerks während des Trainings bei extrem großen Modellschichten.
Ausführliche Erklärung
Verwandte Begriffe
Artikel zu diesem Begriff
Aktuell sind keine Artikel zu diesem Begriff verknüpft.