Systemarchitektur
Gating-Netzwerk
Mechanismus
Eine mathematische Routing-Funktion (Softmax-basiert), die Tokens dynamisch den passenden Experten oder Adaptern zuweist.
Implikation
Das mathematische Gehirn von MoE-Systemen, das über die optimale Verteilung der Rechenlast im Netzwerk entscheidet.