Mathematische Optimierung
Penalty Loss
Mechanismus
Ein zusätzlicher Strafterm in der Verlustfunktion zur Regulierung des Routingverhaltens bei MoE-Systemen.
Implikation
Verhindert ein unausgewogenes Training, bei dem das Gating-Netzwerk fälschlicherweise nur einen einzelnen Experten bevorzugt.