Mathematische Optimierung
Penalty Loss
Penalty Loss ist ein Begriff aus dem Bereich Mathematische Optimierung: ein zusätzlicher Strafterm in der Verlustfunktion zur Regulierung des Routingverhaltens bei MoE-Systemen.
Mechanismus
Ein zusätzlicher Strafterm in der Verlustfunktion zur Regulierung des Routingverhaltens bei MoE-Systemen.
Implikation
Verhindert ein unausgewogenes Training, bei dem das Gating-Netzwerk fälschlicherweise nur einen einzelnen Experten bevorzugt.
Ausführliche Erklärung
Verwandte Begriffe
Artikel zu diesem Begriff
Aktuell sind keine Artikel zu diesem Begriff verknüpft.