Systemarchitektur
Mixture of Experts (MoE)
Mechanismus
Netzwerkarchitektur, die dichte Schichten durch mehrere parallele, spezialisierte Unternetze (Experts) ersetzt.
Implikation
Ermöglicht die Skalierung von Modellen auf Billionen Parameter bei gleichbleibend niedrigen Rechenkosten pro Inferenzschritt.