Systemarchitektur
Mixture of Experts (MoE)
Mixture of Experts (MoE) ist ein Begriff aus dem Bereich Systemarchitektur: netzwerkarchitektur, die dichte Schichten durch mehrere parallele, spezialisierte Unternetze (Experts) ersetzt.
Mechanismus
Netzwerkarchitektur, die dichte Schichten durch mehrere parallele, spezialisierte Unternetze (Experts) ersetzt.
Implikation
Ermöglicht die Skalierung von Modellen auf Billionen Parameter bei gleichbleibend niedrigen Rechenkosten pro Inferenzschritt.
Ausführliche Erklärung
Verwandte Begriffe
Artikel zu diesem Begriff
Aktuell sind keine Artikel zu diesem Begriff verknüpft.