Parameter-Effizienz
Mixture of LoRA Experts (MoLE)
Mechanismus
Fusion mehrerer LoRA-Adapter über eine hierarchische Gating-Struktur auf Schichtebene des neuronalen Netzwerks.
Implikation
Ermöglicht die nahtlose Kombination unterschiedlicher Fähigkeiten (z. B. Programmiercode, kreatives Schreiben) in einem Modell.