Parameter-Effizienz
Low-Rank Adaptation (LoRA)
Low-Rank Adaptation (LoRA) ist ein Begriff aus dem Bereich Parameter-Effizienz: approximation von Gewichtsupdates durch die Zerlegung der Anpassungsmatrix in zwei niedrigdimensionale Matrizen und .
Mechanismus
Approximation von Gewichtsupdates durch die Zerlegung der Anpassungsmatrix in zwei niedrigdimensionale Matrizen und .
Implikation
Ermöglicht modulares Fine-Tuning; unterschiedliche LoRA-Adapter können dynamisch auf demselben Basismodell ausgetauscht werden.
Ausführliche Erklärung
Verwandte Begriffe
Artikel zu diesem Begriff
Aktuell sind keine Artikel zu diesem Begriff verknüpft.