Parameter-Effizienz
Low-Rank Adaptation (LoRA)
Mechanismus
Approximation von Gewichtsupdates durch die Zerlegung der Anpassungsmatrix in zwei niedrigdimensionale Matrizen und .
Implikation
Ermöglicht modulares Fine-Tuning; unterschiedliche LoRA-Adapter können dynamisch auf demselben Basismodell ausgetauscht werden.