Modellverhalten
Catastrophic Forgetting
Mechanismus
Der vollständige Verlust von zuvor gelerntem Allgemeinwissen während eines aggressiven Feinabstimmungsprozesses.
Implikation
Ein kritisches Risiko beim Fine-Tuning, dem durch PEFT-Verfahren oder Regularisierung mathematisch entgegengewirkt werden muss.