LoRA / PEFT (effizientes Fine-Tuning)

LoRA (Low-Rank Adaptation) ist eine Methode zum kostengünstigen Fine-Tuning großer Sprachmodelle: Statt alle Milliarden Parameter zu aktualisieren, werden nur wenige kleine Zusatz-Matrizen trainiert. PEFT (Parameter-Efficient Fine-Tuning) ist der Oberbegriff für solche effizienten Methoden. Sie ermöglichen das Anpassen von LLMs auf eigene Daten mit gewöhnlicher Consumer-Hardware.