Fine-Tuning

Fine-Tuning bezeichnet die Feinabstimmung eines bereits vortrainierten KI-Modells für spezifische Aufgaben. Es ist wie das Umstellen eines erfahrenen Küchenchefs von französischer auf italienische Küche - die Grundfertigkeiten sind da, aber die Details werden angepasst. Statt ein Modell von Grund auf zu trainieren (was Monate dauern und Millionen kosten kann), nimmt man ein bestehendes Modell und trainiert es mit neuen, aufgabenspezifischen Daten nach. Beim vollständigen Fine-Tuning werden dabei alle Gewichte des Netzwerks aktualisiert. Heute dominieren jedoch parameter-effiziente Verfahren (PEFT, etwa LoRA): Sie frieren die Basis ein und trainieren nur kleine, zusätzliche Adapter über alle Schichten hinweg. Das spart Rechenzeit und Daten und verringert das Risiko des katastrophalen Vergessens, also dass das Modell sein altes Wissen überschreibt. Fine-Tuning ist die Standardmethode, um große Sprachmodelle für spezielle Anwendungen anzupassen.