Training

Was bedeutet Training bei KI?

Training ist der Prozess, bei dem ein KI-Modell aus Daten lernt. Ähnlich wie ein Mensch durch Üben besser wird, verbessert ein KI-Modell seine Fähigkeiten, indem es immer wieder Beispiele verarbeitet und seine internen Parameter anpasst. Das Training ist der aufwändigste, teuerste und wichtigste Schritt bei der Entwicklung einer KI.

Wie funktioniert KI-Training?

Der Trainingsprozess folgt einem grundlegenden Schema:

• Daten einlesen: Das Modell erhält einen Datensatz -- zum Beispiel Millionen von Texten, Bildern oder Gesprächsprotokollen
• Vorhersage treffen: Das Modell verarbeitet eine Eingabe und trifft eine Vorhersage (anfangs quasi zufällig)
• Fehler berechnen: Die Vorhersage wird mit der richtigen Antwort verglichen. Die Differenz ist der Fehler
• Parameter anpassen: Über mathematische Optimierung (Gradient Descent) werden die Millionen oder Milliarden Parameter leicht verändert, um den Fehler zu reduzieren
• Wiederholen: Dieser Zyklus wird Millionen bis Billionen Mal wiederholt, bis das Modell zuverlässige Ergebnisse liefert

Ein einzelner Durchlauf durch den gesamten Datensatz heißt "Epoche". Typischerweise braucht ein Modell mehrere Epochen, um gut zu werden.

Die verschiedenen Trainingsarten

Je nach Aufgabe unterscheidet man verschiedene Trainingsmethoden:

Pre-Training (Vortraining)

Das Grundtraining eines Large Language Models wie GPT oder Claude. Hier lernt das Modell aus riesigen Textmengen die grundlegenden Strukturen der Sprache. GPT-4 wurde beispielsweise mit großen Teilen des Internets trainiert. Dieses Pre-Training dauert Monate und kostet Millionen.

Fine-Tuning (Feinabstimmung)

Ein bereits vortrainiertes Modell wird mit spezifischen Daten auf eine bestimmte Aufgabe spezialisiert. Zum Beispiel kann ein allgemeines Sprachmodell mit medizinischen Texten feinabgestimmt werden, um ein Medizin-Experten-System zu werden. Fine-Tuning ist deutlich schneller und günstiger als Pre-Training.

RLHF (Reinforcement Learning from Human Feedback)

Menschliche Bewerter beurteilen die Antworten des Modells. Das System lernt daraus, welche Antworten hilfreich, harmlos und ehrlich sind. Diese Methode macht den Unterschied zwischen einem rohen Sprachmodell und einem nützlichen Assistenten wie ChatGPT oder Claude.

Daten: Der Treibstoff des Trainings

Ohne Daten kein Training. Die Qualität und Menge der Trainingsdaten bestimmt maßgeblich die Qualität des fertigen Modells:

• ChatGPT/GPT-4: Trainiert mit hunderten Milliarden Wörtern aus Büchern, Webseiten, Wikipedia und mehr
• Stable Diffusion: Trainiert mit 5,85 Milliarden Bild-Text-Paaren (LAION-5B Datensatz)
• DeepL: Trainiert mit Milliarden von professionellen Übersetzungen

Ein gravierendes Problem: Wenn die Trainingsdaten Verzerrungen (Bias) enthalten, übernimmt das Modell diese. Wurden in den Trainingsdaten beispielsweise überwiegend männliche Führungskräfte beschrieben, könnte die KI bei Personalentscheidungen männliche Bewerber bevorzugen.

Rechenleistung und Kosten

Das Training großer KI-Modelle erfordert enorme Rechenressourcen:

• GPT-4 (geschätzt): Training auf tausenden Nvidia A100 GPUs über mehrere Monate, geschätzte Kosten über 100 Millionen Dollar
• Llama 3 (Meta): Trainiert auf 16.000 H100 GPUs, öffentlich dokumentiert
• Stable Diffusion: Training kostete rund 600.000 Dollar -- vergleichsweise günstig

Die Kosten setzen sich zusammen aus Hardware (GPU-Cluster), Strom (ein Training verbraucht so viel Energie wie hunderte Haushalte), Datenaufbereitung und Personalkosten für KI-Forscher.

Training vs. Inferenz

Ein wichtiger Unterschied, den viele übersehen:

• Training ist der einmalige (aber sehr teure) Prozess, bei dem das Modell lernt
• Inferenz ist die Nutzung des fertigen Modells -- also wenn Sie ChatGPT eine Frage stellen

Training geschieht bei den Herstellern (OpenAI, Anthropic, Google). Als Nutzer führen Sie nur Inferenz aus. Deshalb können Sie KI-Tools günstig nutzen, obwohl das Training Millionen gekostet hat.

Bedeutung für Unternehmen

Für die meisten Unternehmen ist eigenes KI-Training nicht nötig und nicht wirtschaftlich. Stattdessen nutzen sie vortrainierte Modelle über APIs oder SaaS-Tools. Dennoch ist das Verständnis des Trainingsprozesses wichtig:

• Fine-Tuning kann sinnvoll sein, um ein Modell auf firmenspezifische Daten zu spezialisieren
• Datenqualität bestimmt die Qualität der KI-Ergebnisse -- schlechte Daten führen zu schlechten Resultaten
• Bias im Training kann zu diskriminierenden Ergebnissen führen -- ein Risiko, das Unternehmen kennen müssen

Fazit

Training ist der Kern jeder KI: der Prozess, in dem ein Modell seine Fähigkeiten erlernt. Von Pre-Training über Fine-Tuning bis zu RLHF gibt es verschiedene Methoden, die aufeinander aufbauen. Die enormen Kosten des Trainings werden von den großen KI-Unternehmen getragen -- Nutzer profitieren davon, ohne selbst in Training investieren zu müssen.