Das Rohmaterial: Data Engineering für Machine Learning
Bevor die KI klug werden kann, müssen die Daten brav sein. Wie das gemacht wird.
Du hast gelernt, wie Modelle wie die Regression ihre Parameter Schritt für Schritt so anpassen, dass der Fehler sinkt (Gradient Descent, auf Deutsch Gradientenabstieg). Aber was kommt IN das Modell hinein? Rohdaten aus der echten Welt sind chaotisch, unvollständig und auf völlig unterschiedlichen Skalen gemessen.
Dieser Artikel deckt die drei Säulen der Datenaufbereitung ab — die Arbeit, die passiert, bevor auch nur ein einziger Trainingsschritt stattfindet. Denn der teuerste GPU-Cluster der Welt kann kein Modell retten, das auf Datenschrott trainiert wird.
Feature Engineering: Die richtigen Eingaben wählen
Definition
Feature Engineering
Analogie
Beispiel
Definition
Betrachten wir ein konkretes Beispiel: Immobilienpreisvorhersage. Die Rohdaten enthalten eine Adresse als Text — für ein Modell praktisch nutzlos. Feature Engineering verwandelt sie in aussagekräftige Zahlen:
- 1. RohdatenAdresse: "Musterstr. 42, 80331 München" — reiner Text, nicht verwertbar
- 2. ExtraktionPostleitzahl extrahieren → 80331, Stadtteil zuordnen → "Altstadt-Lehel"
- 3. Engineered FeatureMedianes Haushaltseinkommen des Stadtteils nachschlagen → 58.200 €/Jahr (Beispielwert) — hochprädiktiv!
Kategorische Daten wie Farben (rot, blau, grün) brauchen eine besondere Behandlung: One-Hot Encoding erstellt für jeden Wert eine eigene binäre Spalte (ist_rot, ist_blau, ist_grün). So kann der Algorithmus mit kategorialen Daten rechnen, ohne eine künstliche Reihenfolge aufzuzwingen.
Achtung
Missverständnis: Mehr Features = besseres Modell
Falsch. Der Fluch der Dimensionalität (Curse of Dimensionality) zeigt: Ab einer bestimmten Anzahl von Features werden Modelle SCHLECHTER, nicht besser. Der Datenraum wird so dünn besiedelt, dass der Algorithmus keine zuverlässigen Muster mehr finden kann. Lieber 5 informative Features als 50 irrelevante.
Feature-Qualität übertrifft Modellkomplexität. Ein simples lineares Modell mit hervorragenden Features schlägt regelmäßig ein komplexes neuronales Netz mit schlechten Features.
Interaktiv: Die Data-Engineering-Pipeline
Drücke Play und beobachte, wie Rohdaten Schritt für Schritt aufbereitet werden.
Die typische Datenaufbereitung in sechs Schritten: Von chaotischen Rohdaten über den Train/Test-Split, Bereinigung, Feature Engineering und Skalierung bis zum modellfertigen Datensatz.
Klicke auf "Abspielen", um den Ablauf Schritt für Schritt zu sehen.
Die Pipeline ist strikt sequenziell: Jeder Schritt baut auf dem vorherigen auf. Die Reihenfolge ist entscheidend — Skalieren vor dem Split verursacht Data Leakage.
Fehlende Werte: Löcher in den Daten
Definition
Fehlende Werte (Missing Values)
Analogie
Beispiel
Definition
Es gibt drei etablierte Strategien, jede mit klaren Vor- und Nachteilen:
Einfach, aber verschwenderisch: Alle Zeilen mit fehlenden Werten entfernen. Fehlt in 20% der Zeilen ein Wert, schrumpft der Datensatz von 1.000 auf 800 Einträge.
Datenerhaltend, aber annahmenlastig: Leere Felder mit Median oder Mittelwert füllen. Behält alle 1.000 Einträge, nimmt aber "durchschnittliche Gesundheit" an.
Merke
Dritte Strategie: Indicator Variable
Die cleverste Option: Zusätzlich zur Imputation eine Spalte "blutdruck_fehlt=1" erzeugen. Das Modell könnte entdecken, dass fehlender Blutdruck mit Notaufnahmen korreliert — Patienten, die zu kritisch für eine Messung waren. Die Abwesenheit der Daten wird selbst zum informativen Signal.
Konkretes Beispiel: Ein medizinischer Datensatz hat 20% fehlende Blutdruckwerte. Du vermutest, dass die Daten fehlen, weil Notfallpatienten zu kritisch für eine Messung waren. Deletion verliert 200 Datensätze. Median-Imputation mit 115 mmHg nimmt "Normalwert" an. Eine Indicator Variable macht das Fehlen selbst für das Modell sichtbar.
der Data-Science-Arbeitszeit ging 2020 ins Laden und Bereinigen von Daten (Anaconda-Umfrage; 2022 rund 38 %)
~45 %
Normalisierung & Standardisierung: Alles auf eine Skala bringen
Definition
Feature Scaling
Analogie
Beispiel
Definition
Rechenbeispiel: Drei Features skalieren
Drei Features mit völlig unterschiedlichen Bereichen: Alter (0–100), Einkommen (0–1.000.000), Zimmer (1–10). Datenpunkt: Alter=50, Einkommen=60.000, Zimmer=4.
Min-Max-Normalisierung:
Alter: (50 - 0) / (100 - 0) = 0,50
Einkommen: (60.000 - 0) / (1.000.000 - 0) = 0,06
Zimmer: (4 - 1) / (10 - 1) = 0,33
Alle Werte jetzt in [0, 1].Z-Standardisierung (Mittelwert/Std.abw. gegeben):
Alter: (50 - 40) / 15 = 0,67
Einkommen: (60.000 - 50.000) / 25.000 = 0,40
Zimmer: (4 - 3) / 1,5 = 0,67
Alle Werte jetzt vergleichbar.Ohne Skalierung wäre das Gradient-Descent-Update für Einkommen ca. 15.000-mal größer als für Zimmer — das verursacht Zickzack-Konvergenz statt direktem Weg zum Minimum.
Unskalierte Features erzeugen stark in die Länge gezogene Konturen in der Loss-Landschaft. Gradient Descent springt dann im Zickzack über das schmale Tal hin und her, statt direkt zum Minimum zu laufen. Skalierte Features erzeugen annähernd kreisförmige Konturen — der Gradient zeigt direkt zum Minimum. Ergebnis: deutlich weniger Iterationen bis zur Konvergenz.
Achtung
Missverständnis: Normalisierung verändert die Daten
Nein. Normalisierung ändert die Maßeinheit, nicht die Beziehungen zwischen den Datenpunkten. Nach Min-Max ist der ehemals größte Wert immer noch der größte (jetzt 1,0) und der kleinste immer noch der kleinste (jetzt 0,0). Die Datenstruktur bleibt intakt.
Data Leakage tritt auf, wenn Informationen aus den Testdaten versehentlich ins Training einfließen. Ein typischer Fehler: Den Scaler (z.B. StandardScaler in scikit-learn) auf dem GESAMTEN Datensatz (Train + Test) fitten, bevor man splittet. Dann kennt der Scaler bereits die Statistiken der Testdaten — und das Modell kann besser erscheinen, als es wirklich ist. Du musst den folgenden Code nicht programmieren können — achte nur auf den logischen Unterschied, worauf der Scaler angewendet wird:
# FALSCH: Leakage!
scaler.fit(gesamter_datensatz)
X_train, X_test = split(gesamter_datensatz)
# RICHTIG: Kein Leakage
X_train, X_test = split(gesamter_datensatz)
scaler.fit(X_train) # Nur Train!
X_train = scaler.transform(X_train)
X_test = scaler.transform(X_test)Interaktiv: Pipeline-Schritte sortieren
In welcher Reihenfolge müssen die Schritte der Datenaufbereitung ausgeführt werden? Sortiere die Pipeline — aber Vorsicht: die falsche Reihenfolge verursacht Data Leakage!
Sortiere die Pipeline-Schritte in die korrekte Reihenfolge. Tipp: Denke an Data Leakage — welcher Schritt muss unbedingt früh kommen?
Merke
Kernaussagen
- Ein Modell ist nur so gut wie seine Features — Feature Engineering (Auswählen, Erstellen und Encodieren der richtigen Eingaben) ist der größte Hebel für Modellqualität.
- Echte Daten haben Löcher. Deletion ist einfach, aber verschwenderisch, Imputation erhält Daten, aber trifft Annahmen, und Indicator Variables können die Abwesenheit von Daten in ein nützliches Signal verwandeln.
- Features auf unterschiedlichen Skalen sabotieren Gradient Descent. Normalisierung (0–1) und Standardisierung (Mittelwert=0, Std=1) beheben das — sie ändern die Maßeinheit, nicht die Bedeutung der Daten.
Prüfen
Lernziele
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen
Prüfen
Wissen testen
Dein Datensatz hat eine Spalte "Farbe" mit den Werten rot, blau, grün. Was musst du tun, bevor du sie in ein ML-Modell gibst?
Wähle eine Antwort
1. Dein Datensatz hat eine Spalte "Farbe" mit den Werten rot, blau, grün. Was musst du tun, bevor du sie in ein ML-Modell gibst?
2. Ein medizinischer Datensatz hat 15% fehlende Gewichtswerte. Du vermutest, dass die Daten fehlen, weil adipöse Patienten sich nicht wiegen lassen wollten. Welche Strategie bewahrt diese Information am besten?
3. Feature A hat einen Bereich von 0–1, Feature B von 0–1.000.000. Du trainierst ein Modell mit Gradient Descent OHNE Skalierung. Was passiert?
4. Du skalierst deine Daten mit StandardScaler, gefittet auf dem GESAMTEN Datensatz (Train + Test), splittest dann und evaluierst. Deine Test-Accuracy ist 95%. Ein Kollege weist auf einen methodischen Fehler hin. Welchen?