Lineare & Logistische Regression
Die mathematische Basis, auf die jeder Deep-Learning-Kurs erst nach drei Stunden eingeht.
Viele Machine-Learning-Modelle beginnen gleich: Eingaben mit Gewichten multiplizieren, einen Bias addieren und prüfen, wie falsch die Vorhersage ist. Lineare Regression macht das für Zahlenwerte, logistische Regression für Klassen — und zusammen bilden sie den Bauplan, dem fast jedes neuronale Netz bis heute folgt.
Im vorherigen Artikel hast du gelernt, was Supervised Learning ist: Daten mit Labels, Features und einem Zielwert. Jetzt triffst du die ersten Modelle, die tatsächlich etwas damit anfangen. Das Muster, das du hier lernst — gewichtete Summe, Fehlermessung, nichtlineare Aktivierung — ist exakt das Skelett eines neuronalen Netzes.
Die Vorhersagemaschine — Lineare Regression
Definition
Lineare Regression
Analogie
Beispiel
Definition
w ist das Gewicht (die Steigung der Linie), x ist der Eingabewert, und b ist der Bias (der y-Achsenabschnitt). Bei mehreren Eingaben wird die Formel zu ŷ = w₁·x₁ + w₂·x₂ + … + b — statt einer Linie beschreibt sie dann eine Ebene oder Hyperebene.
Beispiel: Immobilienpreise
Ein einfacher Datensatz: 50 m² → 150.000 €, 80 m² → 240.000 €, 120 m² → 360.000 €. Die bestpassende Linie: ŷ = 3.000 · x.
Für eine 100-m²-Wohnung: ŷ = 3.000 · 100 = 300.000 €.
Angenommen, der tatsächliche Preis beträgt 280.000 €. Das Residuum (der Fehler) ist: 280.000 − 300.000 = −20.000 €. Das Modell überschätzt den Preis um 20.000 €.
Achtung
Missverständnis: Lineare Regression funktioniert nur mit einer Eingabe
Die univariate Formel ŷ = w · x + b ist der Lehr-Einstieg. Reale Modelle verwenden fast immer mehrere Features gleichzeitig (multivariat). Ein Immobilienpreis-Modell könnte Quadratmeter, Baujahr, Stockwerk und Entfernung zum Stadtzentrum berücksichtigen — jedes Feature bekommt ein eigenes Gewicht.
Punkte zählen — Mean Squared Error
Definition
Mean Squared Error (MSE)
Analogie
Beispiel
Definition
Warum quadrieren und mitteln? Drei Gründe: (1) Ohne Quadrieren heben sich positive und negative Fehler gegenseitig auf — ein Fehler von +10 und einer von −10 ergäben im Schnitt null. (2) Große Fehler werden überproportional bestraft: Ein Fehler von 10 ergibt 100, aber ein Fehler von 50 ergibt 2.500 — nicht 5-mal so viel, sondern 25-mal. (3) Der Mittelwert macht den MSE zwischen Datensätzen unterschiedlicher Größe vergleichbar.
Beispiel: Drei Häuser, drei Fehler
Drei Häuser mit Vorhersagefehlern: +10.000 €, −5.000 € und −50.000 €.
Quadriert: 100 Mio., 25 Mio. und 2.500 Mio. MSE = (100 + 25 + 2.500) / 3 = 875 Mio.
Der dritte Fehler (−50.000) dominiert den gesamten MSE — das ist beabsichtigt. Das Quadrieren sorgt dafür, dass das Modell große Ausreißer nicht ignorieren kann.
Achtung
Missverständnis: MSE ist nur eine Zahl, die man nach dem Training abliest
MSE (oder verwandte Funktionen) ist tatsächlich das Navigationssignal: Das Modell passt seine Gewichte in die Richtung an, die diesen Wert verkleinert. Ohne Loss-Funktion hat das Modell keinen Kompass — es wüsste nicht, in welche Richtung es seine Gewichte ändern soll.
Stell dir die Quadratfunktion wie eine runde Schüssel vor: Eine Kugel rollt immer sanft und eindeutig zum tiefsten Punkt — es gibt keinen Zweifel, wo es bergab geht. Absolutwerte (|y − ŷ|) sind dagegen wie ein V-Tal mit einem spitzen Knick ganz unten, an dem der Optimierungs-Algorithmus ins Stolpern geraten kann. Deshalb bevorzugt man die glatte Quadratfunktion. Außerdem: Logistische Regression verwendet nicht MSE, sondern Log Loss (Binary Cross-Entropy) als Loss-Funktion, weil MSE bei Wahrscheinlichkeiten ein zu flaches Signal liefert.
Interaktiv: Schlag die Gerade
Von Zahlen zu Entscheidungen — Logistische Regression
Definition
Logistische Regression
Analogie
Beispiel
Definition
Dieses z ist genau das Ergebnis der gewichteten Summe aus dem vorherigen Schritt — die intern berechneten Punkte des Türstehers. Die Sigmoidfunktion presst diese Zahl in den Bereich zwischen 0 und 1. Für große positive z nähert sie sich 1, für große negative z nähert sie sich 0, und bei z = 0 ergibt sie exakt 0,5. So wird aus einer unbeschränkten gewichteten Summe eine Wahrscheinlichkeit.
Beispiel: Spam-Klassifikator
Ein Spam-Klassifikator mit drei Features: verdächtige Wörter, unbekannter Absender und Dringlichkeitssprache.
Gewichtete Summe z = 1,8. Sigmoid(1,8) ≈ 0,858.
Da 0,858 > 0,5 ist, klassifiziert das Modell die E-Mail als «Spam» mit einer Modell-Konfidenz von ca. 86 %. In einem anderen Einsatz könnte ein Krankenhaus den Schwellenwert auf 0,3 senken, um mehr Risikopatienten zu erkennen — lieber einmal zu viel warnen als einen Fall übersehen.
Achtung
Missverständnis: Logistische Regression sagt Zahlenwerte wie Preise vorher
Der Name stammt aus der statistischen Herkunft: Logistische Regression «regrediert» auf Wahrscheinlichkeiten über den Logit-Link. In der Praxis ist es ein Klassifikator. Joseph Berkson prägte 1944 den Begriff «Logit» — der Name «logistische Regression» für solche Modelle setzte sich erst später durch und hat sich trotz der Verwirrung gehalten.
Ausgabe: kontinuierliche Zahl (z. B. Preis in €). Anwendung: Regression (Werte vorhersagen). Loss-Funktion: MSE.
Ausgabe: Wahrscheinlichkeit zwischen 0 und 1. Anwendung: Klassifikation (Klassen zuordnen). Loss-Funktion: Log Loss.
Interaktiv: Die Sigmoid-Formel Schritt für Schritt
Klicke auf jeden Term der Sigmoid-Formel, um seine Rolle zu verstehen. Das Beispiel zeigt eine konkrete Spam-Klassifikation mit z = 2.5.
Sigmoid-Formel
Die Ausgabe der Sigmoid-Funktion: eine Wahrscheinlichkeit zwischen 0 und 1. Bei σ(z) > 0.5 klassifiziert das Modell als positiv (z. B. Spam), bei σ(z) < 0.5 als negativ.
Konkretes Beispiel
Gegeben: Spam-Erkennung z = w·x + b = 0.5·5 + 0 = 2.5
Berechnung: z = w·x + b (Linearer Score) , σ(z) = 1/(1+e⁻ᶻ) (Sigmoid-Funktion)
Das große Bild — Brücke zum künstlichen Neuron
Was du in diesem Artikel gelernt hast, ist mehr als drei einzelne Konzepte. Es ist eine Kette, die exakt dem Aufbau und Training eines künstlichen Neurons entspricht:
- 1. Gewichtete SummeEingaben × Gewichte + Bias → eine Zahl (genau wie lineare Regression)
- 2. AktivierungsfunktionDie Zahl durch eine nichtlineare Funktion schicken (z. B. Sigmoid)
- 3. Loss-SignalVorhersage mit dem wahren Wert vergleichen und den Fehler messen (z. B. MSE)
- 4. Gewichts-UpdateGewichte in die Richtung anpassen, die den Loss verkleinert
Du verstehst bereits 80 % eines künstlichen Neurons — du weißt es nur noch nicht. Im nächsten Lernpfad (Deep Learning) triffst du das Neuron formell — und wirst erkennen, dass es genau diese Kette ist, nur mit mehr Schichten.
Adrien-Marie Legendre veröffentlichte 1805 die Methode der kleinsten Quadrate — das mathematische Fundament, auf dem MSE beruht. Francis Galton machte «Regression» in den 1880er-Jahren als Analysewerkzeug berühmt: Er beobachtete, dass extrem große Eltern Kinder bekamen, die näher am Durchschnitt lagen — eine «Rückkehr zum Mittelwert» (regression to the mean). Der Name blieb hängen, obwohl er heute allgemein das Vorhersagen von Zahlenwerten aus Eingaben bezeichnet. Joseph Berkson führte 1944 den Logit ein und baute darauf ein Regressionsmodell für Wahrscheinlichkeiten, das man heute meist als Klassifikator nutzt — eine Namensverwirrung, die bis heute besteht.
Merke
Kernaussagen
- Ein lineares Modell sagt vorher, indem es jede Eingabe mit einem Gewicht multipliziert und einen Bias addiert — das Ergebnis ist eine gerade Linie (oder Hyperebene).
- MSE misst die Vorhersagequalität, indem er quadrierte Fehler mittelt. Große Abweichungen werden bewusst härter bestraft als kleine.
- Logistische Regression hüllt dieselbe gewichtete Summe in eine Sigmoidfunktion, sodass die Ausgabe zwischen 0 und 1 bleibt — aus einer Regressionsmaschine wird ein Klassifikator.
- Gewichte + Bias + Aktivierungsfunktion + Loss = die Rezeptkarte für fast jedes neuronale Netz.
Prüfen
Verständnisprüfung
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen
Prüfen
Quiz: Lineare & Logistische Regression
In der Gleichung ŷ = w · x + b — wofür steht der Term b?
Wähle eine Antwort
1. In der Gleichung ŷ = w · x + b — wofür steht der Term b?
2. Ein lineares Modell sagt Immobilienpreise vorher: ŷ = 2.500 · x + 10.000. Was sagt es für eine 60-m²-Wohnung vorher?
3. Drei Vorhersagen haben Fehler von +4, −2 und +6. Wie groß ist der MSE?
4. Ein logistisches Regressionsmodell gibt σ(z) = 0,72 aus. Ein Krankenhaus verwendet den Schwellenwert 0,60 zur Risiko-Einstufung. Welche Klassifikation ergibt sich — und was passiert, wenn der Schwellenwert auf 0,40 gesenkt wird?
5. Warum quadriert MSE die Fehler, statt sie einfach zu addieren?
6. Dein Team soll vorhersagen, ob ein Kunde seinen Vertrag kündigt (ja/nein). Ein Kollege schlägt lineare Regression vor. Warum ist logistische Regression besser geeignet?