Zurück zum Lernbereich

Lineare & Logistische Regression

Die mathematische Basis, auf die jeder Deep-Learning-Kurs erst nach drei Stunden eingeht.

  • Grundlagen
  • 8 min
  • Einsteiger

Einfache Sprache

Diese Vorschau ist in Einfacher Sprache. Das ganze Portal gibt es auch in Einfacher Sprache. Du kannst oben die Sprache wechseln. Oder nutze den Knopf unten. Unsere Texte in Einfacher Sprache entstehen KI-gestützt und werden redaktionell begleitet. Sie orientieren sich an den Grundprinzipien der Leichten Sprache, sind aber keine geprüfte Leichte Sprache: Eine Prüfgruppe von Menschen mit Lernschwierigkeiten prüft sie nicht.

Vorschau: Wie KI Vorhersagen macht

Lineare Regression

Lineare Regression ist eine Methode. Das Programm sagt Zahlen vorher. Ein Beispiel: Wie teuer ist ein Haus? Das Programm berechnet den Preis aus der Fläche. Es nutzt Gewichte. Ein Gewicht bestimmt, wie wichtig ein Eingabewert ist.

Logistische Regression

Logistische Regression sagt keine Zahlen vorher. Sie ordnet Dinge in Gruppen ein. Eine Gruppe heißt Klasse. Ein Beispiel: Spam oder kein Spam. Das Ergebnis ist eine Wahrscheinlichkeit zwischen 0 und 1. Über 0,5 bedeutet: Die E-Mail ist Spam.

Die Grundlage der KI

Diese Methoden sind die Grundlage der KI. Jedes neuronale Netz nutzt sie. Neuronales Netz bedeutet: ein KI-Programm mit vielen Schichten. Es rechnet Eingaben mit Gewichten. Dann prüft es den Fehler. Dann verbessert es die Gewichte.

Viele Machine-Learning-Modelle beginnen gleich: Eingaben mit Gewichten multiplizieren, einen Bias addieren und prüfen, wie falsch die Vorhersage ist. Lineare Regression macht das für Zahlenwerte, logistische Regression für Klassen — und zusammen bilden sie den Bauplan, dem fast jedes neuronale Netz bis heute folgt.

Im vorherigen Artikel hast du gelernt, was Supervised Learning ist: Daten mit Labels, Features und einem Zielwert. Jetzt triffst du die ersten Modelle, die tatsächlich etwas damit anfangen. Das Muster, das du hier lernst — gewichtete Summe, Fehlermessung, nichtlineare Aktivierung — ist exakt das Skelett eines neuronalen Netzes.

Die Vorhersagemaschine — Lineare Regression

Definition

Lineare Regression

Analogie

Stell dir einen Immobilienmakler vor, der nach Hunderten von Deals eine grobe Preisformel entwickelt hat: «3.000 Euro pro Quadratmeter.» Diese Formel verdichtet seine Erfahrung zu einer geraden Linie. Genau das tut lineare Regression: Sie findet die Linie, die am besten zu den Daten passt.

Beispiel

Der Makler nutzt unausgesprochene Kontextinformationen (Nachbarschaftsgefühl, Renovierungszustand), die er nicht explizit in Zahlen fasst. Das Modell kann nur Features verwenden, die es als Eingabe erhält — alles andere ist unsichtbar.
ŷ = w · x + b
Formel: Lineare Regression (univariat)

w ist das Gewicht (die Steigung der Linie), x ist der Eingabewert, und b ist der Bias (der y-Achsenabschnitt). Bei mehreren Eingaben wird die Formel zu ŷ = w₁·x₁ + w₂·x₂ + … + b — statt einer Linie beschreibt sie dann eine Ebene oder Hyperebene.

Beispiel: Immobilienpreise

Ein einfacher Datensatz: 50 m² → 150.000 €, 80 m² → 240.000 €, 120 m² → 360.000 €. Die bestpassende Linie: ŷ = 3.000 · x.

Für eine 100-m²-Wohnung: ŷ = 3.000 · 100 = 300.000 €.

Angenommen, der tatsächliche Preis beträgt 280.000 €. Das Residuum (der Fehler) ist: 280.000 − 300.000 = −20.000 €. Das Modell überschätzt den Preis um 20.000 €.

Achtung

Missverständnis: Lineare Regression funktioniert nur mit einer Eingabe

Die univariate Formel ŷ = w · x + b ist der Lehr-Einstieg. Reale Modelle verwenden fast immer mehrere Features gleichzeitig (multivariat). Ein Immobilienpreis-Modell könnte Quadratmeter, Baujahr, Stockwerk und Entfernung zum Stadtzentrum berücksichtigen — jedes Feature bekommt ein eigenes Gewicht.

Punkte zählen — Mean Squared Error

Definition

Mean Squared Error (MSE)

Analogie

Stell dir eine Bogenschießen-Zielscheibe vor: Das Zentrum ist der wahre Wert, und jeder Pfeil ist eine Vorhersage. Pfeile, die weit vom Zentrum entfernt landen, zählen überproportional stark, weil die «Straffläche» (das Quadrat) mit dem Abstand wächst. Ein Pfeil, der doppelt so weit danebenliegt, gibt nicht doppelt so viele Minuspunkte, sondern viermal so viele.

Beispiel

Bei Ausreißern kann ein einziger wilder Pfeil den gesamten Score dominieren. Beim Bogenschießen ist das unproblematisch, aber bei verrauschten Daten kann es das Modell in die Irre führen.
MSE = (1/n) · ∑(yi − ŷi)²
Formel: Mean Squared Error

Warum quadrieren und mitteln? Drei Gründe: (1) Ohne Quadrieren heben sich positive und negative Fehler gegenseitig auf — ein Fehler von +10 und einer von −10 ergäben im Schnitt null. (2) Große Fehler werden überproportional bestraft: Ein Fehler von 10 ergibt 100, aber ein Fehler von 50 ergibt 2.500 — nicht 5-mal so viel, sondern 25-mal. (3) Der Mittelwert macht den MSE zwischen Datensätzen unterschiedlicher Größe vergleichbar.

Beispiel: Drei Häuser, drei Fehler

Drei Häuser mit Vorhersagefehlern: +10.000 €, −5.000 € und −50.000 €.

Quadriert: 100 Mio., 25 Mio. und 2.500 Mio. MSE = (100 + 25 + 2.500) / 3 = 875 Mio.

Der dritte Fehler (−50.000) dominiert den gesamten MSE — das ist beabsichtigt. Das Quadrieren sorgt dafür, dass das Modell große Ausreißer nicht ignorieren kann.

Achtung

Missverständnis: MSE ist nur eine Zahl, die man nach dem Training abliest

MSE (oder verwandte Funktionen) ist tatsächlich das Navigationssignal: Das Modell passt seine Gewichte in die Richtung an, die diesen Wert verkleinert. Ohne Loss-Funktion hat das Modell keinen Kompass — es wüsste nicht, in welche Richtung es seine Gewichte ändern soll.

Stell dir die Quadratfunktion wie eine runde Schüssel vor: Eine Kugel rollt immer sanft und eindeutig zum tiefsten Punkt — es gibt keinen Zweifel, wo es bergab geht. Absolutwerte (|y − ŷ|) sind dagegen wie ein V-Tal mit einem spitzen Knick ganz unten, an dem der Optimierungs-Algorithmus ins Stolpern geraten kann. Deshalb bevorzugt man die glatte Quadratfunktion. Außerdem: Logistische Regression verwendet nicht MSE, sondern Log Loss (Binary Cross-Entropy) als Loss-Funktion, weil MSE bei Wahrscheinlichkeiten ein zu flaches Signal liefert.

Interaktiv: Schlag die Gerade

Von Zahlen zu Entscheidungen — Logistische Regression

Definition

Logistische Regression

Analogie

Stell dir einen Türsteher vor einem Club vor, der ein internes Punktesystem hat: Aussehen, Verhalten, Ausweis. Er rechnet mental eine Punktzahl zusammen und wandelt sie in eine Eintrittswahrscheinlichkeit um. Anders als ein menschlicher Türsteher hat das Modell einen präzisen, verstellbaren Schwellenwert, der je nach Kontext angepasst werden kann (z. B. vorsichtiger bei medizinischen Diagnosen).

Beispiel

Ein echter Türsteher entscheidet nach Gefühl und Erfahrung — sein Schwellenwert ist unscharf und kontextabhängig. Das Modell hat eine mathematisch exakte Schwelle, die man bewusst verschieben kann. Außerdem: Der Türsteher kann den Kontext «Gast hat schlechte Laune» lesen — das Modell sieht nur die Features, die es bekommt.
σ(z) = 1 / (1 + e−z)
Formel: Sigmoidfunktion

Dieses z ist genau das Ergebnis der gewichteten Summe aus dem vorherigen Schritt — die intern berechneten Punkte des Türstehers. Die Sigmoidfunktion presst diese Zahl in den Bereich zwischen 0 und 1. Für große positive z nähert sie sich 1, für große negative z nähert sie sich 0, und bei z = 0 ergibt sie exakt 0,5. So wird aus einer unbeschränkten gewichteten Summe eine Wahrscheinlichkeit.

Beispiel: Spam-Klassifikator

Ein Spam-Klassifikator mit drei Features: verdächtige Wörter, unbekannter Absender und Dringlichkeitssprache.

Gewichtete Summe z = 1,8. Sigmoid(1,8) ≈ 0,858.

Da 0,858 > 0,5 ist, klassifiziert das Modell die E-Mail als «Spam» mit einer Modell-Konfidenz von ca. 86 %. In einem anderen Einsatz könnte ein Krankenhaus den Schwellenwert auf 0,3 senken, um mehr Risikopatienten zu erkennen — lieber einmal zu viel warnen als einen Fall übersehen.

Achtung

Missverständnis: Logistische Regression sagt Zahlenwerte wie Preise vorher

Der Name stammt aus der statistischen Herkunft: Logistische Regression «regrediert» auf Wahrscheinlichkeiten über den Logit-Link. In der Praxis ist es ein Klassifikator. Joseph Berkson prägte 1944 den Begriff «Logit» — der Name «logistische Regression» für solche Modelle setzte sich erst später durch und hat sich trotz der Verwirrung gehalten.

Lineare Regression

Ausgabe: kontinuierliche Zahl (z. B. Preis in €). Anwendung: Regression (Werte vorhersagen). Loss-Funktion: MSE.

Logistische Regression

Ausgabe: Wahrscheinlichkeit zwischen 0 und 1. Anwendung: Klassifikation (Klassen zuordnen). Loss-Funktion: Log Loss.

Interaktiv: Die Sigmoid-Formel Schritt für Schritt

Klicke auf jeden Term der Sigmoid-Formel, um seine Rolle zu verstehen. Das Beispiel zeigt eine konkrete Spam-Klassifikation mit z = 2.5.

Sigmoid-Formel

σ(z)1(1 + e⁻ᶻ)
σ(z) — Ergebnis

Die Ausgabe der Sigmoid-Funktion: eine Wahrscheinlichkeit zwischen 0 und 1. Bei σ(z) > 0.5 klassifiziert das Modell als positiv (z. B. Spam), bei σ(z) < 0.5 als negativ.

Konkretes Beispiel

Gegeben: Spam-Erkennung z = w·x + b = 0.5·5 + 0 = 2.5

Berechnung: z = w·x + b (Linearer Score) , σ(z) = 1/(1+e⁻ᶻ) (Sigmoid-Funktion)

1Exponentialterm berechnen: e^(−2.5) ≈ e^(−2.5) ≈ 0.082
2Nenner berechnen: 1 + 0.082 = 1 + 0.082 = 1.082
3Ergebnis: 1/1.082 ≈ 0.924 → Spam (> 0.5) 1/1.082 ≈ 0.924

Das große Bild — Brücke zum künstlichen Neuron

Was du in diesem Artikel gelernt hast, ist mehr als drei einzelne Konzepte. Es ist eine Kette, die exakt dem Aufbau und Training eines künstlichen Neurons entspricht:

  1. 1. Gewichtete SummeEingaben × Gewichte + Bias → eine Zahl (genau wie lineare Regression)
  2. 2. AktivierungsfunktionDie Zahl durch eine nichtlineare Funktion schicken (z. B. Sigmoid)
  3. 3. Loss-SignalVorhersage mit dem wahren Wert vergleichen und den Fehler messen (z. B. MSE)
  4. 4. Gewichts-UpdateGewichte in die Richtung anpassen, die den Loss verkleinert

Du verstehst bereits 80 % eines künstlichen Neurons — du weißt es nur noch nicht. Im nächsten Lernpfad (Deep Learning) triffst du das Neuron formell — und wirst erkennen, dass es genau diese Kette ist, nur mit mehr Schichten.

Adrien-Marie Legendre veröffentlichte 1805 die Methode der kleinsten Quadrate — das mathematische Fundament, auf dem MSE beruht. Francis Galton machte «Regression» in den 1880er-Jahren als Analysewerkzeug berühmt: Er beobachtete, dass extrem große Eltern Kinder bekamen, die näher am Durchschnitt lagen — eine «Rückkehr zum Mittelwert» (regression to the mean). Der Name blieb hängen, obwohl er heute allgemein das Vorhersagen von Zahlenwerten aus Eingaben bezeichnet. Joseph Berkson führte 1944 den Logit ein und baute darauf ein Regressionsmodell für Wahrscheinlichkeiten, das man heute meist als Klassifikator nutzt — eine Namensverwirrung, die bis heute besteht.

Merke

Kernaussagen

  • Ein lineares Modell sagt vorher, indem es jede Eingabe mit einem Gewicht multipliziert und einen Bias addiert — das Ergebnis ist eine gerade Linie (oder Hyperebene).
  • MSE misst die Vorhersagequalität, indem er quadrierte Fehler mittelt. Große Abweichungen werden bewusst härter bestraft als kleine.
  • Logistische Regression hüllt dieselbe gewichtete Summe in eine Sigmoidfunktion, sodass die Ausgabe zwischen 0 und 1 bleibt — aus einer Regressionsmaschine wird ein Klassifikator.
  • Gewichte + Bias + Aktivierungsfunktion + Loss = die Rezeptkarte für fast jedes neuronale Netz.

Prüfen

Verständnisprüfung

Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.

0 von 3 sitzen

Prüfen

Quiz: Lineare & Logistische Regression

Noch offen

In der Gleichung ŷ = w · x + b — wofür steht der Term b?

Wähle eine Antwort

Auflösung: 1) C · 2) B · 3) C · 4) B · 5) A · 6) C