Die mathematische Basis, auf die jeder Deep-Learning-Kurs erst nach drei Stunden eingeht.
Grundlagen 8 min Einsteiger 18. Mai 2026
Jedes Machine-Learning-Modell beginnt gleich: Eingaben mit Gewichten multiplizieren, einen Bias addieren und prüfen, wie falsch die Vorhersage ist. Lineare Regression macht das für Zahlenwerte, logistische Regression für Klassen — und zusammen bilden sie den Bauplan, dem jedes neuronale Netz bis heute folgt.
Im vorherigen Artikel hast du gelernt, was Supervised Learning ist: Daten mit Labels, Features und einem Zielwert. Jetzt triffst du die ersten Modelle, die tatsächlich etwas damit anfangen. Das Muster, das du hier lernst — gewichtete Summe, Fehlermessung, nichtlineare Aktivierung — ist exakt das Skelett eines neuronalen Netzes.
Die Vorhersagemaschine — Lineare Regression
Lineare Regression
AnalogieDefinition
Stell dir einen Immobilienmakler vor, der nach Hunderten von Deals eine grobe Preisformel entwickelt hat: «3.000 Euro pro Quadratmeter.» Diese Formel verdichtet seine Erfahrung zu einer geraden Linie. Genau das tut lineare Regression: Sie findet die Linie, die am besten zu den Daten passt.
Beispiel
Der Makler nutzt unkontrollierbare Kontextinformationen (Nachbarschaftsgefühl, Renovierungszustand), die er nicht explizit in Zahlen fasst. Das Modell kann nur Features verwenden, die es als Eingabe erhält — alles andere ist unsichtbar.
Analogie:
Stell dir einen Immobilienmakler vor, der nach Hunderten von Deals eine grobe Preisformel entwickelt hat: «3.000 Euro pro Quadratmeter.» Diese Formel verdichtet seine Erfahrung zu einer geraden Linie. Genau das tut lineare Regression: Sie findet die Linie, die am besten zu den Daten passt.
Beispiel
Der Makler nutzt unkontrollierbare Kontextinformationen (Nachbarschaftsgefühl, Renovierungszustand), die er nicht explizit in Zahlen fasst. Das Modell kann nur Features verwenden, die es als Eingabe erhält — alles andere ist unsichtbar.
Definition:
Ein Modell, das einen kontinuierlichen Wert vorhersagt, indem es eine gewichtete Summe der Eingaben plus einen Bias berechnet: ŷ = w₁·x₁ + w₂·x₂ + … + b. Das Modell lernt, indem es Gewichte und Bias so anpasst, dass die Vorhersagen möglichst nah an den tatsächlichen Werten liegen.
Formel: Lineare Regression (univariat)
ŷ = w · x + b
w ist das Gewicht (die Steigung der Linie), x ist der Eingabewert, und b ist der Bias (der y-Achsenabschnitt). Bei mehreren Eingaben wird die Formel zu ŷ = w₁·x₁ + w₂·x₂ + … + b — statt einer Linie beschreibt sie dann eine Ebene oder Hyperebene.
Beispiel: Immobilienpreise
Ein einfacher Datensatz: 50 m² → 150.000 €, 80 m² → 240.000 €, 120 m² → 360.000 €. Die bestpassende Linie: ŷ = 3.000 · x.
Für eine 100-m²-Wohnung: ŷ = 3.000 · 100 = 300.000 €.
Angenommen, der tatsächliche Preis beträgt 280.000 €. Das Residuum (der Fehler) ist: 300.000 − 280.000 = +20.000 €. Das Modell überschätzt den Preis um 20.000 €.
Missverständnis: Lineare Regression funktioniert nur mit einer Eingabe
Die univariate Formel y = mx + b ist der Lehr-Einstieg. Reale Modelle verwenden fast immer mehrere Features gleichzeitig (multivariat). Ein Immobilienpreis-Modell könnte Quadratmeter, Baujahr, Stockwerk und Entfernung zum Stadtzentrum berücksichtigen — jedes Feature bekommt ein eigenes Gewicht.
Interaktiv: Wie Trainingskosten skalieren
Verschiebe den Regler, um zu sehen, wie die Rechenkosten verschiedener Lösungsverfahren mit der Datenmenge wachsen. Gradient Descent skaliert linear, die Normalengleichung quadratisch.
1010000
Prediction (1)1
Gradient Descent100
Normal Equation10.000
Moderater Input
Bei n=100 wird der Unterschied sichtbar: O(n²) braucht 10.000 Operationen, während O(n) nur 100 braucht. O(log n) braucht nur 6.6 — das ist 15x weniger als O(n).
Verhältnis zu O(n)
Komplexität
Operationen
Faktor vs. O(n)
Prediction (1)
1
100x schneller
Gradient Descent
100
1x (Referenz)
Normal Equation
10.000
100x langsamer
Punkte zählen — Mean Squared Error
Mean Squared Error (MSE)
AnalogieDefinition
Stell dir eine Bogenschießen-Zielscheibe vor: Das Zentrum ist der wahre Wert, und jeder Pfeil ist eine Vorhersage. Pfeile, die weit vom Zentrum entfernt landen, zählen überproportional stark, weil die «Straffläche» (das Quadrat) mit dem Abstand wächst. Ein Pfeil, der doppelt so weit danebenliegt, gibt nicht doppelt so viele Minuspunkte, sondern viermal so viele.
Beispiel
Bei Ausreißern kann ein einziger wilder Pfeil den gesamten Score dominieren. Beim Bogenschießen ist das unproblematisch, aber bei verrauschten Daten kann es das Modell in die Irre führen.
Analogie:
Stell dir eine Bogenschießen-Zielscheibe vor: Das Zentrum ist der wahre Wert, und jeder Pfeil ist eine Vorhersage. Pfeile, die weit vom Zentrum entfernt landen, zählen überproportional stark, weil die «Straffläche» (das Quadrat) mit dem Abstand wächst. Ein Pfeil, der doppelt so weit danebenliegt, gibt nicht doppelt so viele Minuspunkte, sondern viermal so viele.
Beispiel
Bei Ausreißern kann ein einziger wilder Pfeil den gesamten Score dominieren. Beim Bogenschießen ist das unproblematisch, aber bei verrauschten Daten kann es das Modell in die Irre führen.
Definition:
MSE = (1/n) · ∑(yᵢ − ŷᵢ)². Der MSE mittelt die quadrierten Differenzen zwischen tatsächlichen und vorhergesagten Werten. Er ist keine Eigenschaft der Daten, sondern eine Bewertungsregel, nach der das Modell beurteilt wird. Sein bester möglicher Wert ist 0 (perfekte Vorhersagen).
Formel: Mean Squared Error
MSE = (1/n) · ∑(yi − ŷi)²
Warum quadrieren? Drei Gründe: (1) Ohne Quadrieren heben sich positive und negative Fehler gegenseitig auf — ein Fehler von +10 und einer von −10 ergäben im Schnitt null. (2) Große Fehler werden überproportional bestraft: Ein Fehler von 10 ergibt 100, aber ein Fehler von 50 ergibt 2.500 — nicht 5-mal so viel, sondern 25-mal. (3) Der Mittelwert macht den MSE zwischen Datensätzen unterschiedlicher Größe vergleichbar.
Beispiel: Drei Häuser, drei Fehler
Drei Häuser mit Vorhersagefehlern: +10.000 €, −5.000 € und −50.000 €.
Der dritte Fehler (−50.000) dominiert den gesamten MSE — das ist beabsichtigt. Das Quadrieren sorgt dafür, dass das Modell große Ausreißer nicht ignorieren kann.
Missverständnis: MSE ist nur eine Zahl, die man nach dem Training abliest
MSE (oder verwandte Funktionen) ist tatsächlich das Navigationssignal: Das Modell passt seine Gewichte in die Richtung an, die diesen Wert verkleinert. Ohne Loss-Funktion hat das Modell keinen Kompass — es wüsste nicht, in welche Richtung es seine Gewichte ändern soll.
Deep Dive: Warum nicht einfach Absolutwerte?
Stell dir die Quadratfunktion wie eine runde Schüssel vor: Eine Kugel rollt immer sanft und eindeutig zum tiefsten Punkt — es gibt keinen Zweifel, wo es bergab geht. Absolutwerte (|y − ŷ|) sind dagegen wie ein V-Tal mit einem spitzen Knick ganz unten, an dem der Optimierungs-Algorithmus ins Stolpern geraten kann. Deshalb bevorzugt man die glatte Quadratfunktion. Außerdem: Logistische Regression verwendet nicht MSE, sondern Log Loss (Binary Cross-Entropy) als Loss-Funktion, weil MSE bei Wahrscheinlichkeiten ein zu flaches Signal liefert.
Interaktiv: Schlag die Gerade
Interaktive Demo wird geladen …
Von Zahlen zu Entscheidungen — Logistische Regression
Logistische Regression
AnalogieDefinition
Stell dir einen Türsteher vor einem Club vor, der ein internes Punktesystem hat: Aussehen, Verhalten, Ausweis. Er rechnet mental eine Punktzahl zusammen und wandelt sie in eine Eintrittswahrscheinlichkeit um. Anders als ein menschlicher Türsteher hat das Modell einen präzisen, verstellbaren Schwellenwert, der je nach Kontext angepasst werden kann (z. B. strenger bei medizinischen Diagnosen).
Beispiel
Ein echter Türsteher entscheidet nach Gefühl und Erfahrung — sein Schwellenwert ist unscharf und kontextabhängig. Das Modell hat eine mathematisch exakte Schwelle, die man bewusst verschieben kann. Außerdem: Der Türsteher kann den Kontext «Gast hat schlechte Laune» lesen — das Modell sieht nur die Features, die es bekommt.
Analogie:
Stell dir einen Türsteher vor einem Club vor, der ein internes Punktesystem hat: Aussehen, Verhalten, Ausweis. Er rechnet mental eine Punktzahl zusammen und wandelt sie in eine Eintrittswahrscheinlichkeit um. Anders als ein menschlicher Türsteher hat das Modell einen präzisen, verstellbaren Schwellenwert, der je nach Kontext angepasst werden kann (z. B. strenger bei medizinischen Diagnosen).
Beispiel
Ein echter Türsteher entscheidet nach Gefühl und Erfahrung — sein Schwellenwert ist unscharf und kontextabhängig. Das Modell hat eine mathematisch exakte Schwelle, die man bewusst verschieben kann. Außerdem: Der Türsteher kann den Kontext «Gast hat schlechte Laune» lesen — das Modell sieht nur die Features, die es bekommt.
Definition:
Ein Klassifikationsmodell, das dieselbe gewichtete Summe wie lineare Regression berechnet und dann durch die Sigmoidfunktion σ(z) = 1/(1+e⁻ᶻ) schickt, um eine Wahrscheinlichkeit zwischen 0 und 1 zu erzeugen. Ein Schwellenwert (typischerweise 0,5) wandelt diese Wahrscheinlichkeit in ein Klassen-Label um.
Formel: Sigmoidfunktion
σ(z) = 1 / (1 + e−z)
Dieses z ist genau das Ergebnis der gewichteten Summe aus dem vorherigen Schritt — die intern berechneten Punkte des Türstehers. Die Sigmoidfunktion presst diese Zahl in den Bereich zwischen 0 und 1. Für große positive z nähert sie sich 1, für große negative z nähert sie sich 0, und bei z = 0 ergibt sie exakt 0,5. So wird aus einer unbeschränkten gewichteten Summe eine Wahrscheinlichkeit.
Beispiel: Spam-Klassifikator
Ein Spam-Klassifikator mit drei Features: verdächtige Wörter, unbekannter Absender und Dringlichkeitssprache.
Gewichtete Summe z = 1,8. Sigmoid(1,8) ≈ 0,858.
Da 0,858 > 0,5 ist, klassifiziert das Modell die E-Mail als «Spam» mit einer Modell-Konfidenz von ca. 86 %. Ein Krankenhaus könnte den Schwellenwert auf 0,3 senken, um mehr Risikopatienten zu erkennen — lieber einmal zu viel warnen als einen Fall übersehen.
Missverständnis: Logistische Regression ist ein Regressionsverfahren
Der Name stammt aus der statistischen Herkunft: Logistische Regression «regrediert» auf Wahrscheinlichkeiten über den Logit-Link. In der Praxis ist es ein Klassifikator. Joseph Berkson prägte 1944 den Begriff «Logit» — der verwirrende Name hat sich seitdem gehalten.
Lineare Regression
Ausgabe: kontinuierliche Zahl (z. B. Preis in €). Anwendung: Regression (Werte vorhersagen). Loss-Funktion: MSE.
Logistische Regression
Ausgabe: Wahrscheinlichkeit zwischen 0 und 1. Anwendung: Klassifikation (Klassen zuordnen). Loss-Funktion: Log Loss.
Interaktiv: Die Sigmoid-Formel Schritt für Schritt
Klicke auf jeden Term der Sigmoid-Formel, um seine Rolle zu verstehen. Das Beispiel zeigt eine konkrete Spam-Klassifikation mit z = 2.5.
Sigmoid-Formel
σ(z)=1/(1 + e⁻ᶿ)
σ(z) — Ergebnis
Die Ausgabe der Sigmoid-Funktion: eine Wahrscheinlichkeit zwischen 0 und 1. Bei σ(z) > 0.5 klassifiziert das Modell als positiv (z.B. Spam), bei σ(z) < 0.5 als negativ.
Konkretes Beispiel
Gegeben: Spam-Erkennung z = w·x + b = 0.5·5 + 0 = 2.5
Berechnung: z = w·x + b (Linearer Score) , σ(z) = 1/(1+e⁻ᶿ) (Sigmoid-Funktion)
Was du in diesem Artikel gelernt hast, ist mehr als drei einzelne Konzepte. Es ist eine Kette, die exakt dem Aufbau eines künstlichen Neurons entspricht:
1
Gewichtete Summe Eingaben × Gewichte + Bias → eine Zahl (genau wie lineare Regression)
2
Aktivierungsfunktion Die Zahl durch eine nichtlineare Funktion schicken (z. B. Sigmoid)
3
Loss-Signal Vorhersage mit dem wahren Wert vergleichen und den Fehler messen (z. B. MSE)
4
Gewichts-Update Gewichte in die Richtung anpassen, die den Loss verkleinert
Du verstehst bereits 80 % eines künstlichen Neurons — du weißt es nur noch nicht. Im nächsten Pfad (I.F: Deep Learning) triffst du das Neuron formell — und wirst erkennen, dass es genau diese Kette ist, nur mit mehr Schichten.
Deep Dive: Historische Ursprünge
Adrien-Marie Legendre veröffentlichte 1805 die Methode der kleinsten Quadrate — das mathematische Fundament, auf dem MSE beruht. Francis Galton machte «Regression» in den 1880er-Jahren als Analysewerkzeug berühmt: Er beobachtete, dass extrem große Eltern eher durchschnittlich große Kinder bekamen — eine «Rückkehr zum Mittelwert» (regression to the mean). Der Name blieb hängen, obwohl er heute etwas völlig anderes bedeutet. Joseph Berkson führte 1944 den Logit ein und nannte ein Klassifikationsverfahren versehentlich «Regression» — eine Namensverwirrung, die bis heute besteht.
Kernaussagen
Ein lineares Modell sagt vorher, indem es jede Eingabe mit einem Gewicht multipliziert und einen Bias addiert — das Ergebnis ist eine gerade Linie (oder Hyperebene).
MSE misst die Vorhersagequalität, indem er quadrierte Fehler mittelt. Große Abweichungen werden bewusst härter bestraft als kleine.
Logistische Regression hüllt dieselbe gewichtete Summe in eine Sigmoidfunktion, sodass die Ausgabe zwischen 0 und 1 bleibt — aus einer Regressionsmaschine wird ein Klassifikator.
Gewichte + Bias + Aktivierungsfunktion + Loss = die Rezeptkarte für jedes neuronale Netz.
Verständnisprüfung
Erkläre die Formel ŷ = w · x + b: Was ist w, was ist b, und was passiert bei mehreren Eingaben?
Berechne den MSE für die Fehler +4, −2 und +6.
Ein logistisches Modell gibt σ(z) = 0,42 aus. Das Krankenhaus verwendet den Schwellenwert 0,3. Wird der Patient als Risikopatient klassifiziert?
Quiz: Lineare & Logistische Regression
Frage 1 / 6
Noch offen
In der Gleichung ŷ = w · x + b — wofür steht der Term b?
1. In der Gleichung ŷ = w · x + b — wofür steht der Term b?
☐ A) Die Steigung der Linie
☐ B) Der Vorhersagefehler
☐ C) Der Bias (y-Achsenabschnitt)
☐ D) Die Lernrate
2. Ein lineares Modell sagt Immobilienpreise vorher: ŷ = 2.500 · x + 10.000. Was sagt es für eine 60-m²-Wohnung vorher?
☐ A) 150.000 €
☐ B) 160.000 €
☐ C) 140.000 €
☐ D) 170.000 €
3. Drei Vorhersagen haben Fehler von +4, −2 und +6. Wie groß ist der MSE?
☐ A) 8/3
☐ B) 12/3
☐ C) 56/3
☐ D) 36/3
4. Ein logistisches Regressionsmodell gibt σ(z) = 0,72 aus. Ein Krankenhaus verwendet den Schwellenwert 0,60 zur Risiko-Einstufung. Welche Klassifikation ergibt sich — und was passiert, wenn der Schwellenwert auf 0,40 gesenkt wird?
☐ A) Kein Risiko bei beiden Schwellenwerten
☐ B) Risikopatient bei beiden Schwellenwerten
☐ C) Kein Risiko bei 0,60, Risikopatient bei 0,40
☐ D) Risikopatient bei 0,60, kein Risiko bei 0,40
5. Warum quadriert MSE die Fehler, statt Absolutwerte zu verwenden?
☐ A) Quadrieren verhindert, dass sich positive und negative Fehler aufheben, und bestraft große Fehler überproportional
☐ B) Quadrieren ist recheneffizienter
☐ C) Quadrieren macht alle Fehler gleich groß
☐ D) Quadrieren ist gesetzlich vorgeschrieben in der Statistik
6. Dein Team soll vorhersagen, ob ein Kunde seinen Vertrag kündigt (ja/nein). Ein Kollege schlägt lineare Regression vor. Warum ist logistische Regression besser geeignet?
☐ A) Lineare Regression kann keine Fehler berechnen
☐ B) Logistische Regression ist schneller
☐ C) Lineare Regression gibt unbeschränkte Zahlenwerte aus, die nicht als Wahrscheinlichkeit interpretierbar sind — logistische Regression erzeugt durch die Sigmoidfunktion Werte zwischen 0 und 1
☐ D) Lineare Regression braucht mehr Daten
Auflösung: 1) C · 2) B · 3) C · 4) B · 5) A · 6) C