Large Language Models (LLMs)
Deep LearningTiefe neuronale Netze – fast immer basierend auf der Transformer-Architektur – die auf enormen Mengen von Textdaten trainiert wurden, um menschliche Sprache zu verstehen und zu generieren. LLMs wie GPT-4, Claude oder Llama zeichnen sich durch ihre Größe aus (oft Hunderte Milliarden Parameter) und durch ihre Fähigkeit, mit minimalem Task-spezifischem Training eine breite Palette von Sprachaufgaben zu bewältigen. Die Transformer-Architektur von Vaswani et al. (2017) machte diese Skalierung erst möglich – durch Self-Attention statt Rekurrenz, was effiziente Parallelisierung und das Training auf beispiellosen Datenmengen ermöglichte.
Beispiel
GPT-4 kann Code schreiben, Texte zusammenfassen, Fragen beantworten und Dialoge führen – alles mit demselben Modell, ohne separate Spezialisierung. Diese Vielseitigkeit entsteht durch Training auf Billionen von Wörtern aus dem Internet.
Verwendet in
- Algorithmische Komplexität
- Datenstrukturen III (Schlüsselbasiert)
- Dem Modell eine Aufgabe geben
- Sicherheit & Prompt Injections
- Die Geburt der KI
- Bewusstsein vs. Wahrscheinlichkeit
- Heuristiken & Pfadsuche: Von Dijkstra zu A*
- No-Code Workflows mit n8n
- Function Calling — Wenn KI Knöpfe drückt
- Kontrolle & Finetuning
- Large Language Models
Quellen
- Vaswani, A., et al. (2017). Attention is All You Need. NIPS 2017
- Brown, T. B., et al. (2020). Language Models are Few-Shot Learners (GPT-3). arXiv:2005.14165
- Devlin, J., et al. (2018). BERT: Pre-training of Deep Bidirectional Transformers. arXiv:1810.04805
- Touvron, H., et al. (2023). LLaMA: Open and Efficient Foundation Language Models. arXiv:2302.13971