LLMs ohne Wortnebel
Tokens, Transformer, Training, Inferenz und Kontextfenster – das technische Minimum für vernünftige Entscheidungen.
KI-Inhalte verändern sich schnell. Nächster planmäßiger Audit: 30.08.2026.
Ein Large Language Model berechnet wahrscheinliche Fortsetzungen in Tokenfolgen. Fähigkeiten entstehen aus Architektur, Daten, Training, Werkzeugen und Systemschichten.
Mehr Parameter bedeuten nicht automatisch mehr Nutzen. Datenqualität, Aufgabenpassung, Kontext, Latenz, Kosten und Systemdesign sind im Alltag oft wichtiger als eine einzelne Benchmarkzahl.
Token statt Wort
Modelle zerlegen Text in Einheiten. Deshalb sind Kosten, Kontextgrenzen und Sprachleistung nicht sauber an Wortzahlen gekoppelt.
Training und Inferenz
Im Training werden Parameter an großen Datenmengen angepasst. In der Inferenz erzeugt das fertige Modell Ausgaben. Feinabstimmung, Präferenztraining und Laufzeitwerkzeuge verändern das Verhalten zusätzlich.
Kontext ist Arbeitsgedächtnis, kein Archiv
Ein großes Kontextfenster garantiert weder Aufmerksamkeit noch korrekte Nutzung. Relevante, strukturierte und aktuelle Informationen schlagen bloßes Vollstopfen.
Behauptung & Befund
Es speichert keine verlässliche Liste von Fakten. Es kodiert statistische Muster in Parametern.
Kontext ist begrenzt, teuer und kann schlecht gewichtet werden. Externe Speicher brauchen Auswahl und Governance.
Quellen
- Attention Is All You Need Autor/Institution: Google ResearchPublisher: Google Research
- ChatGPT und GPT-Modellfamilie Autor/Institution: OpenAIPublisher: OpenAI
- Claude models overview Autor/Institution: AnthropicPublisher: Anthropic
- Gemini models Autor/Institution: Google DeepMindPublisher: Google DeepMind