LLM-Grundlagen II – Im Modell Ein geöffnetes Decoder-Modell: Eingabe-Tokens, Embeddings, wiederholte Pre-Norm-Transformer-Blöcke mit kausaler Attention und MLP-Residualpfaden, danach finale Normalisierung und Vokabularprojektion für die nächste Token-Verteilung. KI FÜR ENTWICKLER LLM-Grundlagen II Im Modell In Teil I war das Modell eine Blackbox. Jetzt öffnen wir sie. Hineinschauen Tokens durch den Decoder-Stapel verfolgen. Attention verstehen Wie Kontext die nächste Token-Vorhersage prägt. Intuition entwickeln Architektur mit dem Entwickleralltag verbinden. DECODER-SPRACHMODELL EINGABE The future of AI is Token- Embeddings Transformer-Block × N Norm → kausale Attention + Residualpfad Norm → MLP + Residualpfad RoPE: Position in Q und K Üblicher Pre-Norm-Aufbau Finale Norm + Vokabular- projektion NÄCHSTES TOKEN Verteilung Schematische Verteilung UNSER WEG Tokens → Darstellungen → Attention → Kontext → nächstes Token LLM-GRUNDLAGEN II · 2026 1 / 16
01 02 03 04 05 06 07 08 The future of AI is … The 101 future 205 of 309 AI 412 is 518 Attention MLP Token wählen bright The future of AI is bright Token anhängen, einbetten und erneut vorhersagen Text (Eingabe) Tokenisierung Token-IDs Token- Embeddings (Vektoren) Modell (Transformer) Nächstes Token: Verteilung Token wählen Token- Anhängen & Wiederholen AUSGABE Erzeugter Text (Ausgabe) The future of AI is bright. Kernaussage: LLMs verarbeiten keinen Text direkt, sondern Zahlenvektoren. Sie sagen das nächste Token vorher – Schritt für Schritt. Dein Prompt Beispielaufteilung Beispiel-IDs Erlernte Vektoren Einfacher Stapel Schematische Verteilung Sampling oder Greedy-Decoding Bis zu einer Stoppbedingung Stoppbedingung ist erfüllt. × N Blöcke KI FÜR ENTWICKLER Rückblick: Vom Text zur Vorhersage Teil I zeigte den gesamten Weg vom Eingabetext zum nächsten Token. Hier noch einmal das Gesamtbild. LLM-GRUNDLAGEN II · 2026 2 / 16
KI FÜR ENTWICKLER Was steckt in der Blackbox? Ein Decoder-Transformer bildet aus Token-IDs kontextuelle Vektoren und nächste Token-Scores (Logits). Hier: ein üblicher sequenzieller Pre-Norm-Aufbau, wie bei Llama-Modellen. TEXT → TOKENS → IDs “The future of AI is …” The 101 future 205 of 309 AI 412 is 518 Aufteilung und IDs schematisch IM MODELL 1 Embedding- Lookup Ein Vektor pro Token 2 Decoder-Block × N Gleicher Aufbau; eigene erlernte Gewichte Norm Kausale Self-Attention Norm MLP / Feed-Forward + + 3 Finale Norm Kontextuelle Darstellungen Letzte Position → 4 Vokabular-Kopf Lineare Projektion → Logits bright 3.2 changing 1.6 unclear −0.7 Schematische rohe Scores Softmax → Wahrscheinlichkeiten Dann das nächste Token wählen Rotary Position Embedding (RoPE) dreht Query- und Key-Vektoren gemäß der Tokenposition. So reagiert Attention auf relative Positionen. Die kausale Maske sperrt künftige Tokens. GRUNDIDEE Attention mischt Kontext, MLPs formen Merkmale und der Vokabular-Kopf bewertet nächste Tokens. LLM-GRUNDLAGEN II · 2026 3 / 16
KI FÜR ENTWICKLER Warum Kontext zählt Dasselbe Token kann je nach Kontext andere Darstellungen und nächste Token-Vorhersagen haben. Im kausalen Decoder nutzt jede Position sich selbst und frühere Tokens – niemals spätere. A FINANZKONTEXT Früherer Kontext To deposit cash, I visited the bank Kausale Attention + MLPs über Schichten Kontextuelle Darstellung von „bank“ Beispielvektor Mögliche nächste Tokens: branch to and „bank“ bezeichnet ein Geldinstitut. Beispiele, keine gemessene Rangfolge B AM FLUSSUFER Früherer Kontext Along the river, we sat on the bank Kausale Attention + MLPs über Schichten Kontextuelle Darstellung von „bank“ Beispielvektor Mögliche nächste Tokens: and of near „bank“ bezeichnet das Ufer eines Flusses. Beispiele, keine gemessene Rangfolge GRUNDIDEE Die Token-ID bleibt gleich; seine Darstellung ändert sich mit dem vorhergehenden Kontext. LLM-GRUNDLAGEN II · 2026 4 / 16
KI FÜR ENTWICKLER Der Transformer – Die Kernarchitektur Viele moderne LLMs nutzen Decoder-Transformer: Wiederholte Blöcke verfeinern kontextuelle Darstellungen. Gezeigt ist ein üblicher Pre-Norm-Aufbau. Block, Positionsmethode und Attention variieren je nach Modell. WARUM DIESE ARCHITEKTUR? Kontext verknüpfen Kausale Attention verbindet Informationen erlaubter Tokens. Tiefe + Residualpfade Schichten verfeinern Merkmale; Skip-Verbindungen helfen im Training. Parallel rechnen Training / Prefill: parallel. Decoding: schrittweise. EINGABE DECODER-STAPEL AUSGABE The future of AI is Tokenisierter Prompt Embedding-Lookup EIN DECODER-BLOCK · N-MAL WIEDERHOLEN Norm → kausale Self-Attention + Residualpfad Norm → MLP + Residualpfad Jeder Block hat eigene erlernte Gewichte RoPE liefert Position innerhalb der Attention Finale Norm → Vokabularprojektion Letzte Position bewertet das nächste Token Logits bright 3.2 new 1.1 Schematische rohe Scores Softmax Token-Verteilung Auswahl: „bright“ Sampling oder Greedy-Auswahl; dann anhängen und wiederholen. Embedding-Vektoren → Stapel Attention mischt Positionen, MLPs formen Merkmale. Norm und Residualpfade stabilisieren den Stapel. GRUNDIDEE Decoder-Blöcke bilden Kontext; der Ausgabekopf macht daraus Scores für das nächste Token. LLM-GRUNDLAGEN II · 2026 5 / 16
KI FÜR ENTWICKLER Der Transformer- Block Ein Decoder-Block hat zwei Teilschichten: Attention mischt Kontext, das MLP formt Tokenmerkmale. Sequenzieller Pre-Norm-Aufbau: vor jeder Teilschicht normalisieren, dann ihr Update zum Residualstrom addieren. EIN DECODER-BLOCK · ZWEI TEILSCHICHTEN x Norm 1 KAUSALE SELF-ATTENTION Informationen erlaubter Tokenpositionen verbinden + h Residual- / Skip-Pfad h Norm 2 POSITIONSWEISES MLP Merkmale jedes Tokens separat umformen + y Residual- / Skip-Pfad Positionsinformation und kausale Maske steuern Attention. Gleiche MLP-Gewichte je Position; hier keine Mischung zwischen Positionen. AUFGABEN DER BAUSTEINE Attention Jede Position nutzt sich und frühere Positionen für kontextuelle Merkmale. Norm + Residualpfad Eingabe normalisieren; Ausgabe zum unveränderten Residualpfad addieren. MLP / Feed-Forward Formt Merkmale unabhängig an jeder Position um. Norm = Normalisierung. MLP = mehrschichtiges Perzeptron. Normierung und Aktivierung variieren je nach Modell. PRE-NORM h = x + Attention(Norm(x)) y = h + MLP(Norm(h)) LLM-GRUNDLAGEN II · 2026 6 / 16
KI FÜR ENTWICKLER Attention – Die Grundidee Attention bildet je Tokenposition eine gewichtete Mischung der Informationen zugänglicher Positionen. Gewichte hängen von Eingabe, Schicht und Attention-Kopf ab. Sie werden für jede Query neu berechnet. BEISPIEL · „bank“ VERARBEITEN To deposit cash, I visited the bank yesterday Frühere + aktuelle Tokens: erlaubt Zukunft: maskiert Attention-Gewichte für die Query bei „bank“ 0.04 0.34 0.28 0.03 0.10 0.06 0.15 0.00 Hohes Gewicht → größerer Beitrag des Value-Vektors dieser Position. Beispielgewichte eines Kopfes, keine gemessenen Modellausgaben. Die Summe ist 1. SO ENTSTEHT DIE MISCHUNG 1 Vergleichen Die aktuelle Query wird mit den Keys zugänglicher Positionen verglichen. 2 Normieren Zukunft maskieren, dann Scores mit Softmax in Gewichte umwandeln. 3 Mischen Jeden Value-Vektor gewichten und zu einem Ausgabevektor aufsummieren. Queries, Keys und Values sind erlernte Projektionen der Token-Darstellungen. Dazu mehr auf den nächsten Folien. GRUNDIDEE Attention mischt Value-Vektoren. Sie wählt kein nächstes Token und belegt keine Erklärung einer Antwort.
LLM-GRUNDLAGEN II · 2026 7 / 16
KI FÜR ENTWICKLER Self-Attention in der Praxis Folie 7 zeigte eine Query bei „bank“. Jetzt geschieht dasselbe an jeder Tokenposition. Jede Zeile hat eine eigene Query, erlaubte Keys und Gewichte. Alle Positionen teilen die erlernten Projektionen. WER KANN WEN BEACHTEN? Query ↓ / Key → To deposit cash, I visited the bank yesterday To × × × × × × × deposit × × × × × × cash, × × × × × I × × × × visited × × × the × × bank .04 .34 .28 .03 .10 .06 .15 0 yesterday Blau: erlaubt · Grau: maskiert · Violett: Beispielgewichte aus Folie 7 1 Eine Query je Position „bank“ nutzt sich und frühere Tokens. „yesterday“ kann auch „bank“ nutzen. „bank“ sieht nicht voraus auf „yesterday“. 2 Eine kontextuelle Ausgabe je Position Jede Zeile mischt zugängliche Value-Vektoren. Die violette Zeile ergibt 1; die anderen haben eigene, hier nicht gezeigte Gewichte. 3 Parallel rechnen, kausal zugreifen Training und Prompt-Prefill berechnen Zeilen parallel. Die Maske sperrt die Zukunft. „Self“ heißt: Queries, Keys und Values stammen aus derselben Folge. Gezeigt: ein Kopf in einer Schicht. GRUNDIDEE Jede Position bildet ihre kontextuelle Darstellung – ohne künftige Tokens zu sehen.
LLM-GRUNDLAGEN II · 2026 8 / 16
KI FÜR ENTWICKLER Queries, Keys und Values Drei erlernte lineare Projektionen erzeugen Queries, Keys und Values aus denselben Eingabedarstellungen. Weiter mit „bank“: Die Query wird mit erlaubten Keys verglichen; die Gewichte mischen dann die Values. EINE EINGABE · DREI ERLERNTE PROJEKTIONEN X: ein normalisierter Tokenvektor je Zeile QUERY Q = X · WQ KEY K = X · WK VALUE V = X · WV Query-Zeile bei „bank“ K an erlaubten Positionen V an erlaubten Positionen Q · K → skalierte Scores → Maske → Softmax Attention-Ausgabe = gewichtete Summe der V-Vektoren Query: Was passt zu dieser Position? Q bestimmt bei „bank“ die Bewertung der verfügbaren Keys in diesem Kopf. Key: Wie passt eine Position? Jede Position liefert einen K-Vektor. RoPE dreht Q und K vor der Bewertung. Value: Welche Information wird gemischt? Jede Position liefert auch einen V-Vektor. Die Gewichte skalieren die Vektoren, dann werden sie zu einer Ausgabe addiert. Ein Kopf dargestellt. X hat eine Zeile je Token; erlernte W-Projektionen werden über Positionen geteilt. GRUNDIDEE Queries und Keys bestimmen Gewichte. Values liefern die zu mischenden Informationen. LLM-GRUNDLAGEN II · 2026 9 / 16
KI FÜR ENTWICKLER Multi-Head- Attention Mehrere Attention-Köpfe verarbeiten dieselbe Folge parallel mit verschiedenen erlernten Projektionen. Ihre Ausgaben werden verkettet, projiziert und zur Residualaddition im Decoder-Block weitergereicht. EINE FOLGE · MEHRERE PARALLELE KÖPFE X: normalisierte Token-Darstellungen KOPF 1 Eigene Q-, K- und V-Projektionen Kausale Attention → z 1 Gleiche Grenze: nur Vergangenheit KOPF 2 Eigene Q-, K- und V-Projektionen Kausale Attention → z 2 Gleiche Grenze: nur Vergangenheit KOPF 3 Eigene Q-, K- und V-Projektionen Kausale Attention → z 3 Gleiche Grenze: nur Vergangenheit Verketten [z₁ | z₂ | z₃] Wₒ Y WAS DIE GRAFIK ZEIGT 1 Jeder Kopf hat erlernte Q/K/V-Projektionen. Er kann andere Attention-Gewichte zuweisen. 2 Ausgaben werden verkettet und mit der erlernten Ausgabeprojektion Wₒ gemischt. 3 Köpfe haben keine festen semantischen Rollen. Muster und nützliche Rollen entstehen im Training. MODELLVARIANTEN MHA: eigene K/V je Query-Kopf. GQA / MQA: K/V für Gruppen / alle Köpfe geteilt. Zur Übersicht nur drei Köpfe. Kopfzahl und K/V-Teilung hängen von der Modellkonfiguration ab. GRUNDIDEE Mehrere erlernte Sichten auf denselben Kontext bilden eine gemeinsame Attention-Ausgabe. LLM-GRUNDLAGEN II · 2026 10 / 16
KI FÜR ENTWICKLER Position zählt Dieselben Wörter in anderer Reihenfolge können ein anderes Ereignis beschreiben. Viele Decoder-Modelle nutzen RoPE, damit Attention die Position berücksichtigt. GLEICHE WÖRTER · ANDERE ROLLEN 0 1 2 3 4 5 POS The dog chased the cat . Jäger: Hund Gejagt: Katze The cat chased the dog . Jäger: Katze Gejagt: Hund Wortboxen sind schematisch; ein Tokenizer kann Wörter in kleinere Teile zerlegen. RoPE · ROTARY POSITION EMBEDDING Für einen Attention-Kopf: Q und K nach Position drehen. QUERY bei i Drehung um i KEY bei j Drehung um j vergleichen gedrehtes Q · gedrehtes K Der relative Abstand beeinflusst den Score. Die kausale Maske sperrt separat künftige Positionen. RoPE ist eine Positionsmethode (z. B. Llama). Andere Modelle nutzen gelernte Positionen oder Attention-Bias. GRUNDIDEE Position hilft Attention zu erkennen, was ein Token enthält und wo es steht. LLM-GRUNDLAGEN II · 2026 11 / 16
KI FÜR ENTWICKLER Schicht für Schicht Teil I lieferte Token-Embeddings: erlernte Startvektoren für Token-IDs. Decoder-Blöcke aktualisieren die Folge wiederholt und machen jede Position kontextabhängig. VOM TOKEN-EMBEDDING ZUR KONTEXTUELLEN DARSTELLUNG Beispielprompt · Wörter zur Übersicht I deposited cash at the bank . bank = Fokus TEIL I Embedding-Lookup gleiche ID → gleicher Start BLOCK 1 Beachten + umformen frühere Tokens tragen bei BLOCK 2 Beachten + umformen Merkmale werden aktualisiert BLOCK N Beachten + umformen bereit zur Vorhersage Nur „bank“ ist hervorgehoben. Jede Position durchläuft jeden Block; jeder Block hat eigene Gewichte. WAS JEDER BLOCK TUT 1 Kausale Self-Attention Mischt frühere und aktuelle Positionen. 2 MLP / Feed-Forward Formt Merkmale an jeder Position um. 3 Residualpfade + Pre-Norm Führen den Strom an beiden Teilschichten vorbei. Danach: finale Norm → Vokabular-Scores (Logits). Schichtrollen sind nicht fest: Es gibt keine allgemeine „Grammatik-“ oder „Faktenschicht“. GRUNDIDEE Embeddings bilden den Start; gestapelte Blöcke erzeugen kontextsensitive Zustände zur Vorhersage. LLM-GRUNDLAGEN II · 2026 12 / 16
KI FÜR ENTWICKLER Kontext fenster Das Modell nutzt die Tokens dieser Anfrage, einschließlich relevanter früherer Nachrichten, falls mitgesendet. Die Anwendung wählt die Inhalte; Chatrollen und Inhalte werden als modellspezifische Tokenfolge kodiert. WAS KANN IM AKTUELLEN KONTEXT STEHEN? System-/Entwickleranweisungen falls genutzt Frühere Nutzer- und Assistentenbeiträge falls behalten Tool-Ergebnisse / abgerufene Dokumente falls geliefert Aktuelle Nutzernachricht neue Eingabe Bisher erzeugte Assistenten-Tokens bei der Ausgabe ENDLICHES TOKEN- BUDGET Bei vollem Fenster können ältere Inhalte entfallen oder zusammengefasst werden. Die genaue Grenze hängt von Modell und Bereitstellung ab. KONTEXTFENSTER ≠ LANGZEITGEDÄCHTNIS Das Fenster ist die Arbeitseingabe dieser Anfrage. Prompting allein verändert keine Modellgewichte. Gespeicherte Fakten wirken nur, wenn die App sie mitgibt. FÜR ENTWICKLER 1 Ausgabe einplanen Eingabe und erzeugte Tokens teilen die Grenze. 2 Nützlichen Kontext wählen Relevantes abrufen; alte Beiträge zusammenfassen. 3 Verbleibende Inhalte prüfen Kürzung testen und kritische Fakten verifizieren. Ein größeres Fenster fasst mehr Tokens, garantiert aber keine zuverlässige Nutzung jedes Details. GRUNDIDEE Deine App muss nötige Informationen auswählen, einpassen und aktuell halten.
LLM-GRUNDLAGEN II · 2026 13 / 16
KI FÜR ENTWICKLER Training und Inferenz Dasselbe Decoder-Modell lernt aus bekannten Folgen oder erzeugt Text aus einem Prompt. Training vergleicht mit bekannten nächsten Tokens; Inferenz ergänzt einen Prompt um neue Tokens. TRAINING · GEWICHTE LERNEN Bekannte Folge: „The future of AI is bright“ EINGABEPOSITIONEN The future future of of AI AI is is bright BEKANNTE ZIEL-TOKENS Kausaler Vorwärtslauf → Scores an allen fünf Positionen Mit Zielen vergleichen → Verlust → Backprop → Gewichte ändern Jede Position sieht nur ihren linken Kontext; viele Verluste laufen parallel. INFERENZ · FESTE GEWICHTE NUTZEN Prompt: „The future of AI is“ The future of AI is Prefill: Promptpositionen verarbeiten Nächste Token-Scores → ein Token wählen „bright“ anhängen → nächster Decoding-Schritt Ausgabe-Tokens entstehen sequenziell; Gewichte bleiben fest. Ein KV-Cache kann frühere Keys und Values wiederverwenden. Wortboxen vereinfachen die Tokenisierung; „bright“ ist ein Beispiel, keine garantierte Vorhersage. GRUNDIDEE Training lernt Gewichte aus Fehlern; Inferenz erzeugt mit festen Gewichten jeweils ein neues Token. LLM-GRUNDLAGEN II · 2026 14 / 16
KI FÜR ENTWICKLER Warum LLMs falschliegen können Eine flüssige Antwort kann unbelegte oder falsche Aussagen enthalten. Token-Vorhersage erzeugt Text; faktische Richtigkeit braucht eigene Belege und Prüfungen. WO FEHLER ENTSTEHEN Frage + Kontext Modell bewertet Tokens Flüssige Antwort FLÜSSIG ≠ GEPRÜFT Eine Aussage braucht mehr Belege als wahrscheinlich klingende Wörter. 1 Erlernte Muster Trainingstexte können Fehler und Irrtümer enthalten. 2 Fehlende Belege Nötige Fakten können fehlen, veraltet sein oder schlecht genutzt werden. 3 Schlussfolgern / Generieren Berechnung, Schluss oder mehrstufige Antwort können scheitern. Aufgaben und Modelle scheitern unterschiedlich; teste deinen eigenen Anwendungsfall. ÜBERPRÜFBARE ANTWORTEN BAUEN 1 Mit Belegen fundieren Relevante, vertrauenswürdige Quellen abrufen. 2 Quellen prüfen Wichtige Aussagen mit der tatsächlichen Quelle abgleichen. 3 Tools nutzen Berechnungen, IDs und strukturierte Fakten validieren. 4 Evaluieren + enthalten Schwierige Fälle testen; „Ich weiß es nicht“ erlauben. Eine Token-Wahrscheinlichkeit ist nicht die Wahrscheinlichkeit, dass eine Aussage wahr ist. GRUNDIDEE Generierte Aussagen als Vorschläge behandeln: mit vertrauenswürdigen Belegen und Tools prüfen. LLM-GRUNDLAGEN II · 2026 15 / 16
KI FÜR ENTWICKLER Kernaussagen & Ausblick Wir haben Tokens von Embeddings über Decoder-Blöcke bis zu nächsten Token-Scores verfolgt. Nutze dieses Verständnis – und seine Grenzen – beim Entwurf von KI-Anwendungen. DAS MODELL IN VIER IDEEN 01 TOKENS → VEKTOREN Teil I: Token-IDs werden erlernten Embeddings zugeordnet. Sie sind die Startvektoren des Prompts. 02 SCHICHTEN BILDEN KONTEXT Kausale Attention und MLPs aktualisieren Vektoren. Normen und Residualpfade stützen den Stapel. 03 VORHERSAGEN & WIEDERHOLEN Finale Zustände liefern nächste Token-Logits. Token wählen, anhängen und fortfahren. 04 GRENZEN KENNEN Kontext ist endlich; flüssiger Text kann falsch sein. Belege und Überprüfung bleiben unverzichtbar. Positionsmethoden, Kopfteilung und Blockdetails variieren. Prüfe die Modellkonfiguration. NÄCHSTE SCHRITTE FÜR ENTWICKLER 1 Ein Modell prüfen Schichten, Köpfe, Positionsmethode, Kontextgrenze. 2 Einen Prompt verfolgen Token-IDs → Logits → gewählte Ausgabe-Tokens. 3 Auf Zuverlässigkeit setzen Relevante Belege, Tools und Validierung ergänzen. Dann an realen Aufgaben und Fehlerfällen evaluieren. Decoder-Modelle teilen Grundideen, sind aber nicht identisch implementiert. GRUNDIDEE Verstehe den Mechanismus und gestalte Kontext und Prüfungen passend dazu.
LLM-GRUNDLAGEN II · 2026 16 / 16 Pfeiltasten: navigieren · Pos1 / Ende: erste / letzte Folie · PDF herunterladen: alle 16 Folien als gespeicherte Fassung. Nach Änderungen an Folien muss das PDF neu erstellt werden. Englische Token-Beispiele bleiben zur Vergleichbarkeit erhalten.