Zum Inhalt springen
LLM-Grundlagen II – Im ModellEin geöffnetes Decoder-Modell: Eingabe-Tokens, Embeddings, wiederholte Pre-Norm-Transformer-Blöcke mit kausaler Attention und MLP-Residualpfaden, danach finale Normalisierung und Vokabularprojektion für die nächste Token-Verteilung.KI FÜR ENTWICKLERLLM-Grundlagen IIIm ModellIn Teil I war das Modell eine Blackbox.Jetzt öffnen wir sie.HineinschauenTokens durch denDecoder-Stapel verfolgen.Attention verstehenWie Kontext die nächsteToken-Vorhersage prägt.Intuition entwickelnArchitektur mit demEntwickleralltag verbinden.DECODER-SPRACHMODELLEINGABEThefutureofAIisToken-EmbeddingsTransformer-Block × NNorm → kausale Attention+ ResidualpfadNorm → MLP+ ResidualpfadRoPE: Position in Q und KÜblicher Pre-Norm-AufbauFinale Norm+ Vokabular-projektionNÄCHSTES TOKENVerteilungSchematischeVerteilungUNSER WEGTokens → Darstellungen → Attention → Kontext → nächstes Token
LLM-GRUNDLAGEN II · 2026Dr. Jürgen Nützel, www.deenovum.com1 / 16
0102030405060708The futureof AI is…The101future205of309AI412is518AttentionMLPToken wählenbrightThefutureofAIisbrightToken anhängen, einbetten und erneut vorhersagenText(Eingabe)TokenisierungToken-IDsToken-Embeddings(Vektoren)Modell(Transformer)Nächstes Token:VerteilungToken wählenToken-Anhängen &WiederholenAUSGABEErzeugter Text(Ausgabe)The futureof AI isbright.Kernaussage:LLMs verarbeiten keinen Text direkt, sondern Zahlenvektoren. Sie sagen das nächste Token vorher –Schritt für Schritt.Dein PromptBeispielaufteilungBeispiel-IDsErlernte VektorenEinfacher StapelSchematischeVerteilungSampling oderGreedy-DecodingBis zu einerStoppbedingungStoppbedingungist erfüllt.× N BlöckeKI FÜR ENTWICKLERRückblick:Vom Text zur VorhersageTeil I zeigte den gesamten Weg vom Eingabetext zum nächsten Token.Hier noch einmal das Gesamtbild.
LLM-GRUNDLAGEN II · 2026Dr. Jürgen Nützel, www.deenovum.com2 / 16
KI FÜR ENTWICKLERWas steckt in derBlackbox?Ein Decoder-Transformer bildet aus Token-IDs kontextuelle Vektoren und nächste Token-Scores (Logits).Hier: ein üblicher sequenzieller Pre-Norm-Aufbau, wie bei Llama-Modellen.TEXT → TOKENS → IDs“The future of AI is …”The101future205of309AI412is518Aufteilung und IDs schematischIM MODELL1 Embedding-LookupEin Vektor pro Token2 Decoder-Block × NGleicher Aufbau; eigene erlernte GewichteNormKausale Self-AttentionNormMLP / Feed-Forward++3 Finale NormKontextuelleDarstellungenLetzte Position →4 Vokabular-KopfLineare Projektion → Logitsbright3.2changing1.6unclear−0.7Schematische rohe ScoresSoftmax → WahrscheinlichkeitenDann das nächste Token wählenRotary Position Embedding (RoPE) dreht Query- und Key-Vektoren gemäß der Tokenposition.So reagiert Attention auf relative Positionen. Die kausale Maske sperrt künftige Tokens.GRUNDIDEEAttention mischt Kontext, MLPs formen Merkmale und der Vokabular-Kopf bewertet nächste Tokens.
LLM-GRUNDLAGEN II · 2026Dr. Jürgen Nützel, www.deenovum.com3 / 16
KI FÜR ENTWICKLERWarumKontext zähltDasselbe Token kann je nach Kontext andere Darstellungen und nächste Token-Vorhersagen haben.Im kausalen Decoder nutzt jede Position sich selbst und frühere Tokens – niemals spätere.A FINANZKONTEXTFrüherer KontextTodepositcash,IvisitedthebankKausale Attention + MLPs über SchichtenKontextuelle Darstellung von „bank“BeispielvektorMögliche nächste Tokens:branchtoand„bank“ bezeichnet ein Geldinstitut.Beispiele, keine gemessene RangfolgeB AM FLUSSUFERFrüherer KontextAlongtheriver,wesatonthebankKausale Attention + MLPs über SchichtenKontextuelle Darstellung von „bank“BeispielvektorMögliche nächste Tokens:andofnear„bank“ bezeichnet das Ufer eines Flusses.Beispiele, keine gemessene RangfolgeGRUNDIDEEDie Token-ID bleibt gleich; seine Darstellung ändert sich mit dem vorhergehenden Kontext.
LLM-GRUNDLAGEN II · 2026Dr. Jürgen Nützel, www.deenovum.com4 / 16
KI FÜR ENTWICKLERDer Transformer –Die KernarchitekturViele moderne LLMs nutzen Decoder-Transformer: Wiederholte Blöcke verfeinern kontextuelle Darstellungen.Gezeigt ist ein üblicher Pre-Norm-Aufbau. Block, Positionsmethode und Attention variieren je nach Modell.WARUM DIESE ARCHITEKTUR?Kontext verknüpfenKausale Attention verbindetInformationen erlaubter Tokens.Tiefe + ResidualpfadeSchichten verfeinern Merkmale;Skip-Verbindungen helfen im Training.Parallel rechnenTraining / Prefill: parallel.Decoding: schrittweise.EINGABEDECODER-STAPELAUSGABEThe future of AI isTokenisierter PromptEmbedding-LookupEIN DECODER-BLOCK · N-MAL WIEDERHOLENNorm → kausale Self-Attention+ ResidualpfadNorm → MLP+ ResidualpfadJeder Block hat eigene erlernte GewichteRoPE liefert Position innerhalb der AttentionFinale Norm → VokabularprojektionLetzte Position bewertet das nächste TokenLogitsbright 3.2 new 1.1Schematische rohe ScoresSoftmaxToken-VerteilungAuswahl: „bright“Sampling oder Greedy-Auswahl;dann anhängen und wiederholen.Embedding-Vektoren → StapelAttention mischt Positionen, MLPs formen Merkmale. Norm und Residualpfade stabilisieren den Stapel.GRUNDIDEEDecoder-Blöcke bilden Kontext; der Ausgabekopf macht daraus Scores für das nächste Token.
LLM-GRUNDLAGEN II · 2026Dr. Jürgen Nützel, www.deenovum.com5 / 16
KI FÜR ENTWICKLERDer Transformer-BlockEin Decoder-Block hat zwei Teilschichten: Attention mischt Kontext, das MLP formt Tokenmerkmale.Sequenzieller Pre-Norm-Aufbau: vor jeder Teilschicht normalisieren, dann ihr Update zum Residualstrom addieren.EIN DECODER-BLOCK · ZWEI TEILSCHICHTENxNorm1 KAUSALE SELF-ATTENTIONInformationen erlaubter Tokenpositionen verbinden+hResidual- / Skip-PfadhNorm2 POSITIONSWEISES MLPMerkmale jedes Tokens separat umformen+yResidual- / Skip-PfadPositionsinformation und kausale Maske steuern Attention.Gleiche MLP-Gewichte je Position; hier keine Mischung zwischen Positionen.AUFGABEN DER BAUSTEINEAttentionJede Position nutzt sich und früherePositionen für kontextuelle Merkmale.Norm + ResidualpfadEingabe normalisieren; Ausgabe zumunveränderten Residualpfad addieren.MLP / Feed-ForwardFormt Merkmale unabhängigan jeder Position um.Norm = Normalisierung. MLP = mehrschichtiges Perzeptron. Normierung und Aktivierung variieren je nach Modell.PRE-NORMh = x + Attention(Norm(x))y = h + MLP(Norm(h))
LLM-GRUNDLAGEN II · 2026Dr. Jürgen Nützel, www.deenovum.com6 / 16
KI FÜR ENTWICKLERAttention –Die GrundideeAttention bildet je Tokenposition eine gewichtete Mischung der Informationen zugänglicher Positionen.Gewichte hängen von Eingabe, Schicht und Attention-Kopf ab. Sie werden für jede Query neu berechnet.BEISPIEL · „bank“ VERARBEITENTodepositcash,IvisitedthebankyesterdayFrühere + aktuelle Tokens: erlaubtZukunft: maskiertAttention-Gewichte für die Query bei „bank“0.040.340.280.030.100.060.150.00Hohes Gewicht → größerer Beitrag des Value-Vektors dieser Position.Beispielgewichte eines Kopfes, keine gemessenen Modellausgaben. Die Summe ist 1.SO ENTSTEHT DIE MISCHUNG1 VergleichenDie aktuelle Query wird mit den Keyszugänglicher Positionen verglichen.2 NormierenZukunft maskieren, dann Scores mitSoftmax in Gewichte umwandeln.3 MischenJeden Value-Vektor gewichten undzu einem Ausgabevektor aufsummieren.Queries, Keys und Values sind erlernte Projektionen der Token-Darstellungen. Dazu mehr auf den nächsten Folien.GRUNDIDEEAttention mischt Value-Vektoren. Sie wählt kein nächstes Token und belegt keine Erklärung einer Antwort.
LLM-GRUNDLAGEN II · 2026Dr. Jürgen Nützel, www.deenovum.com7 / 16
KI FÜR ENTWICKLERSelf-Attentionin der PraxisFolie 7 zeigte eine Query bei „bank“. Jetzt geschieht dasselbe an jeder Tokenposition.Jede Zeile hat eine eigene Query, erlaubte Keys und Gewichte. Alle Positionen teilen die erlernten Projektionen.WER KANN WEN BEACHTEN?Query ↓ / Key →Todepositcash,IvisitedthebankyesterdayTo×××××××deposit××××××cash,×××××I××××visited×××the××bank.04.34.28.03.10.06.150yesterdayBlau: erlaubt · Grau: maskiert · Violett: Beispielgewichte aus Folie 71 Eine Query je Position„bank“ nutzt sich und frühere Tokens.„yesterday“ kann auch „bank“ nutzen.„bank“ sieht nicht voraus auf „yesterday“.2 Eine kontextuelle Ausgabe je PositionJede Zeile mischt zugängliche Value-Vektoren.Die violette Zeile ergibt 1; die anderenhaben eigene, hier nicht gezeigte Gewichte.3 Parallel rechnen, kausal zugreifenTraining und Prompt-Prefill berechnenZeilen parallel. Die Maske sperrt die Zukunft.„Self“ heißt: Queries, Keys und Values stammen aus derselben Folge. Gezeigt: ein Kopf in einer Schicht.GRUNDIDEEJede Position bildet ihre kontextuelle Darstellung – ohne künftige Tokens zu sehen.
LLM-GRUNDLAGEN II · 2026Dr. Jürgen Nützel, www.deenovum.com8 / 16
KI FÜR ENTWICKLERQueries, Keysund ValuesDrei erlernte lineare Projektionen erzeugen Queries, Keys und Values aus denselben Eingabedarstellungen.Weiter mit „bank“: Die Query wird mit erlaubten Keys verglichen; die Gewichte mischen dann die Values.EINE EINGABE · DREI ERLERNTE PROJEKTIONENX: ein normalisierter Tokenvektor je ZeileQUERYQ = X · WQKEYK = X · WKVALUEV = X · WVQuery-Zeile bei „bank“K an erlaubten PositionenV an erlaubten PositionenQ · K → skalierte Scores → Maske → SoftmaxAttention-Ausgabe = gewichtete Summe der V-VektorenQuery: Was passt zu dieser Position?Q bestimmt bei „bank“ die Bewertungder verfügbaren Keys in diesem Kopf.Key: Wie passt eine Position?Jede Position liefert einen K-Vektor.RoPE dreht Q und K vor der Bewertung.Value: Welche Information wird gemischt?Jede Position liefert auch einen V-Vektor.Die Gewichte skalieren die Vektoren,dann werden sie zu einer Ausgabe addiert.Ein Kopf dargestellt. X hat eine Zeile je Token; erlernte W-Projektionen werden über Positionen geteilt.GRUNDIDEEQueries und Keys bestimmen Gewichte. Values liefern die zu mischenden Informationen.
LLM-GRUNDLAGEN II · 2026Dr. Jürgen Nützel, www.deenovum.com9 / 16
KI FÜR ENTWICKLERMulti-Head-AttentionMehrere Attention-Köpfe verarbeiten dieselbe Folge parallel mit verschiedenen erlernten Projektionen.Ihre Ausgaben werden verkettet, projiziert und zur Residualaddition im Decoder-Block weitergereicht.EINE FOLGE · MEHRERE PARALLELE KÖPFEX: normalisierte Token-DarstellungenKOPF 1Eigene Q-, K- und V-ProjektionenKausale Attention → z1Gleiche Grenze: nur VergangenheitKOPF 2Eigene Q-, K- und V-ProjektionenKausale Attention → z2Gleiche Grenze: nur VergangenheitKOPF 3Eigene Q-, K- und V-ProjektionenKausale Attention → z3Gleiche Grenze: nur VergangenheitVerketten [z₁ | z₂ | z₃]WₒYWAS DIE GRAFIK ZEIGT1 Jeder Kopf hat erlernte Q/K/V-Projektionen.Er kann andere Attention-Gewichte zuweisen.2 Ausgaben werden verkettet und mitder erlernten Ausgabeprojektion Wₒ gemischt.3 Köpfe haben keine festen semantischen Rollen.Muster und nützliche Rollen entstehen im Training.MODELLVARIANTENMHA: eigene K/V je Query-Kopf.GQA / MQA: K/V für Gruppen / alle Köpfe geteilt.Zur Übersicht nur drei Köpfe. Kopfzahl und K/V-Teilung hängen von der Modellkonfiguration ab.GRUNDIDEEMehrere erlernte Sichten auf denselben Kontext bilden eine gemeinsame Attention-Ausgabe.
LLM-GRUNDLAGEN II · 2026Dr. Jürgen Nützel, www.deenovum.com10 / 16
KI FÜR ENTWICKLERPositionzähltDieselben Wörter in anderer Reihenfolge können ein anderes Ereignis beschreiben.Viele Decoder-Modelle nutzen RoPE, damit Attention die Position berücksichtigt.GLEICHE WÖRTER · ANDERE ROLLEN012345POSThedogchasedthecat.Jäger: HundGejagt: KatzeThecatchasedthedog.Jäger: KatzeGejagt: HundWortboxen sind schematisch; ein Tokenizer kann Wörter in kleinere Teile zerlegen.RoPE · ROTARY POSITION EMBEDDINGFür einen Attention-Kopf: Q und K nach Position drehen.QUERY bei iDrehung um iKEY bei jDrehung um jvergleichengedrehtes Q · gedrehtes KDer relative Abstand beeinflusst den Score.Die kausale Maske sperrt separat künftige Positionen.RoPE ist eine Positionsmethode (z. B. Llama). Andere Modelle nutzen gelernte Positionen oder Attention-Bias.GRUNDIDEEPosition hilft Attention zu erkennen, was ein Token enthält und wo es steht.
LLM-GRUNDLAGEN II · 2026Dr. Jürgen Nützel, www.deenovum.com11 / 16
KI FÜR ENTWICKLERSchicht fürSchichtTeil I lieferte Token-Embeddings: erlernte Startvektoren für Token-IDs.Decoder-Blöcke aktualisieren die Folge wiederholt und machen jede Position kontextabhängig.VOM TOKEN-EMBEDDING ZUR KONTEXTUELLEN DARSTELLUNGBeispielprompt · Wörter zur ÜbersichtIdepositedcashatthebank.bank = FokusTEIL IEmbedding-Lookupgleiche ID → gleicher StartBLOCK 1Beachten + umformenfrühere Tokens tragen beiBLOCK 2Beachten + umformenMerkmale werden aktualisiertBLOCK NBeachten + umformenbereit zur VorhersageNur „bank“ ist hervorgehoben. Jede Position durchläuft jeden Block; jeder Block hat eigene Gewichte.WAS JEDER BLOCK TUT1 Kausale Self-AttentionMischt frühere und aktuelle Positionen.2 MLP / Feed-ForwardFormt Merkmale an jeder Position um.3 Residualpfade + Pre-NormFühren den Strom an beiden Teilschichten vorbei.Danach: finale Norm → Vokabular-Scores (Logits).Schichtrollen sind nicht fest: Es gibt keine allgemeine „Grammatik-“ oder „Faktenschicht“.GRUNDIDEEEmbeddings bilden den Start; gestapelte Blöcke erzeugen kontextsensitive Zustände zur Vorhersage.
LLM-GRUNDLAGEN II · 2026Dr. Jürgen Nützel, www.deenovum.com12 / 16
KI FÜR ENTWICKLERKontextfensterDas Modell nutzt die Tokens dieser Anfrage, einschließlich relevanter früherer Nachrichten, falls mitgesendet.Die Anwendung wählt die Inhalte; Chatrollen und Inhalte werden als modellspezifische Tokenfolge kodiert.WAS KANN IM AKTUELLEN KONTEXT STEHEN?System-/Entwickleranweisungenfalls genutztFrühere Nutzer- und Assistentenbeiträgefalls behaltenTool-Ergebnisse / abgerufene Dokumentefalls geliefertAktuelle Nutzernachrichtneue EingabeBisher erzeugte Assistenten-Tokensbei der AusgabeENDLICHESTOKEN-BUDGETBei vollem Fenster können ältere Inhalte entfallen oder zusammengefasst werden.Die genaue Grenze hängt von Modell und Bereitstellung ab.KONTEXTFENSTER ≠ LANGZEITGEDÄCHTNISDas Fenster ist die Arbeitseingabe dieser Anfrage.Prompting allein verändert keine Modellgewichte.Gespeicherte Fakten wirken nur, wenn die App sie mitgibt.FÜR ENTWICKLER1Ausgabe einplanenEingabe und erzeugte Tokens teilen die Grenze.2Nützlichen Kontext wählenRelevantes abrufen; alte Beiträge zusammenfassen.3Verbleibende Inhalte prüfenKürzung testen und kritische Fakten verifizieren.Ein größeres Fenster fasst mehr Tokens, garantiert aber keine zuverlässige Nutzung jedes Details.GRUNDIDEEDeine App muss nötige Informationen auswählen, einpassen und aktuell halten.
LLM-GRUNDLAGEN II · 2026Dr. Jürgen Nützel, www.deenovum.com13 / 16
KI FÜR ENTWICKLERTrainingund InferenzDasselbe Decoder-Modell lernt aus bekannten Folgen oder erzeugt Text aus einem Prompt.Training vergleicht mit bekannten nächsten Tokens; Inferenz ergänzt einen Prompt um neue Tokens.TRAINING · GEWICHTE LERNENBekannte Folge: „The future of AI is bright“EINGABEPOSITIONENThefuturefutureofofAIAIisisbrightBEKANNTE ZIEL-TOKENSKausaler Vorwärtslauf → Scores an allen fünf PositionenMit Zielen vergleichen → Verlust → Backprop → Gewichte ändernJede Position sieht nur ihren linken Kontext; viele Verluste laufen parallel.INFERENZ · FESTE GEWICHTE NUTZENPrompt: „The future of AI is“ThefutureofAIisPrefill: Promptpositionen verarbeitenNächste Token-Scores → ein Token wählen„bright“ anhängen → nächster Decoding-SchrittAusgabe-Tokens entstehen sequenziell; Gewichte bleiben fest.Ein KV-Cache kann frühere Keys und Values wiederverwenden.Wortboxen vereinfachen die Tokenisierung; „bright“ ist ein Beispiel, keine garantierte Vorhersage.GRUNDIDEETraining lernt Gewichte aus Fehlern; Inferenz erzeugt mit festen Gewichten jeweils ein neues Token.
LLM-GRUNDLAGEN II · 2026Dr. Jürgen Nützel, www.deenovum.com14 / 16
KI FÜR ENTWICKLERWarum LLMsfalschliegen könnenEine flüssige Antwort kann unbelegte oder falsche Aussagen enthalten.Token-Vorhersage erzeugt Text; faktische Richtigkeit braucht eigene Belege und Prüfungen.WO FEHLER ENTSTEHENFrage + KontextModell bewertet TokensFlüssige AntwortFLÜSSIG ≠ GEPRÜFTEine Aussage braucht mehr Belege als wahrscheinlich klingende Wörter.1Erlernte MusterTrainingstexte können Fehler und Irrtümer enthalten.2Fehlende BelegeNötige Fakten können fehlen, veraltet sein oder schlecht genutzt werden.3Schlussfolgern / GenerierenBerechnung, Schluss oder mehrstufige Antwort können scheitern.Aufgaben und Modelle scheitern unterschiedlich; teste deinen eigenen Anwendungsfall.ÜBERPRÜFBARE ANTWORTEN BAUEN1Mit Belegen fundierenRelevante, vertrauenswürdige Quellen abrufen.2Quellen prüfenWichtige Aussagen mit der tatsächlichen Quelle abgleichen.3Tools nutzenBerechnungen, IDs und strukturierte Fakten validieren.4Evaluieren + enthaltenSchwierige Fälle testen; „Ich weiß es nicht“ erlauben.Eine Token-Wahrscheinlichkeit ist nicht die Wahrscheinlichkeit, dass eine Aussage wahr ist.GRUNDIDEEGenerierte Aussagen als Vorschläge behandeln: mit vertrauenswürdigen Belegen und Tools prüfen.
LLM-GRUNDLAGEN II · 2026Dr. Jürgen Nützel, www.deenovum.com15 / 16
KI FÜR ENTWICKLERKernaussagen& AusblickWir haben Tokens von Embeddings über Decoder-Blöcke bis zu nächsten Token-Scores verfolgt.Nutze dieses Verständnis – und seine Grenzen – beim Entwurf von KI-Anwendungen.DAS MODELL IN VIER IDEEN01 TOKENS → VEKTORENTeil I: Token-IDs werden erlernten Embeddings zugeordnet.Sie sind die Startvektoren des Prompts.02 SCHICHTEN BILDEN KONTEXTKausale Attention und MLPs aktualisieren Vektoren.Normen und Residualpfade stützen den Stapel.03 VORHERSAGEN & WIEDERHOLENFinale Zustände liefern nächste Token-Logits.Token wählen, anhängen und fortfahren.04 GRENZEN KENNENKontext ist endlich; flüssiger Text kann falsch sein.Belege und Überprüfung bleiben unverzichtbar.Positionsmethoden, Kopfteilung und Blockdetails variieren. Prüfe die Modellkonfiguration.NÄCHSTE SCHRITTE FÜR ENTWICKLER1Ein Modell prüfenSchichten, Köpfe, Positionsmethode, Kontextgrenze.2Einen Prompt verfolgenToken-IDs → Logits → gewählte Ausgabe-Tokens.3Auf Zuverlässigkeit setzenRelevante Belege, Tools und Validierung ergänzen.Dann an realen Aufgaben und Fehlerfällen evaluieren.Decoder-Modelle teilen Grundideen, sind aber nicht identisch implementiert.GRUNDIDEEVerstehe den Mechanismus und gestalte Kontext und Prüfungen passend dazu.
LLM-GRUNDLAGEN II · 2026Dr. Jürgen Nützel, www.deenovum.com16 / 16

Pfeiltasten: navigieren · Pos1 / Ende: erste / letzte Folie · PDF herunterladen: alle 16 Folien als gespeicherte Fassung. Nach Änderungen an Folien muss das PDF neu erstellt werden. Englische Token-Beispiele bleiben zur Vergleichbarkeit erhalten.