Transformer

Der Transformer ist die revolutionäre neuronale Netzwerk-Architektur, die 2017 von Google im Paper „Attention Is All You Need" vorgestellt wurde und die gesamte moderne KI antreibt. Von ChatGPT über Claude bis Midjourney — nahezu jedes führende KI-System basiert heute auf Transformern.

Das Herzstück ist der Self-Attention-Mechanismus: Statt Text sequentiell zu verarbeiten (wie frühere RNN/LSTM-Modelle), kann ein Transformer alle Wörter eines Inputs gleichzeitig betrachten und Beziehungen zwischen beliebig weit entfernten Wörtern erkennen. Das ermöglicht massive Parallelisierung beim Training und besseres Verständnis langer Kontexte.

Die drei Hauptvarianten: Encoder-Only (BERT, für Klassifikation und Embeddings), Decoder-Only (GPT, LLaMA, für Textgenerierung) und Encoder-Decoder (T5, für Übersetzung und Zusammenfassung). Moderne LLMs wie GPT-5.2 und Claude Opus 4.6 sind Decoder-Only-Transformer mit Hunderten Milliarden Parametern.

Auch in der Bildgenerierung dominieren Transformer: Vision Transformers (ViT) und DiT (Diffusion Transformers) ersetzen zunehmend die U-Net-Architektur in Diffusion-Modellen. Sora und Flux nutzen bereits Transformer-basierte Bildgenerierung für höhere Qualität und Kohärenz.