Prompt Engineering bewegt sich von Einzeltricks zu messbaren Verfahren. Eine forschungsbasierte Analyse zeigt modellspezifische Effekte, quantifizierte Effizienzgewinne und den Übergang vom Einzelprompt zum systematischen Context Engineering.
Diffusion Models erzeugen neue Daten, indem sie lernen, Rauschen schrittweise zu entfernen. Dieser Artikel erklärt den Forward- und Reverse-Prozess, die Rolle von Latent Diffusion und Cross-Attention und zeigt, warum das Prinzip auch außerhalb der Bildgenerierung genutzt wird.
Die Transformer-Architektur ist seit ihrer Einführung 2017 zum Fundament moderner Sprachmodelle und zu einem nahezu universellen Baustein vieler KI-Systeme geworden. Dieser Artikel erklärt, welches Problem sie löst, wie der Attention-Mechanismus funktioniert und warum drei Architekturfamilien für unterschiedliche Aufgaben existieren.
Der Begriff Modell bezeichnet im maschinellen Lernen das Ergebnis eines Trainingsprozesses. Dieser Artikel erklärt, was dabei entsteht, was in einer Modelldatei steckt und warum manche Modelle Milliarden von Parametern haben.
Schlafähnliches Replay kann Catastrophic Forgetting in künstlichen Netzen reduzieren, Pattern Completion erklärt eine wichtige Parallele zwischen Erinnerung und Halluzination, Reasoning-Modelle machen Selbstkorrektur expliziter. Die Analogien sind nützlich, solange biologische und technische Ebene getrennt bleiben.
Empirische Befunde zum Embodiment-Gap, evolutionäre Priors und methodische Artefakte zeigen, dass Parallelen zwischen Gehirn und Sprachmodellen sorgfältig eingeordnet werden müssen. Funktionale Ähnlichkeiten sind möglich, erklären aber nicht automatisch gleiche Mechanismen.
Lesen und Sprachmodellverarbeitung nutzen mehrstufige Abstraktion, allerdings auf verschiedenen Ebenen und mit unterschiedlichen Mechanismen. Goldstein et al. (2022) identifizierten funktional vergleichbare Prinzipien für predictive processing in Gehirn und LLMs.
Primacy/Recency beim Menschen und Lost-in-the-Middle bei LLMs zeigen eine funktionale Parallele: Anfang, Ende und klare Anker bleiben leichter abrufbar als mittlere Information. Die Mechanismen unterscheiden sich, aber beide Systeme müssen mit begrenzter Aktivierung, Positionssalienz und Kompression umgehen.