Eines der robustesten Phänomene der kognitiven Psychologie zeigt eine auffällige Parallele zu einem bekannten Problem moderner Sprachmodelle: Menschen erinnern sich am besten an die ersten und letzten Items einer Liste, während mittlere Items schlechter behalten werden. Large Language Models zeigen bei langen Kontexten ein ähnliches Positionsmuster: Information am Anfang und Ende wird oft zuverlässiger genutzt als Information in der Mitte. Die bessere Frage ist nicht, ob beide Systeme denselben Mechanismus nutzen. Tragfähiger ist die Frage, warum geordnete Information unter begrenzter Aktivierungs-, Abruf- und Kompressionskapazität ähnliche Schwachstellen entwickelt.
Dieser Artikel untersucht zwei zentrale Parallelen zwischen biologischer und künstlicher Informationsverarbeitung: wie Anfang, Ende und Ankerpositionen stabiler repräsentiert werden, und warum Kompression eine wiederkehrende Antwort auf begrenzte Ressourcen ist. Die Evidenz stammt aus Arbeitsgedächtnisforschung, fMRI-Studien, Mechanistic-Interpretability-Arbeiten und Analysen langer Kontextfenster.
Attention-basierte Verarbeitung: Der Fokus der Aufmerksamkeit
These: Der Primacy/Recency-Effekt beim Menschen und der Lost-in-the-Middle-Effekt bei LLMs beruhen wahrscheinlich nicht auf demselben Mechanismus. Sie zeigen aber eine gemeinsame Struktur: Information am Anfang, am Ende oder an klaren Ankern bleibt leichter verfügbar als Information in der Mitte.
Der menschliche Fokus der Aufmerksamkeit
Der Primacy/Recency-Effekt ist eines der robustesten Phänomene der kognitiven Psychologie: Bei einer Liste von zehn Wörtern werden typischerweise das erste, zweite, neunte und zehnte Wort korrekt erinnert, während Items an Position fünf oder sechs häufiger vergessen werden. Neurowissenschaftliche Forschung von Cowan et al. (2014) untersuchte neuronale Korrelate dieses Effekts. Der Fokus der Aufmerksamkeit (Focus of Attention, FOA) im Arbeitsgedächtnis beschreibt dabei keinen bloßen Auswahlfilter, sondern einen Mechanismus zur aktiven Aufrechterhaltung: Information muss über Sekunden präsent gehalten, wiederholt, aktualisiert und gegen Ablenkung stabilisiert werden.
Die beteiligten Hirnregionen zeigen differenzierte Aktivierungsmuster. Frontale Regionen, insbesondere der inferiore und mittlere frontale Gyrus, sind assoziiert mit aktiver Maintenance früher Items - dem Primacy-Effekt. Der parietale Cortex zeigt erhöhte Aktivierung für kürzlich präsentierte Items und unterstützt den Recency-Effekt. Der mediale Temporallappen, einschließlich des Hippocampus, zeigt reduzierte Aktivierung für finale Items, was darauf hindeutet, dass diese noch im aktiven Arbeitsgedächtnis gehalten werden und nicht in episodisches Gedächtnis überführt wurden. Mittlere Items aktivieren diese Regionen weniger stark, was ihre schlechtere Erinnerungsleistung erklärt.
Der Fokus der Aufmerksamkeit ist dynamisch steuerbar. Experimentelle Studien zeigen, dass Aufgabeninstruktionen beeinflussen können, welche Positionen bevorzugt werden. Wenn Probanden explizit instruiert werden, auf frühe Items zu achten, verstärkt sich der Primacy-Effekt. Instruktionen, die späte Items betonen, verstärken Recency. Dies deutet darauf hin, dass der Effekt nicht nur durch fixe architektonische Limitierungen entsteht, sondern durch die dynamische Allokation begrenzter Aufmerksamkeits- und Aufrechterhaltungsressourcen.
Lost-in-the-Middle bei Large Language Models
Large Language Models zeigen ein funktional ähnliches Phänomen: den Lost-in-the-Middle-Effekt. Empirische Tests, etwa Liu et al. (2023), zeigen, dass Modelle relevante Information am Anfang und Ende langer Kontexte häufig zuverlässiger nutzen als Information in der Mitte. Bei sehr langen Kontexten wird eine relevante Passage nahe am Anfang oder Ende oft besser abgerufen als dieselbe Passage in mittlerer Position. Die Kontextlänge ist dabei nicht die eigentliche Ursache, sondern der Stressor, unter dem Positionssignal, Salienz und Abrufbarkeit schwächer werden.
Die plausibelste technische Erklärung liegt in der Verbindung aus Positionsrepräsentation, Netzwerk-Tiefe und Konkurrenz um Aufmerksamkeit. Positional Encoding fügt Token-Embeddings Positionsinformation hinzu. Bei sehr langen Sequenzen und vielen Layern bleibt diese Information nicht überall gleich robust nutzbar. Anfang und Ende sind starke Grenzanker; mittlere Positionen sind weniger eindeutig markiert und konkurrieren stärker mit vielen anderen Tokens. Es geht also nicht einfach um ein mechanisches "Verwaschen", sondern um sinkende strukturelle Salienz in einer langen Sequenz.
Der Attention-Mechanismus selbst trägt wahrscheinlich zusätzlich bei. Obwohl theoretisch alle Positionen adressierbar sind, zeigen Analysen häufig eine ungleichmäßige Verteilung: Anfang, Ende, Instruktionen und klar markierte Passagen erhalten mehr Gewicht. Das ist nicht dasselbe wie menschlicher Arbeitsgedächtnisfokus. Transformer-Attention ist eine mathematische Gewichtung über Tokenrepräsentationen in einem statischen Kontextfenster. Der übergeordnete Vergleich liegt eine Ebene höher: Beide Systeme müssen entscheiden, welche Information aktiv, salient oder leicht abrufbar bleibt.
Neuronale Evidenz für funktionale Spezialisierung
Neuere fMRI-Forschung von Kumar et al. (2024) stärkt diese Hypothese durch Evidenz funktionaler Spezialisierung. Die Autoren analysierten, wie einzelne Attention Heads in BERT auf spezifische cortikale Regionen abbilden. Posteriore temporale Bereiche korrespondierten mit Heads aus früheren Layers, die kurze Lookback-Distanzen aufweisen, konsistent mit früher syntaktischer Verarbeitung. Anteriore temporale und präfrontale Cortices assoziierten mit Heads aus späteren Layers mit längeren Lookback-Distanzen, was auf Verarbeitung komplexerer, langreichweitiger Abhängigkeiten hindeutet. Diese Layer-zu-Region-Gradienten sprechen für funktionale Vergleichbarkeit, nicht für eine 1:1-Zuordnung.
Die offene Frage lautet daher nicht, ob dieselben attention-basierten Mechanismen am Werk sind. Wahrscheinlicher ist: Beide Systeme entwickeln ähnliche Positionsbiases, weil zeitlich oder sequenziell geordnete Information nicht überall gleich gut verfügbar bleibt. Beim Menschen geht es um aktive Aufrechterhaltung über Zeit; beim LLM um Adressierung innerhalb eines statischen Kontextes. Diese Differenz ist zentral.
Serielle vs. parallele Verarbeitung: Ein kategorialer Unterschied?
Ein kritischer Einwand betrifft die Zeitstruktur. Google Research (2024) identifizierte einen grundlegenden architektonischen Unterschied: Sprachareale analysieren Sprache seriell, wortweise, rekurrent und temporal, während Transformer viele Tokens parallel verarbeiten. Wenn das Gehirn Information über reale Zeit stabil halten muss, ein Transformer aber ein bereits vorliegendes Kontextfenster verarbeitet, dann können ähnliche Positionskurven aus unterschiedlichen Aufgaben entstehen.
Der Primacy-Effekt beim Menschen hängt stark mit serieller Verarbeitung zusammen: Frühe Items werden häufiger rehearsed, also innerlich wiederholt, während die Verarbeitung durch die Liste fortschreitet. Mehr Rehearsals führen zu stärkerer Enkodierung ins Langzeitgedächtnis. Der Recency-Effekt reflektiert Items, die noch im aktiven Arbeitsgedächtnis gehalten werden. Bei LLMs entsteht Lost-in-the-Middle dagegen eher aus schwächerer Positionssalienz, Attention-Konkurrenz und der Tiefe der Verarbeitung über viele Layer. Das ist ein anderer Mechanismus, aber eine verwandte Funktionsklasse: Information muss selektiv verfügbar gehalten oder selektiv wiedergefunden werden.
Allerdings schwächt empirische Evidenz diesen Einwand. Studien zu simultanen visuellen Arrays und räumlichen Gedächtnisaufgaben zeigen, dass Primacy/Recency-Effekte auch bei nicht-serieller Präsentation auftreten. Wenn neun Objekte gleichzeitig als räumliches Array präsentiert werden, erinnern Probanden Ecken und Kanten besser als mittlere Positionen. Serielle Verarbeitung ist also nicht notwendig für jede Form des Effekts. Plausibler ist eine allgemeinere Erklärung: Anfang, Ende, Randpositionen und klare Anker sind leichter zu stabilisieren oder wiederzufinden als mittlere, weniger markierte Positionen.
Die Nuance ist entscheidend: Die Implementierung ist verschieden, aber der funktionale Effekt ähnlich. Dieselbe Art von Problem, nämlich begrenzte Verfügbarkeit geordneter Information, kann in verschiedenen Substraten ähnliche Kurven erzeugen. Das ist stärker als bloßes Hedging und schwächer als die Behauptung identischer Mechanismen.
Information Compression als wiederkehrender Trade-off
These: Information Compression ist eine wiederkehrende Antwort auf begrenzte Bandbreite, begrenzte Aktivierung und begrenzte Abrufbarkeit. Sie erklärt nicht alles, aber sie verbindet menschliches Arbeitsgedächtnis und LLM-Repräsentationen auf einer sinnvollen Abstraktionsebene.
Chunking im menschlichen Arbeitsgedächtnis
Warum können Menschen nur wenige Items im Arbeitsgedächtnis halten, wenn moderne Computer Gigabytes speichern können? Die Antwort liegt in einem Missverständnis: Die Limitation betrifft nicht nur die Anzahl der Items, sondern die Menge und Struktur der Information. George Millers Paper von 1956 zeigte, dass Menschen etwa gleich viele binäre Digits (1 bit Information pro Item), Dezimal-Digits (3.32 bits) oder Wörter (10+ bits) erinnern können, jeweils ungefähr sieben. Dies deutete darauf hin, dass die Kapazität nicht einfach in Items, sondern in Chunks gemessen wird.
Cowan's Revision (2001) präzisierte diese Grenze: Das Arbeitsgedächtnis hält nicht 7±2, sondern nur 3-5 chunks. Der entscheidende Punkt: Ein chunk ist eine komprimierte Informationseinheit variabler Komplexität. Für einen Anfänger ist jede Ziffer einer Telefonnummer ein separater Chunk: 0-3-0-1-5-5-5-1-2-1-2 überschreitet die Kapazität von 3-5 Chunks deutlich. Ein geübter Nutzer komprimiert dieselbe Information in drei chunks: 030 (Vorwahl), 1555 (Vermittlungsstelle), 1212 (Anschluss). Expertise erhöht nicht die Anzahl der chunks, sondern die Menge der Information pro chunk. Schachmeister können ganze Brettpositionen als einzelnen chunk kodieren, was Anfängern unmöglich ist.
Diese Chunking-Strategie ist ein Beispiel für Information Compression: Rohdaten werden in kompaktere Repräsentationen überführt, die relevante Information erhalten und redundante Details reduzieren. Konzeptuelle Chunks enthalten relationale Information in komprimierter Form. Die Telefonnummer 030-1555-1212 als drei Chunks zu speichern erhält nicht nur die Ziffernfolge, sondern auch die hierarchische Struktur (Vorwahl, Vermittlung, Anschluss).
Information Bottleneck Theory
Die Information Bottleneck Theory von Tishby und Zaslavsky (2015) formalisiert dieses Prinzip für neuronale Netze mathematisch. Die Theorie beschreibt einen Trade-off zwischen Kompression (geringere Komplexität) und Vorhersagekraft (hohe Relevanz). Während des Trainings können neuronale Netze unterschiedliche Phasen durchlaufen: In der Fitting Phase erfasst das Netzwerk viel Information über Input und Output, was zu hochdimensionalen internen Repräsentationen führt. In der Compression Phase wird redundante Information reduziert, und Repräsentationen werden kompakter.
Compression ist damit nicht nur eine Optimierungstechnik, sondern ein möglicher Weg zu besserer Generalisierung. Netzwerke, die zu viel irrelevante Information behalten, neigen zu Overfitting an Trainingsdaten. Netzwerke, die zu stark komprimieren, verlieren kritische Details. Der sinnvolle Bottleneck balanciert diese Extreme.
Empirische Evidenz in LLMs
Empirische Analysen von LLM-Layers bestätigen diese Theorie. Frühe Layers in Transformern haben hochdimensionale Repräsentationen, die viele spezifische Features erfassen. Mittlere Layers zeigen Dimensionalitäts-Reduktion - die effektive Dimensionalität der Hidden States sinkt, obwohl die nominale Größe konstant bleibt. Dies geschieht durch zunehmende Korrelation zwischen Dimensionen: Information wird in eine kompaktere Struktur organisiert. Späte Layers haben stark komprimierte, semantisch reichhaltige Repräsentationen.
Phase Transitions während des Trainings können den Übergang von Fitting zu Compression markieren. Forschung zu geometrischen Signaturen solcher Übergänge identifiziert Curvature Collapse (die Krümmung des Loss-Landscapes flacht ab) und Dimension Stabilization (die intrinsische Dimensionalität der Repräsentationen stabilisiert sich). Diese geometrischen Verschiebungen können mit besserer syntaktischer und semantischer Genauigkeit korrelieren. Das bedeutet nicht, dass in diesem Moment "echtes Verstehen" entsteht. Sichtbar wird eher der Übergang zu generalisierbareren Repräsentationen.
Die Parallele zu biologischen Systemen
Die Parallele zum menschlichen Arbeitsgedächtnis liegt nicht in einer direkten Gleichsetzung von Chunks und Kontextfenster. Das Kontextfenster ist kein Arbeitsgedächtnis im menschlichen Sinn. Die Gemeinsamkeit liegt auf einer höheren Ebene: Beide Systeme können nicht alle Details gleich salient, abrufbar und verarbeitungsrelevant halten. Gehirne speichern nicht alle sensorischen Details. Die geschätzte Bandbreite visueller Information, die die Retina pro Sekunde liefert, ist hoch, aber nur ein Bruchteil erreicht bewusstes Erleben oder Langzeitspeicher. Compression findet auf vielen Ebenen der Verarbeitungshierarchie statt. Chunking im Arbeitsgedächtnis ist eine besonders sichtbare Form dieser Strategie.
Die offene Forschungsfrage ist deshalb nicht nur, wie viele Tokens ein Modell aufnehmen kann, sondern wie viele semantische Anker es gleichzeitig stabil nutzen kann. Trotz großer Token-Kapazität kann die konzeptuelle Abrufbarkeit begrenzt bleiben. Wenn LLMs Information stark komprimieren, können tausende Tokens im Kontext stehen und trotzdem nur wenige relevante Strukturen die Antwort tatsächlich prägen. Das würde erklären, warum auch bei großen Kontextfenstern komplexes Multi-Dokument-Reasoning schwierig bleibt.
Constraints der Informationsverarbeitung
Die beschriebenen Parallelen sind möglicherweise keine Zufälle, sondern Ausdruck wiederkehrender Constraints ressourcenbeschränkter Informationsverarbeitung. Begrenzte Ressourcen (Energie, Speicher, Rechenzeit, aktive Aufrechterhaltung) begünstigen Information Compression. Compression erzeugt hierarchische Abstraktionsebenen, bei denen Detailinformation nicht überall gleich verfügbar bleibt. Attention-Mechanismen müssen selektiv sein, da nicht alle Information gleichzeitig mit maximaler Präzision verarbeitet werden kann.
Diese Constraints sind nicht spezifisch für neuronale Netze, biologisch oder künstlich. Claude Shannons Arbeiten zur Kommunikationstheorie zeigen, dass jedes System, das Information überträgt oder speichert, mit Trade-offs zwischen Bandbreite, Fidelity und Ressourcenverbrauch umgehen muss. Die konkreten Lösungen variieren: Chunking und aktive Aufrechterhaltung im Arbeitsgedächtnis, Bottlenecks und Positionsrepräsentationen in künstlichen Netzen. Der gemeinsame Nenner ist der Trade-off zwischen Kapazität, Kompression und Abrufbarkeit.
Wenn diese These korrekt ist, dann sind manche Limitierungen von LLMs nicht bloß Implementierungsfehler. Sie können aus ähnlichen Trade-offs entstehen, wie sie auch biologische Kognition prägen: begrenzte Aktivierung, begrenzte Abrufbarkeit, Kompression, Positionssalienz und der Aufwand, Information über Zeit stabil zu halten. Gerade dieser letzte Punkt markiert den Unterschied: Das Gehirn muss Inhalte aktiv präsent halten, während LLMs Information in einem Kontextfenster adressieren. Beides erzeugt Positionsbiases, aber nicht aus demselben Mechanismus.
Referenzen
Cowan, N. (2001). The magical number 4 in short-term memory: A reconsideration of mental storage capacity. Behavioral and Brain Sciences, 24(1), 87-114.
Cowan, N. et al. (2014). Primacy and recency effects as indices of the focus of attention. Frontiers in Human Neuroscience, 8, 6.
Kumar, S. et al. (2024). Shared functional specialization in transformer-based language models and the human brain. Nature Communications, 15, 5523.
Liu, N.F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. Transactions of the Association for Computational Linguistics, 12, 157-173.
Miller, G.A. (1956). The magical number seven, plus or minus two: Some limits on our capacity for processing information. Psychological Review, 63(2), 81-97.
Saxe, A.M. et al. (2024). Information Bottleneck and Phase Transitions in Deep Learning. Computational Neuroscience.
Springer, J.M. et al. (2024). The synaptic correlates of serial position effects in sequential working memory. Frontiers in Computational Neuroscience, 18, 1430244.
Tishby, N. & Zaslavsky, N. (2015). Deep learning and the information bottleneck principle. IEEE Information Theory Workshop.