Eines der robustesten Phänomene der kognitiven Psychologie zeigt eine verblüffende Parallele zu einem bekannten Problem moderner Sprachmodelle: Menschen erinnern sich am besten an die ersten und letzten Items einer Liste, während mittlere Items schlechter behalten werden. Large Language Models zeigen dasselbe Muster - sie verarbeiten Information am Anfang und Ende langer Kontexte zuverlässiger als Information in der Mitte. Ist dies Zufall, oder nutzen beide Systeme dieselben fundamentalen Mechanismen der Attention-Allokation?

Dieser Artikel untersucht zwei zentrale Parallelen zwischen biologischer und künstlicher Informationsverarbeitung: Wie begrenzte Aufmerksamkeitsressourcen in beiden Systemen allokiert werden, und warum Information Compression eine notwendige Konsequenz ressourcenbeschränkter Intelligenz darstellt. Die Evidenz stammt aus neuester fMRI-Forschung, Mechanistic Interpretability-Studien und informationstheoretischen Analysen.

Attention-basierte Verarbeitung: Der "Focus of Attention"

These: Der Primacy/Recency-Effekt beim Menschen und der Lost-in-the-Middle-Effekt bei LLMs könnten auf denselben attention-basierten Mechanismus zurückgehen.

Der menschliche Focus of Attention

Der Primacy/Recency-Effekt ist eines der robustesten Phänomene der kognitiven Psychologie: Bei einer Liste von zehn Wörtern werden typischerweise das erste, zweite, neunte und zehnte Wort korrekt erinnert, während Items an Position fünf oder sechs häufig vergessen werden. Neurowissenschaftliche Forschung von Cowan et al. (2014) identifizierte die neuronalen Korrelate dieses Effekts: Der Focus of Attention (FOA) im Arbeitsgedächtnis allokiert begrenzte Aufmerksamkeitsressourcen bevorzugt auf frühe und späte Items, während mittlere Items aus diesem Fokus herausfallen.

Die beteiligten Hirnregionen zeigen differenzierte Aktivierungsmuster. Frontale Regionen, insbesondere der inferiore und mittlere frontale Gyrus, sind assoziiert mit aktiver Maintenance früher Items - dem Primacy-Effekt. Der parietale Cortex zeigt erhöhte Aktivierung für kürzlich präsentierte Items und unterstützt den Recency-Effekt. Der mediale Temporallappen, einschließlich des Hippocampus, zeigt reduzierte Aktivierung für finale Items, was darauf hindeutet, dass diese noch im aktiven Arbeitsgedächtnis gehalten werden und nicht in episodisches Gedächtnis überführt wurden. Mittlere Items aktivieren diese Regionen weniger stark, was ihre schlechtere Erinnerungsleistung erklärt.

Das Faszinierende an diesem Befund: Der Focus of Attention ist dynamisch steuerbar. Experimentelle Studien zeigen, dass Task-Instruktionen beeinflussen können, welche Positionen bevorzugt werden. Wenn Probanden explizit instruiert werden, auf frühe Items zu achten, verstärkt sich der Primacy-Effekt. Instruktionen, die späte Items betonen, verstärken Recency. Dies deutet darauf hin, dass der Effekt nicht durch fixe architektonische Limitierungen entsteht, sondern durch die dynamische Allokation begrenzter Aufmerksamkeitsressourcen.

Lost-in-the-Middle bei Large Language Models

Large Language Models zeigen ein verblüffend ähnliches Phänomen: den Lost-in-the-Middle-Effekt. Empirische Tests demonstrieren, dass Modelle Informationen am Anfang und Ende langer Kontexte zuverlässiger abrufen als Informationen in der Mitte. Bei einem Kontext von 100.000 Tokens wird Information an Position 1.000 oder 99.000 besser verarbeitet als Information an Position 50.000. Dieser Effekt ist robust über verschiedene Modelle und Aufgaben hinweg dokumentiert.

Die Ursachen dieses Phänomens könnten dem menschlichen FOA-Mechanismus analog sein. Positional Encoding, das Positions-Informationen zu Token-Embeddings hinzufügt, degradiert durch die vielen Schichten eines tiefen Transformers. Während Position 1 und Position 100 klar unterscheidbar bleiben, verschwimmen feinere Unterschiede bei sehr langen Sequenzen. Position 50.000 und Position 50.100 werden hinsichtlich ihrer Position ähnlich repräsentiert, auch wenn dieser Abstand semantisch relevant sein könnte. Diese Degradation ist am stärksten in der Mitte langer Kontexte, wo die Positionsinformation durch die meisten Layer-Transformationen "verwaschen" wurde.

Der Attention-Mechanismus selbst könnte zusätzlich zum Effekt beitragen. Obwohl theoretisch alle Positionen gleichberechtigt sind, zeigen Attention-Pattern-Analysen, dass Modelle systematisch mehr Attention auf Anfang und Ende von Sequenzen allokieren. Dies könnte eine gelernte Strategie sein, analog zum menschlichen FOA: Begrenzte Aufmerksamkeitsressourcen werden bevorzugt auf Positionen verteilt, die typischerweise informativer sind.

Neuronale Evidenz für funktionale Spezialisierung

Neuere fMRI-Forschung von Kumar et al. (2024) stärkt diese Hypothese durch direkte Evidenz funktionaler Spezialisierung. Die Autoren analysierten, wie einzelne Attention Heads in BERT auf spezifische cortikale Regionen mappen. Posteriore temporale Bereiche korrespondierten mit Heads aus früheren Layers, die kurze Lookback-Distanzen aufweisen - konsistent mit früher syntaktischer Verarbeitung. Anteriore temporale und präfrontale Cortices assoziierten mit Heads aus späteren Layers mit längeren Lookback-Distanzen, was auf Verarbeitung komplexerer, langreichweitiger Abhängigkeiten hindeutet. Diese Layer-zu-Region-Gradienten deuten darauf hin, dass beide Systeme Information über ähnliche hierarchische Stufen verarbeiten, auch wenn keine perfekte 1:1-Zuordnung existiert.

Die Parallele ist bemerkenswert, aber es fehlt direkte experimentelle Evidenz. Niemand hat bisher systematisch getestet, ob die neuronalen Mechanismen des menschlichen Primacy/Recency-Effekts strukturell dem Lost-in-the-Middle bei LLMs entsprechen. Dies wäre ein lohnendes Forschungsprojekt: Können Methoden der kognitiven Neurowissenschaft auf LLM-Interpretability übertragen werden, um zu testen, ob dieselben attention-basierten Mechanismen am Werk sind?

Serielle vs. parallele Verarbeitung: Ein kategorialer Unterschied?

Ein kritischer Einwand: Google Research (2024) identifizierte einen fundamentalen architektonischen Unterschied - "Unlike the Transformer architecture, which processes hundreds to thousands of words simultaneously, the language areas appear to analyze language serially, word by word, recurrently, and temporally." Wenn das Gehirn Sprache seriell verarbeitet, während Transformer parallel operieren, könnten die ähnlichen Effekte völlig unterschiedliche Ursachen haben.

Der Primacy-Effekt beim Menschen könnte der seriellen Verarbeitung geschuldet sein: Frühe Items werden häufiger rehearsed (innerlich wiederholt), während die Verarbeitung durch die Liste fortschreitet. Mehr Rehearsals führen zu stärkerer Enkodierung ins Langzeitgedächtnis. Der Recency-Effekt reflektiert Items, die noch im aktiven Arbeitsgedächtnis gehalten werden. Bei LLMs hingegen entsteht Lost-in-the-Middle aus Positional Encoding Degradation bei paralleler Verarbeitung - ein völlig anderer Mechanismus.

Allerdings schwächt empirische Evidenz diesen Einwand. Studien zu simultanen visuellen Arrays und räumlichen Gedächtnisaufgaben zeigen, dass Primacy/Recency-Effekte auch bei nicht-serieller Präsentation auftreten. Wenn neun Objekte gleichzeitig als räumliches Array präsentiert werden, erinnern Probanden Ecken und Kanten besser als mittlere Positionen. Dies deutet darauf hin, dass serielle Verarbeitung nicht notwendig für den Effekt ist. Stattdessen könnte der gemeinsame Mechanismus tatsächlich Attention-Allokation sein: Sowohl der menschliche Focus of Attention als auch LLM Attention-Patterns privilegieren bestimmte Positionen (Anfang, Ende) über andere (Mitte).

Die Nuance ist entscheidend: Die Implementierung ist verschieden (serial vs. parallel), aber der funktionale Effekt ähnlich. Dies wäre konsistent mit dem Prinzip multipler Realisierbarkeit aus der Philosophie des Geistes: Dieselbe funktionale Eigenschaft kann durch verschiedene physikalische Substrate und Mechanismen implementiert werden.

Information Compression als universelles Prinzip

These: Information Compression ist kein Nebeneffekt, sondern fundamentales Prinzip effizienter Intelligenz - die Information Bottleneck Theorie erklärt, warum sowohl Gehirne als auch LLMs komprimieren müssen.

Chunking im menschlichen Arbeitsgedächtnis

Warum können Menschen nur 7±2 Items im Arbeitsgedächtnis halten, wenn moderne Computer Gigabytes speichern können? Die Antwort liegt in einem fundamentalen Missverständnis: Die Limitation ist nicht die Anzahl der Items, sondern die Menge der Information. George Miller's berühmtes Paper von 1956 zeigte, dass Menschen etwa gleich viele binäre Digits (1 bit Information pro Item), Dezimal-Digits (3.32 bits) oder Wörter (10+ bits) erinnern können - etwa sieben von jedem. Dies deutete darauf hin, dass die Kapazität nicht in Items, sondern in chunks gemessen wird.

Cowan's Revision (2001) präzisierte diese Grenze: Das Arbeitsgedächtnis hält nicht 7±2, sondern nur 3-5 chunks. Der entscheidende Punkt: Ein chunk ist eine komprimierte Informationseinheit variabler Komplexität. Für einen Anfänger ist jede Ziffer einer Telefonnummer ein separater Chunk: 0-3-0-1-5-5-5-1-2-1-2 überschreitet die Kapazität von 3-5 Chunks deutlich. Ein geübter Nutzer komprimiert dieselbe Information in drei chunks: 030 (Vorwahl), 1555 (Vermittlungsstelle), 1212 (Anschluss). Expertise erhöht nicht die Anzahl der chunks, sondern die Menge der Information pro chunk. Schachmeister können ganze Brettpositionen als einzelnen chunk kodieren, was Anfängern unmöglich ist.

Diese Chunking-Strategie ist ein Beispiel für Information Compression: Rohdaten werden in kompaktere Repräsentationen überführt, die die relevante Information erhalten, aber redundante Details eliminieren. Konzeptuelle chunks enthalten mehr relationale Information in komprimierter Form. Die Telefonnummer 030-1555-1212 als drei chunks zu speichern erhält nicht nur die Ziffernfolge, sondern auch die hierarchische Struktur (Vorwahl, Vermittlung, Anschluss).

Information Bottleneck Theory

Die Information Bottleneck Theory von Tishby und Zaslavsky (2015) formalisiert dieses Prinzip für neuronale Netze mathematisch. Die Theorie beschreibt den optimalen Trade-off zwischen Kompression (minimale Komplexität) und Vorhersagekraft (maximale Relevanz). Während des Trainings durchlaufen neuronale Netze zwei distinkte Phasen: In der Fitting Phase erfasst das Netzwerk so viel Information wie möglich über Input und Output, was zu hochdimensionalen internen Repräsentationen führt. In der Compression Phase eliminiert das Netzwerk redundante Information und reduziert die Dimensionalität seiner Repräsentationen.

Kritisch ist: Compression ist nicht nur eine Optimierungstechnik, sondern notwendig für Generalisierung. Mathematische Beweise zeigen, dass das Kontrollieren des Information Bottlenecks eine Möglichkeit ist, Generalisierungsfehler zu kontrollieren. Netzwerke, die zu viel Information behalten, overfitting auf Trainingsdaten. Netzwerke, die zu stark komprimieren, verlieren kritische Details. Der optimale Bottleneck balanciert diese Extreme.

Empirische Evidenz in LLMs

Empirische Analysen von LLM-Layers bestätigen diese Theorie. Frühe Layers in Transformern haben hochdimensionale Repräsentationen, die viele spezifische Features erfassen. Mittlere Layers zeigen Dimensionalitäts-Reduktion - die effektive Dimensionalität der Hidden States sinkt, obwohl die nominale Größe konstant bleibt. Dies geschieht durch zunehmende Korrelation zwischen Dimensionen: Information wird in eine kompaktere Struktur organisiert. Späte Layers haben stark komprimierte, semantisch reichhaltige Repräsentationen.

Phase Transitions während des Trainings markieren den Übergang von Fitting zu Compression. Kürzlich veröffentlichte Forschung identifizierte geometrische Signaturen dieser Übergänge: Curvature Collapse (die Krümmung des Loss-Landscapes flacht ab) und Dimension Stabilization (die intrinsische Dimensionalität der Repräsentationen stabilisiert sich) treten gleichzeitig auf. Diese geometrischen Shifts korrelieren mit emergierender syntaktischer und semantischer Accuracy. Das bedeutet: Der Moment, wo das Netzwerk beginnt zu komprimieren, ist der Moment, wo echtes Verstehen emergiert.

Die Parallele zu biologischen Systemen

Die Parallele zum menschlichen Arbeitsgedächtnis ist offensichtlich: Beide Systeme haben begrenzte "Kapazität" (3-5 chunks vs. Kontextfenster), beide komprimieren Information in abstraktere Einheiten, und bei beiden ermöglicht Compression bessere Generalisierung. Auch Gehirne können nicht alle sensorischen Details speichern. Die geschätzte Bandbreite visueller Information, die die Retina pro Sekunde liefert, ist etwa 10 Megabits, aber nur ein Bruchteil erreicht bewusstes Erleben oder Langzeitspeicher. Compression findet auf allen Ebenen der Verarbeitungshierarchie statt. Chunking im Arbeitsgedächtnis ist nur die expliziteste Form dieser Strategie.

Die offene Forschungsfrage ist: Wie viele semantische chunks kann ein LLM bei 100.000 Tokens gleichzeitig halten? Trotz der enormen Token-Kapazität könnte die konzeptuelle Kapazität ähnlich beschränkt sein wie beim Menschen. Wenn LLMs Information ähnlich komprimieren, hätten sie möglicherweise nur 10-20 aktive "konzeptuelle chunks" gleichzeitig, auch wenn diese aus Tausenden von Tokens konstruiert sind. Dies würde erklären, warum auch bei großen Kontextfenstern komplexe Multi-Dokument-Reasoning schwierig bleibt.

Universelle Constraints der Informationsverarbeitung

Die beschriebenen Parallelen sind möglicherweise keine Zufälle, sondern Ausdruck fundamentaler Prinzipien, die jede Form ressourcenbeschränkter Informationsverarbeitung prägen. Begrenzte Ressourcen (Energie, Speicher, Rechenzeit) erzwingen Information Compression. Compression erzeugt hierarchische Abstraktionsebenen, wobei Detail-Information für Effizienz geopfert wird. Attention-Mechanismen müssen selektiv sein, da nicht alle Information gleichzeitig mit maximaler Präzision verarbeitet werden kann.

Diese Constraints sind nicht spezifisch für neuronale Netze (biologisch oder künstlich), sondern könnten aus der Informationstheorie selbst folgen. Claude Shannon's fundamentale Arbeiten zur Kommunikationstheorie zeigen, dass jedes System, das Information überträgt oder speichert, mit Trade-offs zwischen Bandbreite, Fidelity und Ressourcenverbrauch umgehen muss. Die spezifischen Lösungen mögen variieren - Chunking vs. Bottlenecks, dynamischer FOA vs. Positional Encoding - aber die fundamentalen Trade-offs bleiben.

Wenn diese These korrekt ist, dann sind manche der als "Bugs" wahrgenommenen Eigenschaften von LLMs tatsächlich fundamentale Features jeder effizienten Intelligenz. Kontextfenster-Limitierungen reflektieren nicht nur architektonische Beschränkungen, sondern möglicherweise prinzipielle Grenzen, wie viel Information gleichzeitig in komprimierter Form gehalten werden kann.

Referenzen

Cowan, N. (2001). The magical number 4 in short-term memory: A reconsideration of mental storage capacity. Behavioral and Brain Sciences, 24(1), 87-114.

Cowan, N. et al. (2014). Primacy and recency effects as indices of the focus of attention. Frontiers in Human Neuroscience, 8, 6.

Kumar, S. et al. (2024). Shared functional specialization in transformer-based language models and the human brain. Nature Communications, 15, 5523.

Miller, G.A. (1956). The magical number seven, plus or minus two: Some limits on our capacity for processing information. Psychological Review, 63(2), 81-97.

Saxe, A.M. et al. (2024). Information Bottleneck and Phase Transitions in Deep Learning. Computational Neuroscience.

Springer, J.M. et al. (2024). The synaptic correlates of serial position effects in sequential working memory. Frontiers in Computational Neuroscience, 18, 1430244.

Tishby, N. & Zaslavsky, N. (2015). Deep learning and the information bottleneck principle. IEEE Information Theory Workshop.