Lesen und Sprachmodellverarbeitung zeigen beide mehrstufige Abstraktion. Menschen verarbeiten beim Lesen nicht einzelne Pixel, sondern konstruieren sukzessive Repräsentationen: von visuellen Features zu Buchstaben, von Buchstaben zu Wörtern, von Wörtern zu Bedeutung. Moderne Sprachmodelle arbeiten ebenfalls mit gestuften Repräsentationen, auch wenn ihre Einheiten, Trainingsziele und Implementierung anders sind.
Dieser Artikel untersucht, wie beide Systeme Informationen abstrahieren und dadurch manche Details weniger direkt verfügbar machen. Die Evidenz stammt aus Reading Science, Mechanistic-Interpretability-Forschung und Elektrophysiologie zu predictive processing.
Hierarchische Abstraktion: Multi-Level Parallel Processing
These: Menschliches Lesen und LLM-Verarbeitung nutzen mehrstufige Repräsentationen. Diese Ähnlichkeit ist funktional interessant, aber keine Aussage über identische Mechanismen.
Das Interactive Activation Model
Die Wissenschaft der Worterkennung hat eine interessante Geschichte theoretischer Paradigmenwechsel durchlaufen. Kevin Larsons Review von 2003 dokumentiert, wie die anfängliche Annahme, Menschen würden Wörter als Gesamtformen (word shapes) erkennen, durch Evidenz aus Eye-Tracking-Studien geschwächt wurde. Das heute akzeptierte Modell ist parallel letter recognition: Geübte Leser verarbeiten alle Buchstaben eines Wortes gleichzeitig, nicht sequenziell von links nach rechts und nicht als holistische Wortform.
Das Interactive Activation Model von McClelland und Rumelhart (1981) formalisierte diesen Prozess in einem neuronalen Netzwerk-Modell. Es zeigt frühe Ideen hierarchischer und rückgekoppelter Verarbeitung, die funktional an spätere KI-Modelle erinnern. Das Modell definiert drei Ebenen: Visual Feature Detectors erkennen elementare Komponenten wie horizontale Linien, diagonale Linien und Kurven. Letter Detectors integrieren diese Features zu Buchstaben-Repräsentationen. Word Detectors aktivieren basierend auf den erkannten Buchstaben mögliche Wörter. Die Aktivierung ist bidirektional. Letter Detectors senden Bottom-up-Aktivierung zu Word Detectors, aber Word Detectors senden auch Top-down-Aktivierung zurück zu Letter Detectors, wodurch kontextuelle Erwartungen die Buchstabenerkennung beeinflussen.
Diese bidirektionale Architektur erklärt den Word Superiority Effect: Buchstaben werden schneller und genauer erkannt, wenn sie in echten Wörtern statt in zufälligen Buchstabenketten präsentiert werden. Der Grund ist nicht, dass Wörter als Ganzes erkannt werden, sondern dass Word-Level-Repräsentationen top-down Unterstützung für ambige Letter-Level-Repräsentationen liefern. Wenn die visuelle Information für den Buchstaben K in "WORK" ambig ist (könnte auch R sein), löst die starke Aktivierung des Wort-Detektors für "WORK" diese Ambiguität durch Rückkopplung.
Abstraktion als Effizienz-Strategie
Die hierarchische Verarbeitung impliziert eine wichtige Konsequenz: abstrahierte Buchstabeninformation, nicht rohe visuelle Details, wird über Sakkaden hinweg übertragen. Eye-Tracking-Experimente zeigen, dass Leser Buchstaben in der Peripherie des Gesichtsfelds teilweise erfassen, bevor sie direkt fixiert werden. Diese Information ist nicht die exakte visuelle Form der Buchstaben, sondern eine abstrahierte Repräsentation: welche Buchstaben an welchen Positionen vorkommen. Das erklärt, warum Großbuchstaben (CHART) ähnlich schnell verarbeitet werden können wie Kleinbuchstaben (chart), obwohl die visuelle Form unterschiedlich ist.
Der Proofreading-Effekt zeigt, dass Menschen Details leichter übersehen, wenn die abstrahierte Form passt. Bei der Fehlersuche in Texten übersehen Leser Rechtschreibfehler häufiger, wenn die Buchstabenform erhalten bleibt. "tesf" statt "test" wird zu 13% übersehen, während "tesc" nur zu 7% übersehen wird. Der Unterschied: "f" und "t" haben ähnliche Letter Shapes (beide haben Ascender), während "c" eine andere Form hat. Wenn die abstrahierte Buchstabenebene plausibel erscheint, wird die feinere Detailebene weniger zuverlässig geprüft.
Hierarchische Emergenz in LLMs
Large Language Models zeigen funktional vergleichbare Eigenschaften. Die Verarbeitung erfolgt ebenfalls mehrstufig: Subtoken-Information wird zu Tokens aggregiert, Tokens werden in kontextuelle Repräsentationen eingebettet, und spätere Verarbeitungsschritte können abstraktere Bedeutungsbeziehungen tragen. Die TRACE-Arbeit von Aljaafari, Carvalho und Freitas (2025) untersucht, wie semantische Repräsentationen in Transformern während des Trainings entstehen. Solche Befunde sprechen für Layer-Spezialisierung, aber die genaue Zuordnung früher, mittlerer und später Layer bleibt modellabhängig.
Das Strawberry-Problem illustriert eine Konsequenz dieser Abstraktion: LLMs können bei Zeichenoperationen fehleranfällig sein, weil ihre primäre Verarbeitung über Tokens und kontextuelle Repräsentationen läuft, nicht über eine stabile Buchstabenliste. Je nach Tokenizer wird "strawberry" etwa in größere Teilstücke zerlegt, wodurch die Buchstabeninformation nicht immer direkt nutzbar ist. Das ist keine exakte Analogie zum menschlichen Lesen. Es zeigt aber in beiden Fällen, dass abstrahierte Einheiten effizient sind und Detailaufgaben erschweren können.
Die Dyslexie-Forschung liefert eine vorsichtige Nebenanalogie. Studien zeigen, dass dyslektische Leser Schwierigkeiten beim Letter-Level Processing haben können: Die parallele Verarbeitung von Buchstaben und ihre Integration zu höheren Repräsentationen funktioniert weniger stabil. Das ist kein Modell für LLM-Tokenisierung, aber es macht denselben allgemeinen Punkt sichtbar: Wenn der Wechsel zwischen Granularitätsebenen gestört oder unflexibel ist, werden bestimmte Aufgaben schwieriger.
Layer-spezifische Concept Emergence: Von Syntax zu Semantik
These: Die progressive Emergenz semantischer Konzepte in Transformer-Layern erinnert funktional an hierarchische Verarbeitung im Cortex. Die Analogie bleibt modellabhängig und sollte nicht als direkte Abbildung gelesen werden.
Hierarchische Organisation im Gehirn
Die visuelle Verarbeitung im menschlichen Gehirn ist hierarchisch organisiert: V1 (primärer visueller Cortex) reagiert auf elementare Features wie Kanten und Orientierungen. V2 integriert diese zu einfacheren Formen. V4 verarbeitet Farben und Texturen. Der inferotemporale Cortex reagiert auf komplexe Objekte und Gesichter. Diese Hierarchie baut sukzessive komplexere Repräsentationen aus einfacheren Komponenten auf. Analogien zur linguistischen Verarbeitung sind spekulativer, aber es wird angenommen, dass auditorischer und linguistischer Cortex ähnliche hierarchische Strukturen aufweisen.
Funktionale Spezialisierung in Transformer-Layers
Mechanistic-Interpretability-Forschung an LLMs zeigt verwandte Muster. Die Studie "Exploring Functional Roles of Transformer Layers" (Emergence.ai, 2024) analysierte Aktivierungsmuster verschiedener Layer und identifizierte funktionale Spezialisierungen. Frühere Layer verarbeiten häufig eher oberflächennahe Strukturen, etwa Syntax, Grammatik, Part-of-Speech-Information oder morphologische Merkmale. Sie erfassen damit eher die strukturelle "Form" der Sprache.
In mittleren und späteren Layern verschieben sich die Aktivierungsmuster häufig stärker zu Bedeutung, thematischen Kategorien, semantischen Rollen und konzeptuellen Beziehungen. In sehr späten Layern können diskursive und pragmatische Signale stärker werden. Die exakten Grenzen hängen jedoch von Modellgröße, Architektur, Trainingsdaten und Analyseverfahren ab. Eine starre Einteilung in Layer 1-8, 9-24 und 25+ wäre deshalb zu schematisch.
Phase Transitions und Emergenz
Die Forschung zu Phase Transitions während des Trainings liefert zusätzliche Evidenz. Transformer-Modelle können deutliche Übergänge von Memorisierung zu Abstraktion zeigen. Diese Übergänge verlaufen nicht immer gleichmäßig, sondern können an bestimmten Training-Checkpoints sichtbar werden. Geometrische Analysen identifizieren Curvature Collapse und Dimension Stabilization als Marker solcher Übergänge. In TRACE korrelieren diese geometrischen Verschiebungen mit besserer syntaktischer und semantischer Genauigkeit. Das System lernt zunächst Trainingsbeispiele, später entstehen kompaktere, generalisierbarere Strukturen.
Diese Layer-spezifische Emergenz wird durch Analysen funktionaler Netzwerkorganisation ergänzt (Chen et al., 2024). Subgruppen künstlicher Neuronen in LLMs zeigen organisatorische Muster, die an funktionale Hirnnetzwerke erinnern, etwa Language Network, Default Mode Network, Working Memory Network und frontoparietale Netzwerke. Das sollte nicht als direkte Entsprechung gelesen werden. Es deutet eher darauf hin, dass komplexe Systeme unter ähnlichen Aufgabenbedingungen funktional vergleichbare Organisationsformen entwickeln können.
Predictive Processing: Geteilte Computational Principles
These: Gehirn und LLMs zeigen funktional vergleichbare Formen von predictive processing: Vorhersage spielt in beiden Fällen eine zentrale Rolle, aber auf unterschiedlicher biologischer bzw. technischer Grundlage.
Evidenz aus Elektrophysiologie
Die predictive-processing-Konvergenz, die Schrimpf et al. (2021) identifizierten, wurde durch neuere Elektrophysiologie gestützt. Goldstein et al. (2022) nutzten Electrocorticography (ECoG) bei 9 Teilnehmern während 30-minütiger Podcast-Rezeption und identifizierten drei funktional vergleichbare Prinzipien: Sowohl Gehirn als auch autoregressive LLMs nutzen kontinuierliche Next-Word Prediction vor Wort-Onset, berechnen post-onset surprise durch Abgleich von Vorhersage und tatsächlichem Input und nutzen kontextuelle Embeddings zur Wortrepräsentation. Wichtig ist, dass diese Vorhersagen nicht nur nachträgliche Auswertung sind. Das Gehirn bereitet kommende Information aktiv vor, bevor sie vollständig eintrifft.
Caucheteux & King (2023) erweiterten diese Befunde durch fMRI-Analysen bei 304 Teilnehmern und zeigten eine hierarchische Organisation des predictive coding: frontoparietale Cortices sagen höherrangige, kontextreichere Repräsentationen über längere Zeitskalen vorher, während temporale Cortices kürzerfristige, einfachere Vorhersagen erzeugen. Diese Multiscale-Hierarchie verbessert Brain-Mappings. LLMs, die mit solchen Multi-Timescale-Predictions augmentiert wurden, erklären mehr Varianz in neuralen Daten als Standardmodelle.
Methodische Vorsicht
Methodische Vorsicht bleibt geboten. Neuere Analysen zeigen, dass nicht jedes gemessene Brain Alignment auf computationelle Gemeinsamkeiten zurückgeht: In der Reanalyse von Feghhi et al. (2024) reflektieren nur 10-19% der Predictivity komplexere kontextuelle Verarbeitung wie Bedeutungsdisambiguierung oder syntaktische Struktur, während 81-90% durch einfache Merkmale wie Satzlänge und Position erklärbar sind. Zudem zeigen Transformer in manchen Benchmarks Schwächen bei compositional generalization. Die predictive-processing-Analogie ist damit stark genug für Hypothesen, aber zu begrenzt für eine Gleichsetzung.
Konvergente Organisationsprinzipien
Die dokumentierten Ähnlichkeiten legen nahe, dass hierarchische Abstraktion und predictive processing keine beliebigen Designentscheidungen sind. Beide Systeme müssen mit begrenzten Ressourcen umgehen, Information komprimieren und Vorhersagen über kommende Inputs treffen. Die Implementierungen unterscheiden sich deutlich: biologische Neuronen und synaptische Plastizität auf der einen Seite, künstliche Gewichte und Training auf Textkorpora auf der anderen. Trotzdem können funktionale Organisationsprinzipien konvergieren.
Diese funktionale Konvergenz ist die tragfähige Pointe des Vergleichs. Hierarchie ermöglicht den Aufbau komplexer Repräsentationen aus einfacheren Komponenten. Predictive processing reduziert Überraschung und verbessert Verarbeitung in ressourcenbeschränkten Systemen. Aber gerade weil diese Parallelen stark wirken, müssen sie im nächsten Schritt gegen Embodiment, evolutionäre Priors und methodische Artefakte geprüft werden.
Referenzen
Caucheteux, C. & King, J.-R. (2023). Evidence of a predictive coding hierarchy in the human brain listening to speech. Nature Human Behaviour, 7(3), 430-441.
Chen, Z. et al. (2024). Brain-like Functional Organization within Large Language Models. arXiv:2410.19542.
Emergence.ai (2024). Exploring the Functional Roles of Transformer Layers.
Feghhi, E. et al. (2024). What Are Large Language Models Mapping to in the Brain? A Case Against Over-Reliance on Brain Scores. arXiv:2406.01538.
Goldstein, A. et al. (2022). Shared computational principles for language processing in humans and deep language models. Nature Neuroscience, 25(3), 369-380.
Aljaafari, N., Carvalho, D.S., & Freitas, A. (2025). TRACE for Tracking the Emergence of Semantic Representations in Transformers. arXiv:2505.17998.
Larson, K. (2003). The Science of Word Recognition. Microsoft Typography.
McClelland, J.L. & Rumelhart, D.E. (1981). An interactive activation model of context effects in letter perception: Part 1. An account of basic findings. Psychological Review, 88, 375-407.
Rayner, K. (1998). Eye movements in reading and information processing: 20 years of research. Psychological Bulletin, 124(3), 372-422.
Schrimpf, M. et al. (2021). The neural architecture of language: Integrative modeling converges on predictive processing. PNAS, 118(45), e2105646118.