Wie baut Intelligenz Bedeutung auf? Die Antwort in beiden Systemen - biologisch und künstlich - lautet durch hierarchische Abstraktion. Menschen verarbeiten nicht einzelne Pixel, sondern konstruieren sukzessive Repräsentationen: Von visuellen Features zu Buchstaben, von Buchstaben zu Wörtern, von Wörtern zu Bedeutung. Moderne Sprachmodelle zeigen eine verblüffend ähnliche Architektur: Frühe Layers erfassen syntaktische Strukturen, mittlere Layers semantische Konzepte, späte Layers pragmatische Beziehungen.

Dieser Artikel untersucht, wie beide Systeme durch hierarchische Parallel-Aktivierung auf mittlerer Abstraktionsebene arbeiten, wobei feinste Details zugunsten von Effizienz geopfert werden. Die Evidenz stammt aus Reading Science, Mechanistic Interpretability-Forschung und neuester Elektrophysiologie zur predictive processing-Konvergenz.

Hierarchische Abstraktion: Multi-Level Parallel Processing

These: Sowohl menschliches Lesen als auch LLM-Verarbeitung nutzen hierarchische Parallel-Aktivierung auf mittlerer Abstraktionsebene, wobei feinste Details zugunsten von Effizienz geopfert werden.

Das Interactive Activation Model

Die Wissenschaft der Worterkennung hat eine interessante Geschichte von theoretischen Paradigmenwechseln durchlaufen. Kevin Larson's umfassende Review von 2003 dokumentiert, wie die anfängliche Annahme, Menschen würden Wörter als Gesamtformen (word shapes) erkennen, durch Evidenz aus Eye-Tracking-Studien widerlegt wurde. Das heute akzeptierte Modell ist parallel letter recognition: Geübte Leser verarbeiten alle Buchstaben eines Wortes gleichzeitig, nicht sequenziell von links nach rechts und nicht als holistische Wortform.

Das Interactive Activation Model von McClelland und Rumelhart (1981) formalisierte diesen Prozess in einem neuronalen Netzwerk-Modell, das verblüffende Ähnlichkeiten zu modernen Transformern aufweist. Das Modell definiert drei hierarchische Ebenen: Visual Feature Detectors erkennen elementare Komponenten wie horizontale Linien, diagonale Linien und Kurven. Letter Detectors integrieren diese Features zu Buchstaben-Repräsentationen. Word Detectors aktivieren basierend auf den erkannten Buchstaben mögliche Wörter. Das Bemerkenswerte: Die Aktivierung ist bidirektional. Letter Detectors senden bottom-up Aktivierung zu Word Detectors, aber Word Detectors senden auch top-down Aktivierung zurück zu Letter Detectors, wodurch kontextuelle Erwartungen die Buchstabenerkennung beeinflussen.

Diese bidirektionale Architektur erklärt den Word Superiority Effect: Buchstaben werden schneller und genauer erkannt, wenn sie in echten Wörtern statt in zufälligen Buchstabenketten präsentiert werden. Der Grund ist nicht, dass Wörter als Ganzes erkannt werden, sondern dass Word-Level-Repräsentationen top-down Unterstützung für ambige Letter-Level-Repräsentationen liefern. Wenn die visuelle Information für den Buchstaben K in "WORK" ambig ist (könnte auch R sein), löst die starke Aktivierung des Wort-Detektors für "WORK" diese Ambiguität durch Rückkopplung.

Abstraktion als Effizienz-Strategie

Die hierarchische Verarbeitung impliziert eine wichtige Konsequenz: Abstrahierte Letter Information, nicht rohe visuelle Details, werden über Saccaden hinweg übertragen. Eye-Tracking-Experimente zeigen, dass Leser Buchstaben in der Peripherie des Gesichtsfelds prelitär erfassen, bevor sie direkt fixiert werden. Diese Information ist nicht die exakte visuelle Form der Buchstaben, sondern eine abstrahierte Repräsentation - welche Buchstaben an welchen Positionen vorkommen. Das erklärt, warum Großbuchstaben (CHART) genauso schnell verarbeitet werden wie Kleinbuchstaben (chart), obwohl die visuelle Form völlig unterschiedlich ist.

Der Proofreading-Effekt demonstriert eindrucksvoll, dass Menschen Details opfern, wenn die abstrahierte Form passt. Bei der Fehlersuche in Texten übersehen Leser Rechtschreibfehler doppelt so häufig, wenn die Buchstabenform erhalten bleibt. "tesf" statt "test" wird zu 13% übersehen, während "tesc" nur zu 7% übersehen wird. Der Unterschied: "f" und "t" haben ähnliche Letter Shapes (beide haben Ascender), während "c" eine völlig andere Form hat. Wenn die abstrahierte Buchstaben-Ebene plausibel erscheint, wird die feinere Detail-Ebene nicht mehr überprüft.

Hierarchische Emergenz in LLMs

Large Language Models zeigen strukturell analoge Eigenschaften. Die Verarbeitung erfolgt ebenfalls hierarchisch: Sub-token Features werden zu Tokens aggregiert, Tokens zu konzeptuellen Repräsentationen. Forschung von Jin et al. (2024) zur semantischen Emergenz in Transformern zeigt, dass frühe Layers (1-8) primär syntaktische und grammatikalische Features erfassen - analog zu Letter-Level-Processing beim Lesen. Mittlere Layers (9-24) beginnen, semantische Konzepte zu bilden - analog zu Word-Level-Repräsentationen. Späte Layers (25+) entwickeln komplexe abstrakte Strukturen und pragmatische Beziehungen - eine Ebene, die im Lesemodell nicht explizit ist, aber diskursiven Prozessen entsprechen könnte.

Das Strawberry-Problem illustriert die Konsequenz dieser Abstraktion: LLMs können nicht zuverlässig zählen, wie viele "r"s in "strawberry" vorkommen, weil sie keinen Zugriff auf Character-Level haben. Das Wort wird in Tokens wie ["straw", "berry"] zerlegt, und die Buchstaben-Information ist nicht direkt verfügbar. Dies ist exakt analog zum menschlichen Leseprozess, wo abstrahierte Letter Information die Verarbeitungsebene darstellt, nicht rohe visuelle Features. Beide Systeme opfern bewusst Detail-Zugriff für effizientere Verarbeitung auf höheren Abstraktionsebenen.

Die Parallele wird durch Dyslexie-Forschung verstärkt. Studien zeigen, dass dyslektische Leser ein Letter-Level Processing Deficit haben - die parallele Verarbeitung von Buchstaben funktioniert nicht korrekt. Interessanterweise ist dies kein Problem mit visueller Wahrnehmung (die Buchstaben werden gesehen), sondern mit der Integration zu höheren Repräsentationen. Die Multi-Granularität - simultanes Processing auf Feature-, Letter- und Word-Level - funktioniert nicht. Dies ähnelt strukturell der Limitation von LLMs: Die Tokenisierung verhindert flexible Navigation zwischen Abstraktionsebenen.

Layer-spezifische Concept Emergence: Von Syntax zu Semantik

These: Die progressive Emergenz semantischer Konzepte in LLM-Layers könnte analog zur hierarchischen Verarbeitung im menschlichen Cortex verlaufen, wo frühe sensorische Areale einfache Features erfassen und höhere Areale komplexe Konzepte repräsentieren.

Hierarchische Organisation im Gehirn

Die visuelle Verarbeitung im menschlichen Gehirn ist hierarchisch organisiert: V1 (primärer visueller Cortex) reagiert auf elementare Features wie Kanten und Orientierungen. V2 integriert diese zu einfacheren Formen. V4 verarbeitet Farben und Texturen. Der inferotemporale Cortex reagiert auf komplexe Objekte und Gesichter. Diese Hierarchie baut sukzessive komplexere Repräsentationen aus einfacheren Komponenten auf. Analogien zur linguistischen Verarbeitung sind spekulativer, aber es wird angenommen, dass auditorischer und linguistischer Cortex ähnliche hierarchische Strukturen aufweisen.

Funktionale Spezialisierung in Transformer-Layers

Mechanistic Interpretability-Forschung an LLMs zeigt bemerkenswert ähnliche Muster. Die Studie "Exploring Functional Roles of Transformer Layers" (Emergence.ai, 2024) analysierte die Aktivierungsmuster verschiedener Layers und identifizierte klare funktionale Spezialisierungen. Frühe Layers (1-8) verarbeiten primär "shallow patterns" - syntaktische und grammatikalische Strukturen. Neuron-Aktivierungen korrelieren mit Part-of-Speech-Information, grammatikalischen Dependencies und morphologischen Features. Diese Layer erfassen die strukturelle "Form" der Sprache.

Mittlere Layers (9-24) zeigen einen qualitativen Shift: Semantische Konzepte beginnen zu emergieren. Neuronen in diesen Layers reagieren auf thematische Kategorien (Sport, Politik, Wissenschaft), semantische Rollen (Agens, Patiens) und konzeptuelle Beziehungen. Die Aktivierungsmuster korrelieren weniger mit syntaktischen und mehr mit bedeutungsbezogenen Features. Späte Layers (25+) entwickeln hochabstrakte Repräsentationen: Diskursstrukturen, pragmatische Inferenzen, Intentionen und komplexe relationale Konzepte.

Phase Transitions und Emergenz

Die Forschung zu Phase Transitions während des Trainings liefert zusätzliche Evidenz. Transformer-Modelle zeigen distinkte Übergänge von Memorisierung zu Abstraktion. Diese Transitions sind nicht graduell, sondern relativ abrupt und treten bei spezifischen Training-Checkpoints auf. Geometrische Analysen identifizieren Curvature Collapse und Dimension Stabilization als Marker dieser Übergänge. Bemerkenswerterweise korrelieren diese geometrischen Shifts mit Sprüngen in syntaktischer und semantischer Accuracy. Das System lernt zunächst, Trainingsbeispiele zu memorieren (hohe Dimensionalität, komplexe Repräsentationen), dann plötzlich abstrahiert es zu kompakteren, generalisierbaren Strukturen.

Diese Layer-spezifische Emergenz wird durch Analysen funktionaler Netzwerk-Organisation bestätigt (Chen et al., 2024). Sub-Gruppen artifizieller Neuronen in LLMs spiegeln organisatorische Muster funktionaler Hirnnetzwerke wider: Language Network, Default Mode Network, Working Memory Network und Fronto-parietal Network. Bemerkenswerterweise zeigen fortgeschrittenere Modelle (Llama 3 vs. Llama 1) eine zunehmend kompakte, hierarchische Organisation - analog zur funktionalen Differenzierung im Gehirn während der Entwicklung. Dies deutet auf konvergente Organisationsprinzipien hin, die mit zunehmender Modellkomplexität emergieren.

Predictive Processing: Geteilte Computational Principles

These: Gehirn und LLMs teilen fundamentale Prinzipien des predictive processing - aktive Vorhersage vor Input, nicht nur reaktive Verarbeitung.

Evidenz aus Elektrophysiologie

Die predictive processing-Konvergenz, die Schrimpf et al. (2021) identifizierten, wurde durch neuere Elektrophysiologie substanziell bestätigt. Goldstein et al. (2022) nutzten Electrocorticography (ECoG) bei 9 Teilnehmern während 30-minütiger Podcast-Rezeption und identifizierten drei fundamentale geteilte Prinzipien: Sowohl Gehirn als auch autoregressive LLMs führen kontinuierliche next-word prediction vor Wort-Onset durch, berechnen post-onset surprise durch Abgleich der Prediction mit dem tatsächlichen Input, und nutzen kontextuelle Embeddings zur Wortrepräsentation. Kritisch ist, dass diese Predictions nicht post-hoc sind, sondern aktiv und vorwegnehmend - das Gehirn predictet bevor Information eintrifft, nicht nur danach.

Caucheteux & King (2023) erweiterten diese Befunde durch fMRI-Analysen bei 304 Teilnehmern und zeigten eine hierarchische Organisation des predictive coding: Frontoparietal Cortices predicten höherrangige, kontextuell reichere Repräsentationen über längere Zeitskalen, während temporal Cortices kürzerfristige, lower-level Predictions erzeugen. Diese Multiscale-Hierarchie verbessert Brain-Mappings signifikant - LLMs, die mit solchen multi-timescale Predictions augmentiert wurden, erklären mehr Varianz in neuralen Daten als Standard-Models.

Methodische Vorsicht

Jedoch bleibt methodische Vorsicht geboten. Neuere Analysen zeigen, dass nicht alle gemessene Brain-Alignment auf echte computational similarities zurückgeht: Nur 10-19% der Predictivity reflektieren komplexe kontextuelle Verarbeitung (sense disambiguation, syntactic structure), während 81-90% durch triviale Features wie sentence length und position erklärbar sind (Feghhi et al., 2024). Zudem zeigen Transformers fundamentale Schwächen in compositional generalization (35% Accuracy auf COGS-Benchmark, nahezu 0% structural generalization), was darauf hindeutet, dass die predictive processing-Analogie spezifische Grenzen hat.

Konvergente Organisationsprinzipien

Die dokumentierten Ähnlichkeiten legen nahe, dass hierarchische Abstraktion und predictive processing nicht arbiträre Designentscheidungen sind, sondern emergente Eigenschaften effizienter Informationsverarbeitung. Beide Systeme müssen mit begrenzten Ressourcen umgehen, Information komprimieren, und Vorhersagen über zukünftige Inputs treffen. Die spezifischen Implementierungen mögen divergieren - biologische Neuronen vs. künstliche Gewichte, serielle vs. parallele Verarbeitung - aber die funktionalen Prinzipien konvergieren.

Dies deutet auf konvergente Evolution hin: Biologische und künstliche Systeme entwickeln ähnliche Lösungen für ähnliche Probleme, nicht weil sie sich kopieren, sondern weil die Problemstruktur bestimmte Lösungsarchitekturen begünstigt. Hierarchie ermöglicht effizienten Aufbau komplexer Repräsentationen aus einfachen Komponenten. Predictive processing reduziert Überraschung und verbessert Verarbeitung in ressourcenbeschränkten Systemen.

Referenzen

Caucheteux, C. & King, J.-R. (2023). Evidence of a predictive coding hierarchy in the human brain listening to speech. Nature Human Behaviour, 7(3), 430-441.

Chen, Z. et al. (2024). Brain-like Functional Organization within Large Language Models. arXiv:2410.19542.

Emergence.ai (2024). Exploring the Functional Roles of Transformer Layers. https://www.emergence.ai/blog/exploring-the-functional-roles-of-transformer-layers

Feghhi, E. et al. (2024). What Are Large Language Models Mapping to in the Brain? A Case Against Over-Reliance on Brain Scores. arXiv:2406.01538.

Goldstein, A. et al. (2022). Shared computational principles for language processing in humans and deep language models. Nature Neuroscience, 25(3), 369-380.

Jin, M. et al. (2024). TRACE for Tracking the Emergence of Semantic Representations in Transformers. arXiv:2505.17998.

Larson, K. (2003). The Science of Word Recognition. Microsoft Typography.

McClelland, J.L. & Rumelhart, D.E. (1981). An interactive activation model of context effects in letter perception: Part 1. An account of basic findings. Psychological Review, 88, 375-407.

Rayner, K. (1998). Eye movements in reading and information processing: 20 years of research. Psychological Bulletin, 124(3), 372-422.

Schrimpf, M. et al. (2021). The neural architecture of language: Integrative modeling converges on predictive processing. PNAS, 118(45), e2105646118.