Neurowissenschaftliche Erkenntnisse zur biologischen Informationsverarbeitung und deren Bedeutung für die Entwicklung künstlicher Intelligenz. Vergleich von Gehirn-Mechanismen mit modernen Sprachmodellen.
Schlaf löst Catastrophic Forgetting, Pattern Completion erklärt Halluzinationen, o1-Modelle zeigen Meta-Kognition - beide Systeme entwickeln kreative Lösungen für dieselben Probleme mit unterschiedlichen Trade-offs.
Empirische Evidenz für den Embodiment-Gap, evolutionäre Priors und methodische Artefakte zeigen, dass viele Parallelen oberflächlich bleiben. Die Unterschiede reflektieren fundamentale Designentscheidungen der Evolution vs. Engineering.
Von paralleler Letter Recognition zu semantischer Emergenz in Transformer-Layers - beide Systeme bauen hierarchische Repräsentationen auf. Goldstein et al. (2022) identifizierten drei geteilte Prinzipien für predictive processing in Gehirn und LLMs.
Der Primacy/Recency-Effekt beim Menschen und der Lost-in-the-Middle-Effekt bei LLMs könnten auf denselben attention-basierten Mechanismus zurückgehen. Information Compression ist kein Nebeneffekt, sondern fundamentales Prinzip effizienter Intelligenz.
Verblüffende Parallelen zwischen biologischen und künstlichen neuronalen Netzen legen nahe, dass bestimmte Limitierungen fundamentale Eigenschaften ressourcenbeschränkter Informationsverarbeitung sein könnten - unabhängig vom Substrat.