Deep Learning bezeichnet Verfahren des maschinellen Lernens, die auf tiefen neuronalen Netzen basieren. Diese Netze bestehen aus vielen aufeinanderfolgenden Verarbeitungsschichten, die es ermöglichen, komplexe Muster und Abstraktionen in Daten schrittweise zu erlernen. Tiefe Architekturen bilden heute die Grundlage zahlreicher Anwendungen in der Bilderkennung, Sprachverarbeitung und Robotik. Die Leistungsfähigkeit von Deep Learning beruht auf dem Zusammenspiel großer Datenmengen, leistungsstarker Hardware und ausgefeilter Trainingsverfahren wie dem Backpropagation-Algorithmus. Unterschiedliche Netzwerkarchitekturen wie Convolutional Neural Networks, rekurrente Netze und Transformer-Modelle eignen sich dabei für jeweils spezifische Aufgabenstellungen und haben in den vergangenen Jahren in vielen Bereichen den Stand der Technik definiert. Diese Kategorie behandelt die Funktionsweise neuronaler Netze von den grundlegenden Bausteinen wie Neuronen und Aktivierungsfunktionen bis hin zu fortgeschrittenen Themen wie Regularisierung, Architekturdesign und Transfer Learning. Die Artikel verbinden theoretische Fundierung mit praxisnahen Erklärungen, um die Konzepte hinter neuronalen Netzen zu verstehen.
Der Attention-Mechanismus von Bahdanau bis Multi-Query Attention - Self-Attention, Cross-Attention und moderne Varianten technisch erklärt.
Forward- und Reverse-Prozess mit Rechenbeispielen, warum Latent Diffusion den Aufwand um Faktor 50 senkt und wo Diffusion Models gegenüber GANs verlieren.
Welches Problem Self-Attention löst, wie Query, Key und Value zusammenspielen und warum es drei Architekturfamilien gibt: BERT, GPT und T5.
Aufbau, Funktionsweise und Grenzen des Perceptrons als frühes Modell künstlicher Neuronen.
Wie die Kettenregel Gradienten rückwärts durchs Netz trägt, warum Adam anders optimiert als SGD und was gegen verschwindende Gradienten wirklich hilft.
Grundlagen tiefer neuronaler Netze - Architekturen, Training, Repräsentationslernen und Grenzen.