Delta-Regel

Die Delta-Regel beruht auf einem Vergleich zwischen dem gewünschten und dem tatsächlich beobachteten Output einer Outputunit i. Als Formel kann dieser Vergleich wie folgt dargestellt werden: = a_i(gewünscht) - a_i(beobachtet)

Man kann drei Möglichkeiten unterscheiden:

• Die beobachtete Aktivität ist zu niedrig. Um die Aktivität zu steigern werden die Gewichte zwischen den sendenden und der empfangenden Unit erhöht, sofern von den sendenden Einheiten ein positiver Input ausgeht. Die Gewichte zu den sendenden Units mit negativem Input werden hingegen gesenkt.
• Die beobachtete Aktivität ist zu groß. Da die Aktivität hier reduziert werden soll, schwächt man alle Verbindungen bei denen der Input positiv ist und stärkt diejenigen Verbindungen mit negativem Input.
• Die beobachtete und gewünschte Aktivität sind gleich groß (= gewünschtes Resultat). In diesem Fall erfolgen keinerlei Veränderungen.

Diese drei Möglichkeiten sind in der Formel zur Delta-Regel enthalten: w_ij = _i a_j

Dieser Term stellt außerdem sicher, dass die Größe der Gewichtsveränderung proportional zur Größe des Fehlers ist. Zudem werden durch die Multiplikation mit a_j diejenigen Gewichte zu den sendenden Units stärker verändert, die einen größeren Einfluss auf den Fehlerterm ausüben. Der Lernparameter wird vor der Trainingsphase festgelegt und gibt an, wie stark die Gewichtsveränderung pro Lerndurchgang ausfallen soll.