O zachowaniu pojedynczego neuronu decyduje wektor wag W, a o działaniu sieci – macierz wag W’. Aby zapewnić możliwość uczenia trzeba wprowadzić do modelu neuronu dwa dodatkowe elementy: procesor zmiany wag i detektor błędu. Taki neuron nazywa się ADALINE. Sygnał wyjściowy y jest związany z wygnałem wejściowym X zależnością.

y =f(X)


Funkcja f nie musi być zadana w sposób jawny, wystarczy że dla każdego wektora wejściowego potrafimy wskazać konkretną wartość

z = f(X)


stanowiącą nasze żądane odniesienie sygnału wyjściowego y.


Algorytm ten nazwany jest regułą DELTA, zakłada że w raz z każdym wektorem wejściowym X do neuronu podawany jest sygnał z. Neuron odpowiada na sygnał X sygnałem

y = W * X


Przy czym jeśli neuron nie jest nauczony, sygnał ten jest inny niż wymagany (y≠z). Wewnątrz neuronu istnieje blok oceniający wielkość błędu

δ = z - y


Blok ten składa się inwertora oraz sumatora. Na podstawie sygnału błedu oraz wektora wejściowego X możliwe jest takie skorygowanie wektora wag W, by neuron lepiej realizował zadaną funkcję y= f(X). Nowy wektor wag W’ obliczany jest ze wzoru:

W’ = W + ηδX


gdzie η jest współczynnikiem liczbowym, decydującym o szybkości nauki.