::Wstep teoretyczny::

     Podstawowym elementem składowym sieci neuronowej jest neuron. Głównš cechš pojedynczego neuronu jest to, że posiada on wiele wejœć i tylko jedno wyjœcie. Z matematycznego punktu widzenia neuron przedstawia się jako element realizujšcy funkcję danš wzorem:

gdzie f() jest funkcjš aktywacji, w_i wagi dla poszczególnych wejœć, x_i wartoœci wejœciowe neuronu. Neuron sumuje składowe wektora wejœciowego przemnożone przez odpowiednie wagi, a następnie wynik sumowania poddaje działaniu funkcji aktywacji i w ten sposób generowane jest wyjœcie neuronu. Wektory wejœciowe jak i wagi neuronu w rzeczywistych zastosowaniach podlegajš często operacji normowania. W interpretacji geometrycznej odpowiada to przeniesieniu punktów wektora wejœciowego na powierzchnię N wymiarowej sfery o promieniu jednostkowym, gdzie N jest rozmiarem wektora wejœciowego. W najprostszym przypadku, dla wektora dwuwymiarowego, operacji normowania odpowiada przeniesienie wszystkich punktów wejœciowych na okršg o promieniu równym 1. Operacje normowania każdej współrzędnej można zapisać matematycznie za pomocš wzoru:

gdzie x_i współrzędna normowana, x_j kolejne współrzędne wektora wejœciowego. Stosowanie operacji normowania zarówno do wektorów wejœciowych, jak i wag dla poszczególnych wejœć neuronów w znacznym stopniu poprawia właœciwoœci uczonenia neuronu. Rolę funkcji aktywacji może pełnić funkcja liniowa bšdŸ nieliniowa. W przypadku liniowego neuronu jego zapis matematyczny przedstawia się następujšco:

Jest to jeden z najprostszych modeli neuronu rzadko stosowany w praktyce. Wynika to z tego, że zjawiska w otaczajšcym œwiecie majš charakter nieliniowy. Można by tu wzišć za przykład biologiczne neurony. Neuron może być wyposażony w tak zwany „bias”, czyli dodatkowe wejœcie, na którym występuje stała wartoœć. Waga dla tego wejœcia jest modyfikowana w trakcie procesu uczenia tak jak wszystkie pozostałe wagi. Najczęœciej przyjmuje się, że na wejœciu bias występuje sygnał stale równy jeden, wtedy wzór matematyczny takiego neuronu przedstawia się w sposób następujšcy:

gdzie f() jest funkcjš aktywacji, w_i wagi dla poszczególnych wejœć, x_i wartoœci wejœciowe neuronu natomiast w₀ wartoœć wagi dla wejœcia bias. Jeżeli przyjmiemy wartoœć na wejœciu bias równš 0 to otrzymujemy wzór matematyczny dla zwykłego neuronu. Teraz zajmiemy się tym do czego owy bias służy.

    ::Przypadek jednowymiarowy::

      Najproœciej działanie biasu można wyjaœnić na podstawie interpretacji geometrycznej dla neuronu o pojedynczym wejœciu, dla dwóch wybranych funkcji aktywacji. Tę interpretację dla funkcji signum i sigmoidalnej przedstawiono na rysunku poniżej.

Z wykresów wynika, że w przypadku neuronu jednowejœciowego zastosowanie biasu umożliwia przesuwanie progu aktywacji wzdłuż osi x. Gdy bias jest ujemny przesuwamy próg aktywacji w prawo, gdy dodatni to w lewo. Stšd prosty wniosek, że neuron z biasem powinien uczyć się nawet takich wektorów których zwykły neuron nie byłby w stanie się nauczyć. Dochodzimy do wniosku, że dodanie dodatkowej wagi kosztem zwiększenia iloœci koniecznych obliczeń powoduje poprawę własnoœci neuronu. Operacja normowania neuronu jednowejœciowego nie ma sensu, gdyż każdy podstawiony punkt po unormowaniu może otrzymać trzy wartoœci –1, 0 lub 1.

     Przyjrzyjmy się więc operacji normowania dla jednowymiarowego neuronu z biasem. Wykonywanie tej operacji na wektorach wejœciowych (przyjmujemy bias jako wejœcie o wartoœci 1) i wagach neuronu powoduje przeniesienie wszystkich punktów na okršg o promieniu równym 1. Wynik takiej operacji przedstawiono obok. Operacja normalizacji powoduje, w zależnoœci od znaku biasu, przeniesienie wszystkich punktów na odpowiedniš częœć okręgu. W przypadku dodatniego biasu na górnš częœć okręgu, natomiast w przypadku ujemnego biasu na dolnš. Zwiększenie wymiaru powoduje to, że w łatwy sposób można przeprowadzić linię rozgraniczajšcš od siebie punkty o różnych odpowiedziach neuronu. Ta linia prosta przechodzić będzie przez œrodek układu współrzędnych, jej nachylenie zależeć będzie od w₀ (waga dla biasu). Czyli bias powoduje przeniesienie rozwišzania w „dodatkowy wymiar”, przez co rozwišzanie danego problemu staje się w ogóle możliwe.

    ::Przypadek dwuwymiarowy::

      Przyjrzyjmy się teraz neuronowi dwuwejœciowemu. W interpretacji geometrycznej wektory wejœciowe należš do całej płaszczyzny OXY, natomiast wyjœcie neuronu stanowi trzeci wymiar. Czyli funkcja aktywacji jest pewnš powierzchniš w przestrzeni trójwymiarowej, przykład funkcji sigmoidalnej przedstawiono obok.

Operacja normowania wektorów wejœciowych sprawia, że wszystkie punkty przenoszone sš na obwód okręgu o promieniu 1, wyjštkiem jest oczywiœcie punkt (0,0) który operacja normowania przekształca w ten sam punkt. Teraz należy zastanowić się jak bias wpływa na działanie neuronu dwuwejœciowego. Przyjrzyjmy się najpierw samej funkcji aktywacji. Jak już wiemy z poprzedniego punktu wejœcie biasu jest odpowiedzialne za przesuwanie funkcji aktywacji wzdłuż linii prostej. W przypadku dwuwymiarowym bias przesuwa funkcję aktywacji w kierunku prostopadłym do prostej o równaniu:

rys 3. Funkcja aktywacji dla neuronu dwu wejœciowego.

      Przykłady funkcji aktywacji przesuniętej i nie przesuniętej w wyniku działania biasu przedstawiono obok. Rozważajšc neuron z biasem wprowadzenie dodatkowej wagi powoduje przeniesienie wektorów wejœciowych z przestrzeni dwu do trójwymiarowej. Wszystkie punkty leżš wtedy na powierzchni sfery, z tym, że dla dodatniej wartoœci biasu jest to górna, a dla ujemnej dolna półsfera. Wynika to w prosty sposób z metody obliczania normy dla wektorów wejœciowych, mianowicie trzecia współrzędna jest przez cały czas stała, co powoduje rozgraniczenie punktów dla dodatniej i ujemnej wartoœci biasu. Punkt (0,0) przenosi się w tym przypadku na punkt (0,0,1) czyli na „najwyżej” położny punkt sfery lub też na punkt (0,0,-1) czyli punkt położony „najniżej”.

rys 4. Obrazy funkcji aktywacji dla neuronu z biasem i bez biasu.

Z rysunków wynika rzecz następujšca, w przypadku neuronu bez biasu punkty zostały dobrane tak, aby nie dało się przeprowadzić prostej, przechodzšcej przez œrodek układu współrzędnych rozdzielajšcej punkty o różnych wartoœciach odpowiedzi neuronu. Odpowiedzi neuronu dla danego punktu zaznaczone sš kółkami w odpowiednich kolorach zależnych od wartoœci tej odpowiedzi. Wniosek jest następujšcy neuron bez biasu nie jest w stanie prawidłowo zaklasyfikować punktów, czyli nie jesteœmy w stanie go tego nauczyć. Natomiast w przypadku neuronu z biasem przeniesienie punktów na powierzchnie sfery umożliwia rozgraniczenie punktów o różnych wartoœciach na wyjœciu neuronu za pomocš płaszczyzny przechodzšcej przez œrodek układu. Wynika z tego, że neuron jest w stanie nauczyć się rozróżniać dane punkty.

    ::Wnioski::

     Wprowadzenie do neuronu dodatkowego wejœcia bias powoduje wzrost ich możliwoœci uczenia się. Jest to zwišzane z umożliwianiem przesuwania progu aktywacji w zależnoœci od wagi biasu. Zastosowanie biasu powoduje jednak wzrost iloœci obliczeń wynikajšcy z koniecznoœci ustalania dodatkowej wagi. Tak dzieje się dla neuronów jedno i dwuwejœciowych. W przypadkach neuronów z większš iloœciš wejœć będzie bardzo podobnie, jednakże przedstawienie geometryczne funkcji aktywacji czy też wyników operacji normowania było by niemożliwe. WeŸmy za przykład neuron 4 wejœciowy. Operacja normowania wektorów wejœciowych wišzała by się z przeniesieniem ich na sferę w czterech wymiarach czego nie da się przedstawić za pomocš płaskiego rysunku. Jedynš możliwoœciš przedstawienia takiego zagadnienia, była by 3D animacja.