Podstawowym elementem składowym sieci neuronowej jest neuron. Główną cechą pojedynczego neuronu jest to, że posiada on wiele wejść i tylko jedno wyjście. Z matematycznego punktu widzenia neuron przedstawia się jako element realizujący funkcję daną wzorem:

gdzie f() jest funkcją aktywacji, w_i wagi dla poszczególnych wejść, x_i wartości wejściowe neuronu. Neuron sumuje składowe wektora wejściowego przemnożone przez odpowiednie wagi, a następnie wynik sumowania poddaje działaniu funkcji aktywacji i w ten sposób generowane jest wyjście neuronu. Wektory wejściowe jak i wagi neuronu w rzeczywistych zastosowaniach podlegają często operacji normowania. W interpretacji geometrycznej odpowiada to przeniesieniu punktów wektora wejściowego na powierzchnię N wymiarowej sfery o promieniu jednostkowym, gdzie N jest rozmiarem wektora wejściowego. W najprostszym przypadku, dla wektora dwuwymiarowego, operacji normowania odpowiada przeniesienie wszystkich punktów wejściowych na okrąg o promieniu równym 1. Operacje normowania każdej współrzędnej można zapisać matematycznie za pomocą wzoru:

gdzie x_i współrzędna normowana, x_j kolejne współrzędne wektora wejściowego. Stosowanie operacji normowania zarówno do wektorów wejściowych, jak i wag dla poszczególnych wejść neuronów w znacznym stopniu poprawia właściwości uczonenia neuronu. Rolę funkcji aktywacji może pełnić funkcja liniowa bądź nieliniowa. W przypadku liniowego neuronu jego zapis matematyczny przedstawia się następująco:

Jest to jeden z najprostszych modeli neuronu rzadko stosowany w praktyce. Wynika to z tego, że zjawiska w otaczającym świecie mają charakter nieliniowy. Można by tu wziąć za przykład biologiczne neurony. Neuron może być wyposażony w tak zwany „bias”, czyli dodatkowe wejście, na którym występuje stała wartość. Waga dla tego wejścia jest modyfikowana w trakcie procesu uczenia tak jak wszystkie pozostałe wagi. Najczęściej przyjmuje się, że na wejściu bias występuje sygnał stale równy jeden, wtedy wzór matematyczny takiego neuronu przedstawia się w sposób następujący:

gdzie f() jest funkcją aktywacji, w_i wagi dla poszczególnych wejść, x_i wartości wejściowe neuronu natomiast w₀ wartość wagi dla wejścia bias. Jeżeli przyjmiemy wartość na wejściu bias równą 0 to otrzymujemy wzór matematyczny dla zwykłego neuronu.