#12 Neural Network (1)

1. Neuron의 도입 배경

In real world applications에서 most problems은 non-linear하다. 이러한 문제를 해결하기 위해 대표적인 두 가지 방법이 있다.

1. kernel function을 linear classifier로 하기
2. Non-linear classifer로 사용하기 

이 때, Non-linear classifer의 경우 logistic regression이 적용될 수 있으나 너무 많은 feature로 인해 overfitting이 일어날 수 있다. 이를 해결하기 위해 뉴런(neuron) 개념을 도입하게 되었다.

 

뉴런은 사람의 뇌를 모방하여 설계되었으며, 활성화 함수(activation function)를 통해 모델의 출력을 비선형적으로 변환한다. 이러한 방식으로, 단일 모델에서 복잡한 비선형 관계를 학습할 수 있도록 돕는다.

 

2. 신경망(NN, Neural Network) 아키텍처에서 parameter 세는 법

2.1. Weight(가중치) 세는 법

Fully Connected Layer에서는 각 입력 노드(input neuron)가 각 출력 노드(output neuron)와 연결되므로 가중치의 개수는 다음과 같이 계산된다.

Weight 개수=(입력 뉴런 수)×(출력 뉴런 수)

2.2. Parameter(파라미터) 세는 법 (Weight + Bias)

• 파라미터: 가중치(weight)와 편향(bias)를 합한 값
• 각 출력 뉴런마다 1개의 Bias가 추가로 존재

Parameter 개수=(입력 뉴런 수×출력 뉴런 수)+출력 뉴런 수

2.3. Layer와 Parameter 계산 기준

 

1. Input Layer와 Pooling Layer
   • Input Layer는 학습 가능한 파라미터가 없으므로 제외
   • Pooling Layer도 파라미터 업데이트가 없으므로 제외
2. Softmax:
   • Softmax는 출력값을 확률 분포로 변환하는 함수로, 일반적으로 가중치나 편향이 없으므로 Layer로 치지 않는다.
   • 하지만 일부 모델에서는 Softmax가 Fully Connected Layer와 결합되어 파라미터를 포함할 수 있다. 이 경우 계산에 포함한다.
3. Weight와 Bias 분리 기준:
   • Weight만 계산하라고 하면 편향(bias)는 제외한다.
   • Parameter 계산은 Weight와 Bias를 모두 포함한다.

 

2.4. 예시

 

파라미터 26, 46

가중치: 20, 36