supersumin 님의 tistory

1. Generative modelGenerative model은 데이터를 학습하고 새로운 데이터를 생성하는 모델이다.1.1. 학습 과정데이터 제공여러 종류의 데이터를 모델에 제공하며 모델은 각 데이터의 특징과 분포를 학습한다. 예를 들어 고양이, 개, 새 이미지 데이터를 제공하면 모델은 각 데이터의 특성과 패턴을 학습한다.분포 학습학습 과정에서는 데이터 간의 비율과 특성을 파악하며, 이를 통해 데이터 전체의 분포를 이해한다. 예를 들어, 학습 데이터의 분포가 고양이 30%, 개 50%, 새 20%로 구성되어 있다고 가정할 수 있다.1.2. 생성 과정생성 과정에서는 학습된 분포를 기반으로 특정 주제의 데이터를 생성한다. 예를 들어, 개 이미지를 생성하고 싶다면 모델은 학습된 분포 중 개의 특징을 학습한 ..

1. VGGConv layer: 3x3 filters, stride 1, pad 1Pooling layer: max pooling in 2x2, stride 2 얘는 코드 보면서 공부 18장도 마찬가지 filter의 tensor는 사이즈 제곱*이전채널수*필터의개수FC는 모든 pixel곱하기 다음 채널수 2. ResNetdegradation problem을 해결하기 위해 Residual을 더하게 되며 이는 모델 학습을 더 쉽게 만들어준다.입력 신호를 그대로 전달하여 정보 손실을 방지하고 학습의 안정성을 높인다.잔차를 학습함으로써 전체 변환함수보다 더 간단하고 효율적인 학습을 가능하게 한다.

1. AlexNet- 필터사이즈 보면서 아웃풋 예측- 파라미터 수 계산- pooling은 없다.- bias도 파라미터로 센다면 filter 당 하나가 있다. 2. GoogleNet1×1 Convolution은 채널 간의 상호작용을 반영하여 다음과 같은 역할을 수행합니다:채널 수를 늘리거나 줄이는 역할 (Dimensionality Expansion/Reduction)채널 간의 정보를 섞는 역할 (Feature Mixing)

Prodedure of Convolution연습

1. 왜 CNN(Convolutional Neural Network)을 사용할까?매우 큰 parameter 수로 인한 overfitting을 해결하기 위해 딥러닝에서 이미지 데이터를 처리하기 위해 CNN을 사용한다.1.1. Full Connectivity의 비효율성기존의 Fully Connected Neural Network(완전 연결 신경망)에서는 이미지의 모든 픽셀이 하나의 뉴런에 연결된다. 이는 다음과 같은 문제가 발생한다.매우 많은 parameters예를 들어, 200×200×3 크기의 이미지(3채널 RGB 이미지)를 입력으로 사용하는 경우, 하나의 뉴런은 200×200×3=120,000개의 weight(가중치)를 학습해야 한다. 이는 너무 많은 계산 비용을 요구한다.더 큰 이미지를 생각해본다면,..

PCA 하는법데이터 분포를 보고 무엇을 했는지 정리  dropoutDropout은 신경망 모델에서 **과적합(overfitting)**을 방지하는 데 효과적인 기법입니다. 이 방법은 훈련 과정에서 신경망의 일부 뉴런을 임의로 "끄는" 방식으로 동작하며, 이로 인해 모델은 데이터 입장에서 새로운 모델을 학습하는 것처럼 보이게 됩니다.  데이터 입장에서 새로운 모델을 도는 것처럼 된다. 그래서 overfitting 방지

1. Activation function의 종류와 특징1.1. sigmoid function의 단점Gradient Vanishing (기울기 소실 문제)Saturation(포화) 영역에서 입력값이 매우 크거나 작을 경우, 기울기(gradient)가 거의 0에 가까워지기 때문에 역전파 중 가중치 업데이트가 제대로 이루어지지 않는다.Zero-Centered가 아님Sigmoid 함수는 출력값이 0과 1 사이로 제한되고 항상 양수파라미터 업데이트에서 모든 Gradient의 부호가 양수 또는 음수로 치우쳐짐가중치가 어느 한쪽 방향으로 지속적으로 크게 진동하거나 경사가 더디게 이동1.2. ReLU 함수의 특징 1.2.1. 장점빠른 수렴 속도Sigmoid 함수에 비해 학습 속도가 약 6배 빠르다.ReLU의 연산이 간..

1. Neuron의 도입 배경In real world applications에서 most problems은 non-linear하다. 이러한 문제를 해결하기 위해 대표적인 두 가지 방법이 있다.kernel function을 linear classifier로 하기Non-linear classifer로 사용하기 이 때, Non-linear classifer의 경우 logistic regression이 적용될 수 있으나 너무 많은 feature로 인해 overfitting이 일어날 수 있다. 이를 해결하기 위해 뉴런(neuron) 개념을 도입하게 되었다. 뉴런은 사람의 뇌를 모방하여 설계되었으며, 활성화 함수(activation function)를 통해 모델의 출력을 비선형적으로 변환한다. 이러한 방식으로, 단..

linear classifier는 여러 개의 class가 존재하고 이에 대해 내적하는 것과 비슷하다.약간 정답이 정해져 있는 느낌 각, 클래스의 정답이 있고 웨이트가 이미 있는 느낌이고 loss에 걸리면 어떻게 되 이미지를 분류할 때 쓰는데 각 이미지 필터가 있으면 입력의 이미지에 값을 넣으면 내적하여 값이 비슷하면 비슷한 걸로 출력한다. loss 는 hinge loss가 있다.마진만 안 넘으면 된다.  SVM

1. Decision Tree란?1.1. Decision Tree의 의미Decision Tree는 데이터에 대해 Classification(분류 문제) 및 Regression(회귀 문제)에 사용되는 머신러닝 모델이다. 이 모델은 트리 구조로 데이터를 학습하며, 각 내부 노드는 특정 attribute(속성)에 대한 값을 기반으로 데이터를 분리하는 테스트를 진행하며, 최종적으로 예측 결과가 담긴 leaf node(최종 잎 노드)까지 도달하게 된다.1.2. Decision Tree의 특징- non-backtrackingDecision Tree가 예측을 하기 위해 root부터 leaf까지 한 번 선택한 경로는 다시 돌아갈 수 없다는 것을 의미한다. 즉, 노드를 따라 진행되는 선택 과정에서 한 번 내린 결정은 이..