AutoEncoder: 이미지 압축 및 노이즈 제거

AutoEncoderAutoEncoder는 Encoder를 통해 정보를 압축하고, Decoder를 통해 정보를 복원한다. 예를 들어, 28 x 28 흑백 이미지가 있다고 해보자. 이미지는 총 784개의 정보를 가진다. 만약 이미지를 64개의 정보로 압축할 수 있다면 어떨까?Encoder는 Linear layer를 이용해 784개의 정보를 64개로 압축한다. 압축된 정보는 latent variable라고 하며, $z$로 표기한다.nn.Linear(784, 64)Decoder는 64개로 압축된 latent variable을 다시 원본인 784개 정보로 복원한다.nn.Linear(64, 784) 왜 사용할까?정보를 다시 원본으로 복원시킬 거라면 왜 사용할까? Decoder가 원본보다 더 나은 형태로 복원시킬 ..

• format_list_bulleted AI/study
• · 2025. 1. 25.

경사하강법과 학습률

1번에서 전체 개념을 가볍게 설명하고, 2번부터 자세하고 차근차근 설명해 두었습니다. 그러니 첫 부분이 이해되지 않아도 일단은 넘어가서 뒷부분을 읽고 돌아오시면 이해하기 더 편할 겁니다. 전체 개념 딥러닝에서 모델을 학습한다는 것은 실제 값과 예측 값의 오차를 최소화하는 가중치를 찾는 과정이다. 여기서 '오차'를 정의하는 함수를 비용 함수(Cost function)라고 한다. 즉, 비용 함수가 최솟값을 갖는 방향으로 가중치를 업데이트하는 작업이 필요하다. 경사 하강법이라고 불리는 Gradient Descent는 최솟값을 찾을 때 사용할 수 있는 최적화 알고리즘이다. 먼저, 최솟값을 찾을 함수를 설정한 후, 임의의 값으로 초기화하고 해당 값의 기울기를 빼면서 최솟값에 가까워질 때까지 반복하는 방법이다. $..

• format_list_bulleted AI/study
• · 2022. 12. 29.

CNN 이미지 분류 (MNIST 예제)

기본적인 CNN 모델을 만들기 위해 필요한 개념들을 정리하였다. 2D ConvolutionConvolution은 합성곱 연산이다. CNN 모델에서 이미지 특징을 추출하는 과정이 바로 합성곱 연산이다. Input: 입력은 (h, w) 크기를 가지는 2차원 이미지.kernel: 이미지의 특징을 추출하기 위해 사용되는 필터.Feature map: Kernel을 거쳐 연산된 결과로, 추출된 이미지의 특징을 가짐.Kernel은 계속 순회하며 이미지와 합성곱 연산을 수행한다. 그리고 그 결과로 추출된 값이 Feature map이다. 따라서, Feature map은 이미지로부터 추출된 특징이라고 볼 수 있다. 예시는 (3 x 3) 크기의 이미지와 (2, 2) 크기의 Kernel을 사용하였다. 또한 Kernel이 우측..

• format_list_bulleted AI/study
• · 2022. 12. 15.