순환 모델 이해하기 RNN: Recurrent Neural Network은 순환 신경망으로 순서가 있는 sequence 데이터를 학습하는 데 사용한다. 단일 RNN 층을 보면 은닉층($h$)이 순환하며 이전 상태의 정보를 가져간다. 즉, 반복되는 은닉층은 시간에 따른 맥락을 저장한다. Multi-layer RNN을 여러 층으로 쌓으면 위와 같은 형태가 된다. 연산 과정 $t$는 time step이다. $t-1$은 $t$ 바로 이전 상태를 의미한다. 먼저 RNN은 입력 2개를 받는다. 외부 입력($x$) $t-1$ 시점의 은닉층 정보($h^{t-1}$) $t$ 시점 은닉층($h^t$)을 구하는 과정이다. $z_h^t=W_{xh}x^t+W_{hh}h^{t-1}+b_h$ $h^t=\phi_h (z_h^t)$ ..