Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org 본 글은 "Attention is All You Need" 논문을 번역 및 분석했다. 일부 문장은 맥락에 따라 의역되었으며, 명확한 이해를 위해 부분적으로 설명을 추가했다. 주요 용어는 정확..
들어가기 전 Object Detection은 이미지에서 객체 위치를 찾고, 객체 클래스를 분류하는 문제를 말한다. 객체가 위치한 영역을 표시한 박스를 bounding box라고 하며, 줄여서 bbox라고 부른다. bbox는 좌측 상단 좌표 & 가로/세로 길이로 나타낼 수 있다. 이렇게 객체가 위치한 부분을 RoI, Region of Interest라고 한다. bbox를 찾는 대표적인 방법으로 Sliding window와 Selective search가 있다. Sliding window는 고정 크기의 박스를 계속 움직여가며 객체 위치를 찾는다. 모든 영역을 탐색하면 윈도우 크기를 변경해 가며 같은 작업을 반복한다. 윈도우 안에 객체가 있으면 1, 없으면 0이 나온다. Selective search는 색상,..
Attention을 이해하기 위해 seq2seq에 대한 이해가 필요하다. Encoder/Decoder에 대해 모른다면 아래 글을 참고하자. https://denev6.tistory.com/entry/Encoder-Decoder RNN 개념과 Encoder-Decoder 구조 순환 모델 이해하기 RNN: Recurrent Neural Network은 순환 신경망으로 순서가 있는 sequence 데이터를 학습하는 데 사용한다. 단일 RNN 층을 보면 은닉층($h$)이 순환하며 이전 상태의 정보를 가져간다. 즉, denev6.tistory.com Attention이란? Attention을 대략적으로 설명하면 아래와 같다. Encoder를 거쳐 맥락을 담고 있는 벡터를 계산한다. 벡터와 Decoder 출력 사이..
다익스트라 알고리즘Dijkstra 알고리즘은 그래프에서 최단 거리를 구하는 문제를 푸는 대표적인 알고리즘이다. 기본 알고리즘은 $O(N^2)$ 시간 복잡도를 가지지만, 우선순위 큐를 이용해 $O(NlogN)$로 최적화할 수 있다. 문제N개의 도시가 있다. 그리고 한 도시에서 출발하여 다른 도시에 도착하는 M개의 버스가 있다. 우리는 A번째 도시에서 B번째 도시까지 가는데 드는 버스 비용을 최소화시키려고 한다. A번째 도시에서 B번째 도시까지 가는데 드는 최소비용을 출력하여라. 도시의 번호는 1부터 N까지이다. - 백준 1916문제를 도식화하면 위와 같다. 1번 도시에서 출발해 5번 도시에 도착한다. 이때 가장 짧은 거리로 이동하려 한다. 풀이다익스트라 알고리즘은 생각보다 간단하게 작동한다.출발점으로부터 ..