TF-IDF, PPMI

단어 간 관계 일반적으로 특정 단어 사이의 관계를 확인하기 위해 사용하는 방법으로 word-word matrix + Cosine Similarity가 있다. ...is very complicated. Therefore, natural language is analyzed through several steps... 예를 들어 ±4 window를 사용한다면 특정 단어의 좌우 4 단어의 출현 빈도를 활용하는 것이다. 아래 matrix는 문서 전체에서 ±4 window로 단어 빈도를 카운트한 예시값이다. language science education culture 5 0 2 country 6 8 5 the 25 38 7 만약 culture와 country 간의 유사도를 알고 싶다면 아래와 같이 cosine ..

• format_list_bulleted 머신러닝 & 딥러닝
• · 2022. 9. 29.

Batch Normalization

Batch 학습을 위해 사용할 데이터가 너무 많을 때 한 번에 학습시키는데 비용이 많이 들기 때문에 여러 개의 그룹으로 나누어 학습한다. 이때 나누어진 그룹을 Batch라고 한다. Batch Normaliztion Batch Normalization은 layer를 통과할 때마다 데이터 분포가 달라지는 Internal Covariate Shift를 해결할 수 있다. 따라서 정규화를 통해 안정적으로 학습될 수 있도록 한다. 정규화 스케일링 정규화란 데이터의 분포를 N(0, 1)로 조정하는 과정이다. 다시 말해 평균을 0, 분산을 1로 조정하는 과정이다. 아래 그래프에서 초록색 그래프가 정규화된 그래프이다. batch마다 분포가 다르기 때문에 정규화를 통해 일정하게 학습이 되도록 한다. 그렇기 때문에 정규화는..

• format_list_bulleted 머신러닝 & 딥러닝
• · 2022. 9. 25.

Random Forest (Decision Tree)

Impurity 만약 초록 동그라미와 주황 네모를 두 상자에 분류하는 문제를 푼다고 가정하자. A와 B를 비교했을 때 A가 더 잘 분류했다고 할 수 있다. 그 이유는 A의 두 상자 안에 들어있는 도형이 더 일관성 있기 때문이다. 이러한 개념을 불순도(impurity)로 설명한다. 위 상황에서는 B의 불순도가 더 높다고 할 수 있다. 그리고 불순도를 나타내는 대표적인 지표가 엔트로피(entropy)와 지니 불순도(Gini impurity)이다. Entropy $Entropy(t)=-\sum_i^c p(i|t)log_2p(i|t)$ Gini Impurity $Gini(t)=1-\sum_i^c p(i|t)^2$ * p(i|t)는 노드 t에서 i 레이블에 속한 데이터의 비율을 뜻한다. 계산 예시 데이터: [ 1..

• format_list_bulleted 머신러닝 & 딥러닝
• · 2022. 9. 24.

Naive Bayesian - 텍스트 분류

문제 만약 "I do not want it"라는 문장이 있다면, 해당 문장이 긍정인지 부정인지 분류하는 문제를 푼다고 생각하자. 해당 문제를 아래와 같이 표현할 수 있다. $P(positive | I, do, not, want, it)$ $P(negative | I, do, not, want, it)$ 위 수식을 자세하게 분석해 보면 [I, do, not, want, it]이 문장에 있을 때, positive일 확률과 negative일 확률을 각각 계산하는 것이다. 만약 positive가 더 크면 긍정, 반대면 부정을 뜻한다. Bayes rule 활용 베이즈 정리를 활용하면 위 문제를 쉽게 풀 수 있다. $P(label | tokens)=\cfrac{P(tokens | label)P(label)}{P(t..

• format_list_bulleted 머신러닝 & 딥러닝
• · 2022. 9. 21.

mediapipe - Face Mesh

Mediapipe FaceMesh 공식 문서 Face Mesh Cross-platform, customizable ML solutions for live and streaming media. google.github.io mediapipe에서 제공하는 Face Mesh는 얼굴의 랜드마크를 검출해준다. Face Mesh는 모바일 GPU 환경 또는 CPU 환경에서 잘 작동하도록 제작되었기 때문에 고성능 컴퓨팅 자원을 요구하지 않고 한 대의 RGB 카메라만으로도 잘 동작한다는 점이 큰 장점이다. 또한 데이터를 학습하는 과정에서 여러 조명(lighting) 환경에서 촬영된 데이터를 사용했기 때문에 빛의 영향을 적게 받는다는 것을 경험적으로 확인할 수 있었다. 게다가 기존의 방식은 영상의 모든 프레임에서 dete..

• format_list_bulleted 머신러닝 & 딥러닝
• · 2022. 7. 3.

dlib 얼굴 인식 및 처리

dlib 모델 불러오기 # Conda 설치 > conda install -c conda-forge dlib # PIP 설치 > pip install dlib dlib의 get_frontal_face_detector는 HOG(Histogram of Oriented Gradient) + SVM을 활용해 사람의 얼굴을 인식한다. import dlib detector = dlib.get_frontal_face_detector() faces = detector(이미지) 위와 같이 함수를 이용해 detector객체를 가져오고 사람 얼굴이 포함된 이미지를 입력하면 관련 정보를 반환한다. 얼굴 인식 import cv2 import dlib detector = dlib.get_frontal_face_detector() ..

• format_list_bulleted 머신러닝 & 딥러닝
• · 2022. 6. 28.