CNN 이미지 분류 (MNIST 예제)

기본적인 CNN 모델을 만들기 위해 필요한 개념들을 정리하였다. 2D ConvolutionConvolution은 합성곱 연산이다. CNN 모델에서 이미지 특징을 추출하는 과정이 바로 합성곱 연산이다. Input: 입력은 (h, w) 크기를 가지는 2차원 이미지.kernel: 이미지의 특징을 추출하기 위해 사용되는 필터.Feature map: Kernel을 거쳐 연산된 결과로, 추출된 이미지의 특징을 가짐.Kernel은 계속 순회하며 이미지와 합성곱 연산을 수행한다. 그리고 그 결과로 추출된 값이 Feature map이다. 따라서, Feature map은 이미지로부터 추출된 특징이라고 볼 수 있다. 예시는 (3 x 3) 크기의 이미지와 (2, 2) 크기의 Kernel을 사용하였다. 또한 Kernel이 우측..

• format_list_bulleted 머신러닝 & 딥러닝
• · 2022. 12. 15.

tomllib, tomlkit로 TOML 다루기

TOML TOML은 Key:Value 형태로 데이터를 매핑하는 파일 형식이다. JSON이나 YAML과 같이 설정 파일에 주로 사용되는 형식이다. # TOML [user] id = 398 name = "DeneV" [auth] admin = true # JSON { "user": { "id": 398, "name": "DeneV" }, "auth": { "admin": true } } 같은 데이터를 각각 TOML과 JSON으로 표현한 모습이다. 데이터의 구조가 복잡해질수록 TOML이 더 읽기 편하다는 장점이 있다. 추가로 TOML은 JSON과 달리 #으로 주석을 작성할 수 있다는 특징도 있다. TOML에 대해 간단하게 살펴보면 아래와 같이 여러 자료형의 데이터를 저장할 수 있다. string1 = "Hi"..

• format_list_bulleted 프로그래밍 언어/Python
• · 2022. 12. 13.

RoBERTa를 이용한 감정 분류

실행환경: Colab Pro (Python 3.7.15) 코랩은 90분 이상 동작이 없으면 런타임이 끊어질 수 있기 때문에 console을 열어 아래 스크립트를 실행한다. function connectRuntime(){ button = document.querySelector("body > div.notebook-vertical > colab-status-bar").shadowRoot.querySelector("button"); button.click(); console.log(" --Connected"); } setInterval(connectRuntime, 10 * 60 * 1000); 주기적으로 연결 버튼을 클릭해 코랩이 종료되지 않도록 한다. 준비 !pip install transformers !..

• format_list_bulleted 머신러닝 & 딥러닝
• · 2022. 12. 13.

EventListener에 throttling 적용

특정 작업이 과도하게 반복되면 문제가 발생할 수 있다. 대표적으로 addEventListener("scroll", ...)과 같이 스크롤 이벤트를 탐지하는 경우다. 만약 유저가 심심해서 미친 듯이 스크롤을 올렸다 내렸다 반복한다면 쉬지 않고 등록한 작업을 수행해야 한다. throttling은 특정 시간 동안 작업이 반복되지 않도록 막아준다. 아래 블록을 스크롤 해보면 어떤 차이가 있는지 바로 알 수 있다. HTML 삽입 미리보기할 수 없는 소스 throttling이 적용되면 이벤트가 인식되고서 동작이 바로 실행되지 않고 일정 시간 대기한다. 그리고 대기 시간 동안 발생한 이벤트는 무시된다. 이렇게 하면 동작이 빈번하게 발생하는 문제를 해결할 수 있다. Js 구현 let timer; function thr..

• format_list_bulleted 기타 주제/웹
• · 2022. 12. 12.

Vue를 활용한 프로필 제작

완성된 페이지: denev6.github.io/profile/ (지금은 안 됨) Vue.js를 선택한 이유 저를 간단하게 소개할 수 있는 프로필 페이지를 제작하고 싶었습니다. Jekyll 테마를 활용하거나 React · Vue를 사용하는 방법이 있습니다. 예전에 Jekyll을 이용해 Github 블로그를 작성해 본 경험이 있어 찾아보았지만, 제가 머릿속으로 그리는 디자인을 찾지 못했습니다. 그렇다고 Vanilla Js로 다 만들자니 막막해 React와 Vue를 찾아보았습니다. 저는 React나 Vue에 대해 아무것도 모르는 상태였기 때문에 '작업 방식이 얼마나 명확한가'를 기준으로 배울 것을 선택했습니다. 이해가 부족한 상태에서 괜히 스파게티 코드를 뽑아낼 바에 간단하고 명료한 프레임워크를 선택하는 것이..

• format_list_bulleted 일기장
• · 2022. 12. 10.

Label smoothing + CrossEntropyLoss

Model Confidence 만약 음식을 분류하는 이미지 모델이 있다면 softmax를 거쳐 레이블 각각의 확률을 반환하게 된다. 90% 치킨이라고 예측하는 이미지를 모아 두고 정확도를 구한다면, 이상적인 모델은 Accuracy가 0.9로 계산되어야 한다. 하지만 보는 것과 같이 90%로 예측한 8개 데이터 중 5개만 정답이므로 Accuray는 0.625이다. 모델이 예측한 것(0.90)보다 실제 정확도(0.625)는 더 낮기 때문에 over-confidence한 모델이라고 표현할 수 있다. 따라서 모델의 신뢰도와 실제 정확도 간의 차이를 줄여주는 보정(calibration)이 필요하다. Label Smoothing 일반적으로 다중 레이블 분류 문제에서 one-hot 인코딩을 사용한다면, 정답인 인덱스..

• format_list_bulleted 머신러닝 & 딥러닝
• · 2022. 12. 5.