Docker 컨테이너 모니터링: cAdvisor + Prometheus + Grafana

본 글은 Claude Sonnet 4.6으로 작성되었습니다.MLOps 환경에서 수십 개의 컨테이너가 동시에 돌아갈 때, "지금 GPU 메모리는 얼마나 쓰고 있지?", "어떤 컨테이너가 CPU를 잡아먹고 있지?" 같은 질문이 자연스럽게 생긴다. 이 글에서는 cAdvisor, Prometheus, Grafana를 조합해 컨테이너 리소스를 실시간으로 모니터링하는 스택을 구성하는 방법을 다룬다.세 도구의 역할과 관계각 도구가 어떤 역할을 하는지 먼저 파악하는 것이 중요하다.cAdvisor (Container Advisor)Google이 만든 오픈소스 도구이다. Docker 데몬의 소켓(/var/run/docker.sock)에 직접 접근해 각 컨테이너의 CPU, 메모리, 네트워크, 디스크 I/O 등의 원시 메트릭..

  • format_list_bulleted 기타 주제/웹
  • · 2026. 2. 23.

AWS EC2에 FastAPI 배포

본 글은 영상 ' How to Deploy FastAPI on AWS EC2: Quick and Easy Steps!'을 참고하여 Cluade 4.6으로 작성 후 수정했다.AWS EC2 인스턴스를 생성하고, Nginx 리버스 프록시를 설정한 뒤 FastAPI 앱을 배포하는 전체 과정을 정리한다.1. EC2 인스턴스 생성AWS 콘솔에서 EC2 서비스로 이동한 뒤 Launch Instance를 클릭한다.설정 항목은 아래와 같다.Name: 원하는 서버 이름 입력OS: Ubuntu (최신 LTS 버전)Instance type: t2.micro (프리 티어 사용 가능)Key pair: 새 키 페어 생성 후 .pem 파일 다운로드Network settings: Allow SSH, Allow HTTP, Allow H..

  • format_list_bulleted 기타 주제/웹
  • · 2026. 2. 21.

vLLM으로 API 서버 열기

모델 준비모델은 huggingface에서 미리 준비해야 한다. 로컬에서 GPU 부담 없이 돌리기 위해 google/gemma-3-1b-it를 이용해 실험했다.import osfrom dotenv import load_dotenvfrom huggingface_hub import loginfrom transformers import AutoModelForCausalLM, AutoTokenizerload_dotenv()login(token=os.getenv("HF_KEY"))model_id = "google/gemma-3-1b-it"save_directory = str(os.getenv("MODEL_PATH"))tokenizer = AutoTokenizer.from_pretrained(model_id)mode..

  • format_list_bulleted AI
  • · 2026. 1. 8.

Go 루틴 예제 및 실수 정리

본 글은 Cluade4-Sonnet으로 작성한 뒤 수정했습니다.Go의 동시성 프로그래밍은 goroutine, channel, sync 패키지의 조합으로 이뤄진다. 이 포스트에서는 HTTP 상태 코드를 병렬로 확인하는 예제를 통해 Go 동시성의 핵심 개념들과 주의해야 할 실수들을 살펴본다.핵심 개념 이해하기1. Goroutine: 경량 스레드Goroutine은 Go 런타임에서 관리하는 경량 스레드다. go 키워드로 함수를 호출하면 새로운 goroutine에서 실행된다.// 일반 함수 호출processURL("https://example.com")// goroutine으로 실행go processURL("https://example.com")2. Channel: Goroutine 간 통신Channel은 gor..

  • format_list_bulleted 프로그래밍 언어/Go
  • · 2025. 9. 24.
북극곰은 판다를 찢어

북극곰은 판다를 찢어

본 글은 Cluade 4 Sonnet으로 작성 후 수정했습니다.데이터 처리 작업에서 Pandas는 오랫동안 Python 개발자들의 필수 도구였다. 하지만 데이터 규모가 커지고 성능에 대한 요구가 높아지면서 새로운 대안이 필요해졌다. 바로 Polars다.Polars의 핵심 장점테스트에 사용한 하드웨어: Ryzen5, 32G RAM1. 성능 최적화Polars는 Rust로 구현되어 C/C++ 수준의 성능을 제공한다. 가장 큰 차이점은 멀티스레드 병렬 처리와 벡터화 연산이다.import pandas as pdimport polars as plimport time# 대용량 데이터셋 생성 (1천만 행)df_pandas = pd.DataFrame({ 'A': range(10_000_000), 'B': ra..

  • format_list_bulleted AI
  • · 2025. 9. 3.

ERROR: FAISS index concurrency in FastAPI

본 글은 GPT-4로 작성 후 수정한 글입니다.현상 요약상황: 하나의 API 서버에서 여러 프로세스/스레드가 동시에 인덱스에 접근(조회/추가).증상: 요청 증가 구간에서 프로세스가 즉시 종료되며 표준 에러에 double free or corruption (!prev)가 출력.영향: API 서버 다운타임 및 인덱스 상태 불명확.double free or corruption (!prev)Fatal Python error: AbortedThread 0x0000720960aa56c0 (most recent call first): File "/usr/lib/python3.12/threading.py", line 359 in wait File "/usr/lib/python3.12/queue.py", line 1..

  • format_list_bulleted 기타 주제
  • · 2025. 9. 3.