vLLM으로 API 서버 열기

모델 준비모델은 huggingface에서 미리 준비해야 한다. 로컬에서 GPU 부담 없이 돌리기 위해 google/gemma-3-1b-it를 이용해 실험했다.import osfrom dotenv import load_dotenvfrom huggingface_hub import loginfrom transformers import AutoModelForCausalLM, AutoTokenizerload_dotenv()login(token=os.getenv("HF_KEY"))model_id = "google/gemma-3-1b-it"save_directory = str(os.getenv("MODEL_PATH"))tokenizer = AutoTokenizer.from_pretrained(model_id)mode..

  • format_list_bulleted AI
  • · 2026. 1. 8.

Go 루틴 예제 및 실수 정리

본 글은 Cluade4-Sonnet으로 작성한 뒤 수정했습니다.Go의 동시성 프로그래밍은 goroutine, channel, sync 패키지의 조합으로 이뤄진다. 이 포스트에서는 HTTP 상태 코드를 병렬로 확인하는 예제를 통해 Go 동시성의 핵심 개념들과 주의해야 할 실수들을 살펴본다.핵심 개념 이해하기1. Goroutine: 경량 스레드Goroutine은 Go 런타임에서 관리하는 경량 스레드다. go 키워드로 함수를 호출하면 새로운 goroutine에서 실행된다.// 일반 함수 호출processURL("https://example.com")// goroutine으로 실행go processURL("https://example.com")2. Channel: Goroutine 간 통신Channel은 gor..

  • format_list_bulleted 프로그래밍 언어/Go
  • · 2025. 9. 24.
북극곰은 판다를 찢어

북극곰은 판다를 찢어

본 글은 Cluade 4 Sonnet으로 작성 후 수정했습니다.데이터 처리 작업에서 Pandas는 오랫동안 Python 개발자들의 필수 도구였다. 하지만 데이터 규모가 커지고 성능에 대한 요구가 높아지면서 새로운 대안이 필요해졌다. 바로 Polars다.Polars의 핵심 장점테스트에 사용한 하드웨어: Ryzen5, 32G RAM1. 성능 최적화Polars는 Rust로 구현되어 C/C++ 수준의 성능을 제공한다. 가장 큰 차이점은 멀티스레드 병렬 처리와 벡터화 연산이다.import pandas as pdimport polars as plimport time# 대용량 데이터셋 생성 (1천만 행)df_pandas = pd.DataFrame({ 'A': range(10_000_000), 'B': ra..

  • format_list_bulleted AI
  • · 2025. 9. 3.

ERROR: FAISS index concurrency in FastAPI

본 글은 GPT-4로 작성 후 수정한 글입니다.현상 요약상황: 하나의 API 서버에서 여러 프로세스/스레드가 동시에 인덱스에 접근(조회/추가).증상: 요청 증가 구간에서 프로세스가 즉시 종료되며 표준 에러에 double free or corruption (!prev)가 출력.영향: API 서버 다운타임 및 인덱스 상태 불명확.double free or corruption (!prev)Fatal Python error: AbortedThread 0x0000720960aa56c0 (most recent call first): File "/usr/lib/python3.12/threading.py", line 359 in wait File "/usr/lib/python3.12/queue.py", line 1..

  • format_list_bulleted 기타 주제
  • · 2025. 9. 3.

TypeScript 문법과 사용법

Cluade 4 Sonnet을 이용해 작성한 글입니다.TypeScript는 JavaScript에 정적 타입 시스템을 추가한 프로그래밍 언어이다. Microsoft가 개발했으며, JavaScript의 모든 기능을 포함하면서도 추가적인 타입 안전성을 제공한다.기본 타입 시스템TypeScript의 핵심은 타입 시스템이다. JavaScript의 동적 타입과 달리, 컴파일 시점에 타입 오류를 발견할 수 있다.// 기본 타입 선언let name: string = "홍길동";let age: number = 25;let isActive: boolean = true;// 배열 타입let numbers: number[] = [1, 2, 3, 4, 5];let fruits: Array = ["사과", "바나나", "오렌지"..

  • format_list_bulleted 프로그래밍 언어
  • · 2025. 9. 3.

HTMX로 쉽게 만들자

본 글은 Claude 4 Sonnet으로 작성했습니다.HTMX의 장점1. JavaScript 없이도 동적 웹 구현: HTMX는 HTML 속성만으로 AJAX 요청, DOM 조작, WebSocket 통신이 가능하다. 복잡한 JavaScript 프레임워크 없이도 현대적인 웹 애플리케이션을 만들 수 있다. 사용자 목록 불러오기2. 서버 중심 아키텍처 복귀: React나 Vue와 달리 서버에서 HTML을 렌더링하고 클라이언트는 단순히 받아서 표시한다. 이는 SEO에 유리하고 초기 로딩 속도를 향상시킨다.3. 점진적 향상(Progressive Enhancement): 기존 HTML에 HTMX 속성을 추가하는 방식으로 점진적으로 기능을 확장할 수 있다. 레거시 코드와의 호환성이 우수하다.4. 작은 번들 사이즈:..

  • format_list_bulleted 기타 주제/웹
  • · 2025. 8. 19.