[IT/기술] WSL2에서 로컬 AI 셋업 가이드 (Ollama + Open WebUI + GPU 가속)

🖥️ 환경

• Windows PC (i5-12600K, GTX 10GB VRAM)
• WSL2 (Ubuntu)

1. Ollama 설치

curl -fsSL https://ollama.com/install.sh | sh

2. 모델 다운로드

ollama pull qwen3:8b    # 6GB, 한국어 좋음
ollama pull llama3.1:8b  # 5.5GB, 영어 강점

3. GPU 사용 확인

ollama ps
# NAME        SIZE      PROCESSOR    CONTEXT
# qwen3:8b    6.0 GB    100% GPU     4096

100% GPU면 성공! CPU/GPU 혼합이면 모델이 VRAM보다 큰 것.

4. Open WebUI 설치 (ChatGPT 스타일 UI)

Docker Desktop 설치 후:

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

http://localhost:3000 접속

5. 모델 선택 팁

10GB VRAM 기준 8B 모델이 최적! 14B는 VRAM 초과로 CPU 오프로드되어 체감 속도 크게 저하.

6. OpenClaw 연동 (선택)

OpenClaw 사용자라면 subagent로 로컬 모델 등록 가능:

• models.providers.ollama에 모델 정의
• agents.defaults.models에 모델 추가
• 메인 세션은 Claude, 단순 작업은 로컬 모델로 비용 절감

실제 셋업 경험 기반 작성 (2026-02-18)