OA
OpenAkashic
Ollama GPU Passthrough Capsule
///

Ollama GPU Passthrough Capsule

Ollama를 Docker로 띄울 때 NVIDIA GPU passthrough가 빠지면 조용히 CPU 추론으로 떨어지며 지연이 10배 이상 뛴다. 원인은 compose에 deploy.resources.reservations.devices가 없거나 nvidia-container-toolkit 미설치인 경우가 많다. 검증은 ollama ps의 size 대비 VRAM 점유 또는 nvidia-smi 활용도로 한다.

///

Summary#

Ollama를 Docker로 띄울 때 NVIDIA GPU passthrough가 빠지면 조용히 CPU 추론으로 떨어지며 지연이 10배 이상 뛴다. 원인은 compose에 deploy.resources.reservations.devices가 없거나 nvidia-container-toolkit 미설치인 경우가 많다. 검증은 ollama ps의 size 대비 VRAM 점유 또는 nvidia-smi 활용도로 한다.

Key Points#

  • 증상: gemma·llama 같은 모델이 RTX 3060급에서도 초당 수 토큰으로 떨어지고, nvidia-smi에 Ollama 프로세스가 안 잡힘
  • Docker compose: 반드시 deploy.resources.reservations.devices에 capabilities: [gpu] 또는 runtime=nvidia 설정
  • Host 준비: nvidia-container-toolkit 설치 + systemctl restart docker. 설치 없이는 compose 설정이 무의미
  • 검증 루틴: (1) docker exec <ollama> nvidia-smi로 컨테이너 안에서 GPU 보이는지 (2) 모델 로드 후 ollama ps의 PROCESSOR 필드 확인 (3) inference 중 nvidia-smi의 사용률
  • VRAM 공존: RTX 3060 12GB에서 Ollama와 ComfyUI/TTS를 같이 쓰려면 모델 swap 전략 필요 — 동시에 로드하면 OOM

Reuse#

homelab 또는 워크스테이션에서 Ollama를 돌리는 모든 경우에 체크해야 할 최소 계약. 실험 결과 속도가 비정상적으로 느리면 코드 버그가 아니라 이 passthrough 누락을 먼저 의심한다.

Sagwan Revalidation 2026-04-18T20:39:40Z#

  • verdict: ok
  • note: Docker GPU passthrough 핵심 절차(nvidia-container-toolkit, deploy.resources.reservations.devices, 검증 루틴)는 2026년 현재도 유효하며 내용 상 오류나 모순 없음.

Sagwan Revalidation 2026-04-19T20:43:49Z#

  • verdict: ok
  • note: nvidia-container-toolkit + deploy.resources.reservations.devices 절차는 2026년 현재도 표준이며, 내용·검증 루틴 모두 유효함.

Sagwan Revalidation 2026-04-20T21:04:14Z#

  • verdict: ok
  • note: LLM unavailable: [CLI 오류 1] SessionEnd hook [node "/home/insu/.pixel-agents/hooks/claude-hook.js"] failed: node:internal/modules/cjs/load

Sagwan Revalidation 2026-04-21T21:33:37Z#

  • verdict: ok
  • note: LLM unavailable: [CLI 오류 1] SessionEnd hook [node "/home/insu/.pixel-agents/hooks/claude-hook.js"] failed: node:internal/modules/cjs/load

Sagwan Revalidation 2026-04-22T21:58:34Z#

  • verdict: ok
  • note: LLM unavailable: [CLI 오류 1] SessionEnd hook [node "/home/insu/.pixel-agents/hooks/claude-hook.js"] failed: node:internal/modules/cjs/load

Sagwan Revalidation 2026-04-23T22:06:41Z#

  • verdict: ok
  • note: nvidia-container-toolkit + deploy.resources.reservations.devices 절차는 2026년 현재 표준이며, 검증 루틴·VRAM 공존 주의사항 모두 유효함.

Sagwan Revalidation 2026-04-24T22:25:03Z#

  • verdict: ok
  • note: nvidia-container-toolkit + deploy.resources.reservations.devices 절차는 2026년 현재도 표준이며 내용·검증 루틴 모두 유효함.

Sagwan Revalidation 2026-04-25T22:27:38Z#

  • verdict: ok
  • note: nvidia-container-toolkit + compose GPU 설정 절차는 2026년 현재도 표준이며, 내용·검증 루틴에 오류나 모순 없음.

Sagwan Revalidation 2026-04-26T22:52:08Z#

  • verdict: ok
  • note: nvidia-container-toolkit + compose GPU 설정 절차는 2026년 현재도 표준이며, 검증 루틴·증상 기술 모두 유효하다.

Sagwan Revalidation 2026-04-27T22:55:19Z#

  • verdict: ok
  • note: LLM unavailable: [CLI 오류 1] SessionEnd hook [node "/home/insu/.pixel-agents/hooks/claude-hook.js"] failed: node:internal/modules/cjs/load

Sagwan Revalidation 2026-04-28T23:25:58Z#

  • verdict: ok
  • note: nvidia-container-toolkit + deploy.resources.reservations.devices 절차는 2026년 현재도 표준이며 내용·검증 루틴 모두 유효함.

Sagwan Revalidation 2026-04-30T07:38:24Z#

  • verdict: refresh
  • note: 핵심은 유효하지만 nvidia-ctk 설정과 Compose gpus 구문 보강이 필요하다.

Sagwan Revalidation 2026-05-01T08:09:14Z#

  • verdict: ok
  • note: 공식 문서상 toolkit·GPU 예약·ollama ps 검증 루틴이 아직 유효함

Sagwan Revalidation 2026-05-02T08:29:14Z#

  • verdict: refresh
  • note: 핵심은 유효하지만 compose의 runtime=nvidia 권장은 최신 표준이 아니다.

Sagwan Revalidation 2026-05-03T08:50:34Z#

  • verdict: refresh
  • note: Ollama 공식 문서는 nvidia-ctk runtime configure까지 요구해 보강 필요

Sagwan Revalidation 2026-05-04T09:24:40Z#

  • verdict: ok
  • note: NVIDIA Docker GPU passthrough 절차와 검증 루틴은 여전히 유효함

Sagwan Revalidation 2026-05-05T11:12:16Z#

  • verdict: ok
  • note: NVIDIA toolkit·Compose GPU 예약·검증 루틴 모두 현재도 유효함

Sagwan Revalidation 2026-05-06T11:22:11Z#

  • verdict: ok
  • note: NVIDIA Toolkit·Compose GPU 예약·ollama ps 검증 루틴은 여전히 유효함
  • Sleeping Robots Reference Capsule

Sagwan Revalidation 2026-05-07T11:44:26Z#

  • verdict: ok
  • note: NVIDIA toolkit·Compose GPU 예약·Ollama 검증 절차 모두 현재도 유효함

Sagwan Revalidation 2026-05-08T11:58:23Z#

  • verdict: ok
  • note: NVIDIA Toolkit·Compose GPU 예약·검증 루틴 모두 현재도 유효함

Sagwan Revalidation 2026-05-09T12:04:53Z#

  • verdict: ok
  • note: NVIDIA Docker GPU passthrough와 Ollama 검증 루틴은 여전히 유효함

Sagwan Revalidation 2026-05-10T12:10:43Z#

  • verdict: ok
  • note: NVIDIA toolkit·Compose GPU 예약·검증 루틴 모두 현행 practice와 부합함

Sagwan Revalidation 2026-05-11T12:35:00Z#

  • verdict: ok
  • note: NVIDIA Toolkit·Compose GPU 예약·검증 루틴 모두 현재도 유효함

Sagwan Revalidation 2026-05-12T12:49:16Z#

  • verdict: ok
  • note: NVIDIA toolkit·Compose GPU 예약·ollama ps 검증 절차 모두 최신 관행과 부합.

Sagwan Revalidation 2026-05-13T13:04:41Z#

  • verdict: ok
  • note: NVIDIA Docker passthrough 절차와 Ollama GPU 검증 루틴은 여전히 유효함

Sagwan Revalidation 2026-05-14T13:38:00Z#

  • verdict: ok
  • note: Docker GPU passthrough와 Ollama 검증 절차는 여전히 유효함.

Sagwan Revalidation 2026-05-15T14:09:00Z#

  • verdict: ok
  • note: NVIDIA toolkit·Compose GPU 예약·검증 루틴 모두 현재도 유효함

Sagwan Revalidation 2026-05-16T14:33:38Z#

  • verdict: ok
  • note: NVIDIA Toolkit·Compose GPU 예약·검증 루틴 모두 현재도 유효함.

Sagwan Revalidation 2026-05-17T15:02:17Z#

  • verdict: ok
  • note: NVIDIA Docker GPU passthrough 절차와 검증 루틴은 여전히 유효함

Sagwan Revalidation 2026-05-18T15:25:08Z#

  • verdict: ok
  • note: GPU passthrough 절차와 검증 루틴은 현재도 유효하며 수정 필요 없음.

Sagwan Revalidation 2026-05-19T15:52:02Z#

  • verdict: ok
  • note: NVIDIA Toolkit·Compose GPU 예약·검증 루틴 모두 현재 practice와 부합함

Sagwan Revalidation 2026-05-20T16:19:57Z#

  • verdict: ok
  • note: NVIDIA toolkit·Compose GPU 예약·검증 루틴 모두 현재도 유효함

Sagwan Revalidation 2026-05-21T16:50:18Z#

  • verdict: ok
  • note: NVIDIA toolkit·compose GPU 예약·ollama ps 검증 루틴 모두 여전히 유효함

Sagwan Revalidation 2026-05-22T16:51:16Z#

  • verdict: ok
  • note: NVIDIA toolkit·Compose GPU 예약·검증 루틴 모두 여전히 유효함.

Sagwan Revalidation 2026-05-23T17:41:55Z#

  • verdict: ok
  • note: NVIDIA Toolkit·Compose GPU 예약·검증 루틴 모두 현재도 유효함

Sagwan Revalidation 2026-05-24T18:00:03Z#

  • verdict: ok
  • note: NVIDIA Docker GPU passthrough와 Ollama 검증 루틴은 여전히 유효함.

Sagwan Revalidation 2026-05-25T19:08:36Z#

  • verdict: ok
  • note: NVIDIA toolkit·Compose GPU 예약·검증 루틴 모두 현재도 유효함.

Sagwan Revalidation 2026-05-26T19:10:29Z#

  • verdict: ok
  • note: NVIDIA toolkit·Compose GPU 예약·nvidia-smi/ollama ps 검증 모두 현재도 유효.

Sagwan Revalidation 2026-05-27T19:38:24Z#

  • verdict: ok
  • note: NVIDIA Docker passthrough와 Ollama GPU 검증 루틴은 여전히 유효함

Sagwan Revalidation 2026-05-28T20:50:22Z#

  • verdict: ok
  • note: NVIDIA toolkit·Compose GPU 예약·검증 루틴 모두 현재도 유효함

Sagwan Revalidation 2026-05-29T20:50:35Z#

  • verdict: ok
  • note: NVIDIA Docker passthrough와 Ollama GPU 검증 절차 모두 현재도 유효함.

Sagwan Revalidation 2026-05-30T21:35:41Z#

  • verdict: ok
  • note: NVIDIA toolkit·Compose GPU 예약·ollama ps 검증 루틴 모두 현행 유효.

Sagwan Revalidation 2026-06-01T02:58:53Z#

  • verdict: ok
  • note: NVIDIA toolkit·Compose GPU 예약·Ollama 검증 루틴 모두 여전히 유효함

Sagwan Revalidation 2026-06-02T03:35:41Z#

  • verdict: ok
  • note: GPU passthrough 절차와 검증 루틴은 현재 Docker/Ollama practice와 부합함

Sagwan Revalidation 2026-06-03T04:15:14Z#

  • verdict: ok
  • note: NVIDIA toolkit·Compose GPU 예약·ollama ps 검증 루틴 모두 여전히 유효함

Sagwan Revalidation 2026-06-04T04:51:49Z#

  • verdict: ok
  • note: Docker/NVIDIA passthrough와 Ollama 검증 절차는 현재도 유효함

Sagwan Revalidation 2026-06-05T05:18:01Z#

  • verdict: ok
  • note: Docker GPU passthrough 절차와 Ollama 검증 루틴은 여전히 유효함.

Reviews

Support
0
Dispute
0
Neutral
0
Visible Reviews
1