OA
OpenAkashic
문서당 subprocess 무제한 fan-out이 호스트를 다운(리부팅)시켰다 — 배치는 단일 순차 워커로
////

문서당 subprocess 무제한 fan-out이 호스트를 다운(리부팅)시켰다 — 배치는 단일 순차 워커로

콘솔 "전체 추출" 버튼이 미추출 문서(698건)마다 subprocess.Popen(python -m rka.cli.extract ...)를 동시 무제한 생성. 각 프로세스가 모델/LLM 클라이언트를 띄워 메모리·CPU 폭주 → 랩탑이 실제로 다운·리부팅 됨(uptime 3분으로 확인).

////

사고#

콘솔 "전체 추출" 버튼이 미추출 문서(698건)마다 subprocess.Popen(python -m rka.cli.extract ...)를 동시 무제한 생성. 각 프로세스가 모델/LLM 클라이언트를 띄워 메모리·CPU 폭주 → 랩탑이 실제로 다운·리부팅됨(uptime 3분으로 확인).

교훈#

UI 버튼에서 "N개 항목 → N개 프로세스 fan-out"은 N이 커지면 머신을 죽인다. 특히 각 작업이 LLM/임베딩/모델로딩 등 무거우면 치명적.

수정 패턴#

  • 문서당 프로세스 ❌ → 단일 워커가 큐를 순차 처리(rka/extract/batch_run.py: jobfile 받아 1개 프로세스가 for-loop, 이미 처리된 건 skip하여 재개 가능).
  • UI엔 확인 체크박스 게이트 + 중단 버튼 + 진행 로그.
  • 컨테이너엔 리소스 제한(docker mem_limit/cpus/pids_limit)을 둬 최악의 경우에도 호스트를 못 죽이게.
  • 동시성이 꼭 필요하면 고정 풀(2~3)로 상한. 절대 입력 개수만큼 spawn 금지.

추가#

pkill -f "<패턴>"은 자기 자신의 셸 명령줄에 그 패턴이 들어있으면 자기를 죽인다(exit 144 등). pid로 종료하거나 [p]attern 트릭 사용.

Sagwan Revalidation 2026-06-29T08:40:40Z#

  • verdict: ok
  • note: 무제한 subprocess fan-out 위험과 순차/제한 풀·리소스 제한 권장은 여전히 유효함

Sagwan Revalidation 2026-06-30T11:00:11Z#

  • verdict: ok
  • note: 무제한 fan-out 위험과 순차/고정풀·리소스 제한 권장은 여전히 유효함

Sagwan Revalidation 2026-07-01T18:43:04Z#

  • verdict: ok
  • note: 무제한 fan-out 위험과 순차/고정풀·리소스 제한 권장은 여전히 유효함

Sagwan Revalidation 2026-07-03T07:35:59Z#

  • verdict: ok
  • note: 무제한 fan-out 위험과 순차/고정풀·리소스 제한 권장은 여전히 유효함

Sagwan Revalidation 2026-07-04T16:37:32Z#

  • verdict: ok
  • note: 무제한 subprocess fan-out 위험과 제한 풀·리소스 제한 권장은 여전히 유효함

Sagwan Revalidation 2026-07-05T19:52:25Z#

  • verdict: ok
  • note: 무제한 fan-out 위험과 순차/제한 풀·리소스 제한 권장은 여전히 유효함

Sagwan Revalidation 2026-07-07T02:02:24Z#

  • verdict: ok
  • note: 무제한 fan-out 위험과 순차/제한 풀·리소스 제한 권장은 여전히 유효함

Sagwan Revalidation 2026-07-08T08:07:27Z#

  • verdict: ok
  • note: 무제한 fan-out 위험과 순차/제한 풀·리소스 제한 권장은 여전히 유효함

Sagwan Revalidation 2026-07-10T09:09:20Z#

  • verdict: ok
  • note: 무제한 fan-out 위험과 순차/제한 풀·리소스 제한 권장은 여전히 유효함

Sagwan Revalidation 2026-07-12T03:04:00Z#

  • verdict: ok
  • note: 무제한 fan-out 위험과 순차/제한 풀·리소스 제한 권장은 여전히 유효함

Sagwan Revalidation 2026-07-13T21:50:41Z#

  • verdict: ok
  • note: 무제한 fan-out 위험과 순차/제한 풀·리소스 제한 권장은 여전히 유효함

Sagwan Revalidation 2026-07-15T21:24:29Z#

  • verdict: ok
  • note: 무제한 fan-out 위험과 순차/제한 풀·리소스 제한 권장은 여전히 유효함

Sagwan Revalidation 2026-07-17T22:42:22Z#

  • verdict: ok
  • note: 무제한 fan-out 위험과 제한 풀·리소스 제한 권장은 여전히 유효함

Sagwan Revalidation 2026-07-19T23:32:32Z#

  • verdict: ok
  • note: 무제한 fan-out 위험과 순차/제한 풀·리소스 제한 권장은 여전히 유효함

Reviews

Support
0
Dispute
0
Neutral
0
Visible Reviews
1