2026-05-11 ZaraServer 수집/AVIF 병렬도 튜닝 판단

2026-05-11 13:27 KST 관측 기준, 시스템은 24코어이고 load average는 약 3대라 CPU 여유가 컸다. 메모리는 23GiB 중 available 약 8.2GiB였다.

현재 병목은 CPU보다 I/O 쪽이다. /mnt/f ZaraServer는 WSL 9p/drvfs 경유 NTFS 마운트이고, /proc/pressure/io는 avg10 약 9%, avg60 약 6%였다. VHDX→ZaraServer rsync 프로세스들은 D (disk sleep) 상태가 자주 보였다. 따라서 기존 자료 복사 중에는 수집/AVIF 병렬도를 크게 올리지 않는 편이 안전하다.

현재 웹툰 수집은 ordered_webtoon_collector.py --batch-size 6 --image-concurrency 4로 동작 중이다. AVIF는 원래 --concurrency 4였으나 마이그레이션 중 I/O 완화를 위해 정지 상태였다.

권장 튜닝 순서:

기존 VHDX→ZaraServer 복사와 최종 delta가 끝날 때까지는 AVIF 정지 또는 낮은 병렬도 유지.
ZaraServer 전환 후 1차 테스트값으로 웹툰 batch-size=8, image-concurrency=5, AVIF concurrency=4~6 사용.
I/O pressure avg10이 10% 미만이고 실패/재시도/사이트 차단이 늘지 않으면 웹툰 batch-size=10, image-concurrency=6, AVIF concurrency=8까지 단계적으로 상승.
웹툰과 만화 동시 수집은 가능하지만 같은 디스크에 작은 파일을 대량 생성하므로 각 파이프라인을 절반 병렬도로 나눠 시작하는 것이 안전하다.
장기적으로 가장 빠른 구조는 WSL ext4 staging에서 수집+AVIF 후 ZaraServer NTFS로 완성본만 배치 이동하는 방식이다. NTFS/DrvFS에 작은 원본 이미지를 바로 대량 쓰는 구조는 장기 병목이 될 가능성이 높다.

Sagwan Revalidation 2026-05-11T04:30:01Z#

verdict: ok
note: 관측 시각이 명시됐고 WSL/DrvFS I/O 병목 권장안도 여전히 타당함

Sagwan Revalidation 2026-05-12T04:46:39Z#

verdict: refresh
note: 병렬도 권장안은 최신 I/O 상태와 전환 완료 여부 재측정이 필요함

Sagwan Revalidation 2026-05-13T05:16:55Z#

verdict: refresh
note: 병렬도 권장안은 전환 완료와 현재 I/O pressure 재측정이 필요함

Sagwan Revalidation 2026-05-14T05:23:00Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 완료 여부 재측정이 필요함

Sagwan Revalidation 2026-05-15T05:33:00Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 상태 재측정이 필요함

Sagwan Revalidation 2026-05-16T06:07:09Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 완료 여부 재측정이 필요함

Sagwan Revalidation 2026-05-17T06:27:55Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 완료 여부 재측정이 필요함

Sagwan Revalidation 2026-05-18T06:50:02Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 완료 여부 재측정이 필요함

Sagwan Revalidation 2026-05-19T07:16:56Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 완료 여부 재측정이 필요함

Sagwan Revalidation 2026-05-20T07:40:08Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 완료 여부 재측정이 필요함

Sagwan Revalidation 2026-05-21T07:44:00Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 완료 여부 재측정이 필요함

Sagwan Revalidation 2026-05-22T08:08:03Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 완료 여부 재측정이 필요함

Sagwan Revalidation 2026-05-23T08:20:33Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 완료 여부 재측정이 필요함

Sagwan Revalidation 2026-05-24T08:34:09Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 완료 여부 재측정이 필요함

Sagwan Revalidation 2026-05-25T09:14:20Z#

verdict: refresh
note: 병렬도 권장안은 현재 전환 상태와 I/O pressure 재측정이 필요함

Sagwan Revalidation 2026-05-26T09:19:24Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 완료 상태 재측정이 필요함

Sagwan Revalidation 2026-05-27T09:43:25Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 완료 여부 재측정이 필요함

Sagwan Revalidation 2026-05-28T10:18:24Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 상태 재측정이 필요함

Sagwan Revalidation 2026-05-29T10:21:48Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 완료 여부 재측정이 필요함

Sagwan Revalidation 2026-05-30T10:28:30Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 완료 상태 재측정이 필요함

Sagwan Revalidation 2026-05-31T11:07:28Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 완료 여부 재측정이 필요함

Sagwan Revalidation 2026-06-01T15:31:27Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 완료 여부 재측정이 필요함

Sagwan Revalidation 2026-06-02T19:52:32Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 완료 여부 재측정이 필요함

Sagwan Revalidation 2026-06-03T20:49:22Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O 상태와 전환 완료 여부 재측정이 필요함

Sagwan Revalidation 2026-06-04T20:57:15Z#

verdict: refresh
note: 현재 I/O pressure와 전환 완료 상태 재측정이 필요한 튜닝값임

Sagwan Revalidation 2026-06-05T21:14:46Z#

verdict: refresh
note: 병렬도 권장안은 현재 I/O pressure와 전환 완료 상태 재측정이 필요함