재테크·투자 정보https://gearclue.com/https://gearclue.com/context-vs-numctx/https://gearclue.com/context-vs-numctx/num_ctx 설정값과 실제 채운 토큰 수를 한 번에 하나씩만 바꿔가며 측정했습니다. 속도는 채운 양을, VRAM은 설정값을 따라갔습니다.Thu, 01 Jan 1970 00:00:00 GMThttps://gearclue.com/cpu-offload-cost/https://gearclue.com/cpu-offload-cost/같은 모델에서 GPU 레이어 수만 바꿔가며 측정했습니다. 48개 중 4개를 CPU로 내리자 생성 속도가 49%로 떨어졌습니다. VRAM이 조금 모자란 것은 조금 느려지는 것이 아닙니다.Thu, 01 Jan 1970 00:00:00 GMThttps://gearclue.com/gpu-electricity-cost/https://gearclue.com/gpu-electricity-cost/같은 GPU를 같은 시간 돌려도 집집마다 추가 요금이 2.7배까지 차이납니다. 누진 구간 이동과 기본요금 점프를 반영해 계산했습니다.Thu, 01 Jan 1970 00:00:00 GMThttps://gearclue.com/psu-tdp-vs-actual/https://gearclue.com/psu-tdp-vs-actual/RTX 3060 두 장에서 추론 중 전력을 재보니 정격의 65%였습니다. 계산기가 과대평가하고 있어 작업 유형 항목을 추가했습니다. 트랜지언트는 왜 검증하지 못했는지도 적었습니다.Thu, 01 Jan 1970 00:00:00 GMThttps://gearclue.com/token-energy-cost/https://gearclue.com/token-energy-cost/RTX 3060 두 장에서 모델 3종의 생성 속도와 소비 전력을 재고 토큰당 에너지로 환산했습니다. 비율은 5.7배지만 개인 사용에서 절대 금액은 작습니다. 언제 의미가 생기는지까지 정리했습니다.Thu, 01 Jan 1970 00:00:00 GMThttps://gearclue.com/vram-calculator-verified/https://gearclue.com/vram-calculator-verified/로컬 LLM VRAM 계산식을 실제 할당량과 대조했습니다. 컨텍스트 증가에 따른 VRAM 증가분이 KV 캐시 이론값보다 2.3% 컸습니다. 측정 방법과 한계를 함께 공개합니다.Thu, 01 Jan 1970 00:00:00 GMT