같은 GPU에서 모델만 바꿔도 토큰당 전기가 5.7배 차이났다

1970-01-01 · 실측

로컬 LLM을 돌릴 때 흔히 보는 지표는 초당 토큰 수입니다. 속도는 체감되니까 관심을 받는데, 같은 작업에 전기를 얼마나 쓰는지는 잘 다뤄지지 않습니다.

RTX 3060 두 장에서 모델별로 속도와 소비 전력을 함께 재봤습니다. 토큰당 에너지로 환산하니 모델 사이 차이가 5.7배였습니다. 다만 그 숫자가 실제로 얼마나 중요한지는 따로 따져야 합니다. 결론부터 말하면 개인 사용에서는 생각보다 작습니다.

측정값

100% GPU에 올라간 모델만 비교합니다. CPU로 일부가 내려간 구성은 GPU 전력만 재면 실제 소비를 반영하지 못하므로 제외했습니다.

모델	생성 속도	GPU 전력	토큰당 에너지
Qwen3-Coder 30B-A3B (MoE)	93.9 tok/s	178W	1.90 J
Gemma4 26B	73.3 tok/s	191W	2.61 J
Devstral Small 2 24B	22.4 tok/s	242W	10.80 J

토큰 하나를 생성하는 데 쓰는 GPU 에너지 (J/토큰, 낮을수록 좋음)

토큰당 에너지는 전력 ÷ 속도입니다. 그래서 전력이 낮아도 느리면 불리하고, 전력이 높아도 빠르면 유리합니다. Devstral은 전력을 가장 많이 쓰면서 가장 느려서 두 가지가 겹쳤습니다.

전기요금으로 환산하면

토큰 100만 개를 생성한다고 가정했습니다. 단가는 기존 사용량 250kWh인 가정에서의 실효 단가 258원/kWh를 썼습니다. (이 단가가 왜 집집마다 다른지는 전기요금 글에서 다뤘습니다.)

모델	100만 토큰 소비 전력	전기요금
Qwen3-Coder 30B-A3B	0.53 kWh	약 136원
Gemma4 26B	0.72 kWh	약 186원
Devstral Small 2 24B	3.00 kWh	약 773원

100만 토큰 생성 시 전기요금 (원, 실효 단가 258원/kWh 기준)

솔직히 말하면 금액은 작습니다

비율만 보면 5.7배라 커 보이지만, 절대 금액을 보면 이야기가 다릅니다.

하루에 10만 토큰을 생성한다고 가정해 보겠습니다. 코딩 보조로 꽤 열심히 쓰는 수준입니다. 한 달이면 이렇게 됩니다.

모델	월 추가 전력	월 전기요금
Qwen3-Coder 30B-A3B	1.6 kWh	약 407원
Gemma4 26B	2.2 kWh	약 559원
Devstral Small 2 24B	9.0 kWh	약 2,319원

하루 10만 토큰이라는 이 사용량에서는, 가장 비싼 모델을 써도 월 2,300원 수준입니다. 커피 한 잔이 안 됩니다. 이 정도 사용량이라면 전기요금만 보고 모델을 바꿀 이유는 크지 않습니다.

다만 이 금액은 GPU가 생성에 쓴 전력만 계산한 것입니다. CPU와 전원부 손실, 그리고 아래에서 다룰 유휴 전력은 빠져 있습니다. 전체 전기요금이 이만큼이라는 뜻이 아닙니다.

이 결과를 “전기요금 폭탄”으로 포장할 수도 있었겠지만, 측정값이 그렇게 말하지 않습니다.

그러면 언제 의미가 생기나

세 경우입니다.

첫째, 상시 가동입니다. 위 계산은 생성하는 동안만 계산한 것입니다. 모델을 올려둔 채 24시간 대기시키면 유휴 전력이 따로 나갑니다. 제 구성에서는 두 장 합쳐 45W였고, 이것만으로 월 32kWh입니다. 실제 생성에 쓴 1.6kWh보다 스무 배 큽니다. 이 사용량 수준에서는 아껴야 할 곳이 추론보다 대기 쪽입니다.

둘째, 누진 구간을 넘길 때입니다. 월 몇 kWh 차이가 평소에는 무시할 만하지만, 구간 경계 바로 아래에 있으면 그 몇 kWh가 기본요금 인상을 불러옵니다. 400kWh 경계에서는 기본요금만 5,700원이 뜁니다. 이때는 계산이 완전히 달라집니다.

셋째, 규모가 커질 때입니다. 하루 10만 토큰이 아니라 1,000만 토큰이면 100배입니다. 배치 처리나 대량 생성 작업이라면 모델 선택이 곧 운영비가 됩니다.

속도를 함께 보면

토큰당 에너지가 좋은 모델은 대체로 빠른 모델이기도 합니다. 전력이 비슷한 범위(178~242W)에 있는데 속도가 4배 차이나기 때문입니다.

생성 속도 (tok/s, 높을수록 좋음)

이번에 잰 세 모델에서는 속도 순위와 효율 순위가 같았습니다. 전력이 178~242W라는 좁은 범위에 있었기 때문입니다.

다만 이것을 일반 법칙으로 받아들이면 안 됩니다. 속도가 오른 만큼보다 전력이 더 크게 오르는 모델이 있다면 순위는 뒤집힙니다. 배치 크기, 양자화, 컨텍스트 길이에 따라서도 달라집니다.

더 근본적인 문제도 있습니다. 모델마다 토크나이저가 달라서 “100만 토큰”이 같은 작업량을 뜻하지 않습니다. 느리지만 짧고 정확하게 답하는 모델이 같은 일을 더 적은 에너지로 끝낼 수도 있습니다. 토큰당 에너지는 비교하기 편한 지표일 뿐, 작업 하나를 끝내는 데 드는 에너지와는 다릅니다.

적어도 이 측정 범위에서는, 전기요금이 문제가 되는 쪽은 모델 선택보다 가동 시간이었습니다. 본인 구성으로 계산해 보려면 전기요금 계산기를 쓰면 됩니다.

상용 API와 비교하려면

로컬로 돌리는 것과 API를 쓰는 것 중 무엇이 싼지 궁금할 텐데, 이 글에서는 답하지 않겠습니다. API 단가는 자주 바뀌고, 제가 확인한 시점의 값을 적어두면 금방 틀린 정보가 됩니다.

다만 비교하는 방법은 정리해 둘 수 있습니다. 로컬 비용에는 전기요금만이 아니라 하드웨어 구입비의 감가상각이 들어가야 합니다. 위에서 본 것처럼 전기요금은 월 수백 원 수준이라, 실제로는 하드웨어 값이 비교를 지배합니다. 100만 원짜리 구성을 3년 쓴다고 보면 월 약 2.8만 원입니다. 전기요금의 수십 배입니다.

그러니 “로컬이 API보다 싼가”는 결국 얼마나 많이 쓰느냐의 문제입니다. 적게 쓰면 API가, 많이 쓰면 로컬이 유리해지는 지점이 있습니다.

측정 방법

RTX 3060 12GB × 2, 전력 상한 각 170W, Ollama 0.20.0, 드라이버 590.48.01
동일 한국어 코딩 프롬프트, num_predict=300, seed=42, 컨텍스트 32,768
모델당 3회 반복, 매 회 완전히 언로드 후 재로드
전력은 nvidia-smi 0.5초 샘플링 중 GPU 사용률 30% 초과 구간의 두 장 합계 평균
전기요금 환산은 기존 사용량 250kWh 가정의 실효 단가 258원/kWh 적용

한계

GPU 전력만 측정했습니다. CPU, 메인보드, 전원부 손실이 빠져 있어 실제 벽면 소비는 더 큽니다. 모델 간 비교에는 문제가 없지만 절대 금액은 과소평가입니다.
사용률 30% 초과 구간만 평균했습니다. 전체 시간 평균 전력과는 다릅니다.
프롬프트 한 종류, 300토큰 생성입니다. 긴 컨텍스트나 다른 작업 유형에서는 달라질 수 있습니다.
모델 세 개만 비교했습니다. 아키텍처가 서로 달라 원인을 분리하지 못했습니다.
하드웨어 한 구성입니다. 더 효율적인 최신 GPU에서는 절대값이 크게 달라집니다.
258원/kWh는 고정 단가가 아닙니다. 기타계절에 기존 사용량 250kWh인 경우의 한계 단가입니다. 하계·동계나 다른 사용량에서는 달라집니다.
평균 전력과 평균 속도의 비율로 계산했습니다. 시간에 따른 전력을 적분한 값이 아닙니다.
토크나이저가 달라 모델 간 “토큰”이 같은 단위가 아닙니다. 작업 완료당 에너지는 측정하지 않았습니다.
출력 품질과 재시도 횟수를 반영하지 않았습니다. 틀린 답을 빠르게 내는 모델이 실제로는 더 비쌀 수 있습니다.
프리필, 모델 로딩, 캐시 구축에 드는 에너지는 측정 구간에 포함되지 않았습니다.
회차별 전력값과 원시 샘플은 보존하지 않아 power_mean을 독립적으로 재현할 수 없습니다.
측정 원본은 저장소에 공개해 두었습니다. 다른 환경의 결과를 알려주시면 출처를 밝히고 반영하겠습니다.

#로컬LLM#전기요금#토큰비용#RTX3060#에너지효율