알아두면 좋은 내용
토큰(token)이란?
LLM은 문자가 아닌 토큰이라는 단위로 텍스트를 처리합니다. 한 토큰은 영문 기준 약 4글자(¾ 단어)에 해당하며, 한국어는 한 음절이 대략 1~1.5토큰으로 쪼개집니다(모델마다 다름). 모델 가격·컨텍스트 한도·응답 속도가 모두 토큰 단위로 매겨지므로 프롬프트를 최적화하려면 토큰 수를 의식하는 것이 첫걸음입니다.
토큰은 모델마다 다른 ‘어휘 사전’으로 잘립니다. 같은 문장이라도 GPT·Claude·Gemini의 토큰 수가 서로 다르게 나오는 이유이고, 같은 회사 모델이라도 세대가 바뀌며 토크나이저가 바뀌면 토큰 수가 달라집니다. 그래서 비용을 비교할 때는 ‘1M 토큰당 가격’만이 아니라 ‘내 글이 그 모델에서 몇 토큰인지’를 함께 곱해야 합니다.
모델별 컨텍스트 한도·가격 (2026년 9월 점검)
| 모델 | 컨텍스트 | 입력 / 1M | 출력 / 1M | 특징 |
|---|---|---|---|---|
| GPT-5 | 400K | $1.25 | $10.00 | 범용 추론 모델 (입력+출력 합산 400K) |
| GPT-5 mini | 400K | $0.25 | $2.00 | 저가형 — 분류·요약·추출 |
| GPT-4o | 128K | $2.50 | $10.00 | 이전 세대 멀티모달 모델 |
| Claude Opus 5 | 1M | $5.00 | $25.00 | 복잡한 추론·코딩·장문 작업 |
| Claude Sonnet 5 | 1M | $2.00 | $10.00 | 성능·비용 균형형 |
| Claude Haiku 4.5 | 200K | $1.00 | $5.00 | 빠르고 저렴 — 분류·태깅 |
| Gemini 2.5 Pro | 1M | $1.25 | $10.00 | 긴 문서 — 입력 200K 초과 시 $2.50/$15 |
| Gemini 2.5 Flash | 1M | $0.30 | $2.50 | 저가 + 1M 컨텍스트 |
이 도구의 계산 방식 — 문자 가중치와 비용 공식
입력한 글을 한 글자씩 읽어 아래 7가지 종류로 나누고, 종류마다 정해진 ‘문자 1개당 토큰’ 가중치를 더한 뒤 올림합니다. 가중치는 GPT·Claude·Gemini 세 계열로 따로 두며, 같은 계열 모델(GPT-5·GPT-5 mini·GPT-4o 등)은 같은 토큰 수를 공유합니다. 도구 입력란에 같은 글자를 1,000개 넣으면 표의 값에 1,000을 곱한 만큼(반올림 차이 ±1) 토큰이 나오므로 직접 확인해 볼 수 있습니다 (예: ‘가’ 1,000자 → GPT 계열 951토큰, Claude 계열 1,550토큰).
| 문자 종류 | 예 | GPT 계열 | Claude 계열 | Gemini 계열 |
|---|---|---|---|---|
| 한글 (음절·자모) | 가 | 0.95 | 1.55 | 0.90 |
| 한자·가나 | 漢 | 1.05 | 1.35 | 1.00 |
| 영문자 | a | 0.25 | 0.28 | 0.25 |
| 숫자 | 1 | 0.33 | 0.40 | 0.33 |
| 공백·줄바꿈 | (공백) | 0.25 | 0.28 | 0.25 |
| 문장부호·기호 | . | 0.50 | 0.60 | 0.50 |
| 그 밖의 문자 (이모지 등) | → | 1.00 | 1.20 | 0.95 |
비용은 (입력 토큰 × 입력 단가 + 출력 토큰 × 출력 단가) ÷ 1,000,000 × 호출 횟수로 계산합니다. 출력 토큰은 미리 알 수 없으므로 ‘예상 출력 길이’에서 고른 배수(짧은 답 ×0.3 · 일반 답 ×1.0 · 긴 답 ×2.5)를 입력 토큰에 곱해 가정합니다. Gemini 2.5 Pro처럼 긴 프롬프트 할증이 있는 모델은 입력이 기준(20만 토큰)을 넘으면 그 요청 전체에 높은 단가를 적용하고, 원화는 1달러 1,380원 고정 환율로 환산합니다.
예를 들어 도구의 ‘한국어 글’ 샘플(97자 — 한글 71자, 공백 23개, 문장부호 3개)은 GPT 계열 75토큰, Claude 계열 119토큰, Gemini 계열 72토큰으로 추정됩니다. 같은 글을 ‘일반 답’(×1.0)으로 1,000번 호출하면 모델별 비용은 아래와 같습니다. 도구에서 샘플을 누르고 호출 횟수에 1,000을 넣으면 같은 값이 나옵니다.
| 모델 | 입력 토큰/회 | 출력 토큰/회 | 1,000회 비용 | 원화 환산 |
|---|---|---|---|---|
| GPT-5 | 75 | 75 | $0.8437 | ₩1,164 |
| GPT-5 mini | 75 | 75 | $0.1687 | ₩233 |
| GPT-4o | 75 | 75 | $0.9375 | ₩1,294 |
| Claude Opus 5 | 119 | 119 | $3.57 | ₩4,927 |
| Claude Sonnet 5 | 119 | 119 | $1.43 | ₩1,971 |
| Claude Haiku 4.5 | 119 | 119 | $0.7140 | ₩985 |
| Gemini 2.5 Pro | 72 | 72 | $0.8100 | ₩1,118 |
| Gemini 2.5 Flash | 72 | 72 | $0.2016 | ₩278 |
짧은 글 한 편은 몇 원 수준이지만, 챗봇처럼 이전 대화를 매번 다시 보내는 구조에서는 대화가 길어질수록 호출당 입력 토큰이 계속 불어납니다. 월 비용을 잡을 때는 ‘평균 대화 길이 × 하루 호출 수 × 30’으로 입력 토큰을 먼저 어림한 뒤 이 도구에 넣어 보는 것이 안전합니다.
한국어 토큰 효율 — 왜 영문보다 비쌀까?
LLM 토크나이저는 영어 비중이 큰 데이터로 어휘를 만들기 때문에 한국어 음절을 더 잘게 쪼갭니다. 이 도구의 영문 환산 추정으로는 위 한국어 샘플(75토큰, GPT 기준)을 영어로 쓰면 약 50토큰으로 줄어듭니다. GPT-4o부터 쓰는 o200k_base 토크나이저는 이전 cl100k_base보다 한국어를 훨씬 적은 토큰으로 처리하도록 개선됐고, 이 도구는 Claude 계열 가중치를 가장 높게(한글 1자 ≈ 1.55토큰) 잡은 보수적 추정을 씁니다. 모델·토크나이저 버전마다 차이가 크므로 정확한 비교는 각 사 토큰 계산 API로 확인하세요.
- 비용 민감 작업: 시스템 프롬프트·참고 문서는 영문으로, 사용자에게 보이는 응답만 한국어로 받습니다.
- 간결한 지시: 같은 지시를 짧게 쓰면 매 호출 입력 토큰이 그만큼 줄어듭니다. 예시·설명이 반복되지 않는지 점검하세요.
- JSON 출력: 한글 key 대신 영문 key를 씁니다. key는 항목마다 반복되므로 효과가 큽니다.
- 여러 모델 비교: 같은 글도 모델별 토큰 수가 달라 단가표만으로는 순위가 뒤바뀔 수 있습니다. 실제 글로 토큰 수를 재서 비교하세요.
컨텍스트 윈도우(context window) 활용 가이드
컨텍스트 윈도우는 모델이 한 요청에서 다룰 수 있는 최대 토큰 수입니다. 보통 입력과 출력을 합친 한도라서, 긴 문서를 넣으면 받을 수 있는 답의 길이도 그만큼 줄어듭니다. 초과하면 API는 오류를 돌려주고, 채팅 서비스는 앞부분 대화를 요약하거나 잘라낼 수 있습니다.
128K (GPT-4o)
긴 문서 1~2개
단일 PDF·코드 파일 1~2개, 일반 대화에 충분
200K (Claude Haiku 4.5)
긴 보고서 여러 편
긴 문서 요약·중간 규모 코드 분석
400K (GPT-5)
긴 문서 여러 편
출력 토큰까지 합친 한도 — 긴 답을 받으려면 입력을 그만큼 줄여야 함
1M (Claude Opus·Sonnet 5, Gemini 2.5)
문서 묶음 한 번에
여러 문서 비교, 대형 코드베이스·논문 묶음
자주 묻는 질문
토큰 수가 공식 토크나이저 결과와 다른 이유는?
count_tokens API, Gemini API의 countTokens로 실제 값을 확인하세요.tiktoken 같은 실제 토크나이저를 쓰지 않는 이유는?
count_tokens)로 세거나 추정해야 하고, Gemini도 공식 SDK의 로컬 토크나이저는 텍스트 전용 실험 기능이라 정확한 청구 기준은 countTokens API입니다. 이 도구는 세 회사 모델을 같은 화면에서 즉시 비교하는 가벼움을 우선했고, 정확도가 결정적인 작업은 각 사 토큰 계산 API를 권장합니다.한국어가 영어보다 토큰을 더 많이 쓰는 이유는?
the·ing 같은 흔한 조각이 통째로 어휘에 들어 있어 여러 글자가 1토큰으로 압축되지만, 한국어는 음절 조합이 많고 학습 데이터 비중이 작아 한 음절이 1토큰 안팎으로 쪼개지는 일이 흔합니다. 같은 내용을 영어로 쓰면 토큰이 얼마나 줄어드는지는 본문 ‘한국어 토큰 효율’ 절의 샘플 계산을 참고하세요. 차이는 모델·토크나이저 버전마다 크게 다르므로 실제 비교는 각 사 API로 확인하세요.시스템 프롬프트도 매번 비용으로 청구되나요?
출력 토큰이 입력 토큰보다 비싼 이유는?
max_tokens로 상한을 두고, "300자 이내" 같은 지시나 JSON 스키마로 필요한 항목만 받게 하세요.컨텍스트 한도를 넘으면 어떻게 되나요?
context_length_exceeded). 입력과 출력 상한(max_tokens)을 합친 값이 한도를 넘어도 거부되는 모델이 있으니 긴 입력에는 출력 여유분을 남기세요. 웹 채팅 서비스는 제품마다 처리 방식이 달라 오래된 대화를 요약하거나 잘라내기도 하고, 새 대화를 시작하라고 안내하기도 합니다. 긴 대화에서 앞부분 맥락이 흐려진다고 느껴지면 핵심을 요약해 새 대화로 옮기는 편이 안전합니다.API 비용을 줄이는 가장 효과적인 방법은?
max_tokens와 길이 지시가 효과적입니다. 3) 프롬프트 캐싱 — 긴 시스템 프롬프트·참고 문서를 앞에 고정합니다. 4) 배치 API — 즉시 응답이 필요 없는 대량 작업은 OpenAI·Anthropic·Google 모두 배치 처리 시 표준 단가의 절반입니다. 5) 입력 정리 — 반복되는 예시·불필요한 대화 기록을 빼면 매 호출 입력이 줄어듭니다.원화 금액은 어떤 환율로 계산하나요?
참고 자료
- Anthropic 가격(새 창)platform.claude.com
- OpenAI 가격(새 창)openai.com
- Gemini API 가격(새 창)ai.google.dev
- 계산 기준
- 각 사 공개 API 표준 단가(대표 모델, 배치·캐시 할인 제외)
- 오류 제보
- 결과가 다르면 contact@youtil.kr로 입력 조건을 알려 주세요. 평일 기준 1~3일 안에 답변합니다.