AI챗봇 비용 2026, LLM API·상담량·보안 운영비 계산 기준

AI챗봇 비용 산정 회의와 클라우드 보안 운영 장면 — AI챗봇 비용은 모델 단가와 상담량, 보안 운영 범위를 같이 봐야 한다.

AI챗봇 비용을 묻는 팀은 보통 월 구독료 하나를 찾지만, 실제 견적은 대화 수와 토큰 길이, 검색 도구 호출, 보안 로그 보관, 운영 인력까지 합쳐져 결정된다.

영업 상담 챗봇과 사내 지식검색 챗봇은 같은 AI챗봇처럼 보여도 과금 축이 다르고, 둘을 같은 단가표로 비교하면 첫 달 파일럿부터 예산이 틀어진다.

먼저 월 상담량을 작은 숫자로 고정하고, 그다음 모델 단가와 플랫폼 크레딧, 개인정보 통제 비용을 붙여야 구매팀과 개발팀의 대화가 맞아진다.

핵심 요약

AI챗봇 비용은 모델 API 단가, 플랫폼 크레딧, 지식검색 저장소, 채널 연결, 운영 인력의 합산 비용으로 봐야 한다.
OpenAI, Anthropic, Gemini, Bedrock은 주로 입력·출력 토큰 단가를 기준으로 하고, Copilot Studio는 Copilot Credits 사용량을 기준으로 본다.
고객 상담형은 피크 시간과 상담 이관 비용이 크고, 사내 지식검색형은 권한·로그·RAG 품질관리 비용이 커진다.
이 조건이면 2주 파일럿에서 대화당 입력·출력 토큰과 검색 호출률을 먼저 재고, 월 비용 상한을 코드로 검증한 뒤 확장한다.

이 글이 필요한 사람

AI챗봇 도입 견적을 받았지만 월 사용량 기준이 빠져 있어 비교가 안 되는 IT 기획자.
LLM API로 직접 챗봇을 만들지, Copilot Studio 같은 플랫폼으로 시작할지 결정해야 하는 개발 리더.
고객 상담 로그와 사내 문서를 AI챗봇에 넣기 전에 보안·개인정보 비용을 계산해야 하는 보안 담당자.
월 예산을 넘으면 자동으로 모델 라우팅이나 기능 제한을 걸어야 하는 클라우드 운영자.

AI챗봇 비용은 라이선스보다 사용량 모델이다

AI챗봇 견적의 첫 줄은 보통 라이선스나 구축비지만, 월별 손익을 흔드는 값은 실제 대화가 몇 번 발생하고 한 대화가 얼마나 길어지는지다.

고객이 주문 취소를 묻는 짧은 상담은 저렴한 모델로 처리할 수 있지만, 환불 약관과 배송 이력을 함께 읽는 상담은 입력 토큰과 검색 호출이 빠르게 늘어난다.

사내 챗봇은 상담량이 적어 보여도 사내 문서 권한, SSO, 감사 로그, 민감정보 마스킹, 검색 인덱스 재작성 비용이 붙는다.

비용 항목	측정 단위	예산에 미치는 지점	먼저 물어볼 질문
모델 추론	입력 토큰·출력 토큰	응답 길이와 히스토리 보존 길이에 따라 매월 변동	평균 입력·출력 토큰을 실제 로그로 재는가
검색·도구 호출	검색 호출 수·파일 검색 호출 수	웹검색, RAG, CRM 조회가 많은 챗봇에서 급증	한 대화 중 외부 도구 호출률이 몇 퍼센트인가
플랫폼 크레딧	Copilot Credits·월 팩	노코드 에이전트와 채널 배포 비용을 단순화	초과 사용 시 자동 차단과 증설 기준이 있는가
보안 운영	로그 보관 일수·권한 검토 횟수	감사 대응과 개인정보 삭제 요청 처리에 영향	대화 원문을 며칠 보관하고 누가 볼 수 있는가
사람 운영	월 개선 시간·이관 상담 시간	봇이 못 푼 질문을 사람이 처리하는 비용	이관률과 답변 수정 시간을 월 단위로 재는가

공식 가격표 핵심 숫자

아래 숫자는 확인일 기준 공식 가격표에 나온 대표 단가이며, 실제 청구액은 모델 버전, 리전, 캐시, 약정, 세금, 환율에 따라 달라진다.

그래도 AI챗봇 비용 비교표에는 이 정도 단위가 반드시 들어가야 하고, 견적서가 월정액만 말한다면 사용량 산식부터 다시 받아야 한다.

공식 출처	대표 가격 숫자	AI챗봇 비용 의미	주의점
OpenAI API pricing	gpt-5.6-luna는 1M 토큰당 입력 $0.20, 출력 $1.20이고 gpt-5.6-sol은 입력 $4.00, 출력 $20.00	가벼운 상담과 고난도 추론 상담을 같은 모델로 처리하면 출력 토큰 비용 차이가 커진다.	웹검색은 $10.00 / 1k calls가 붙고 파일 검색 호출은 $2.50 / 1k calls로 따로 계산해야 한다.
Anthropic Claude pricing	Claude Sonnet 5는 입력 $2 / MTok, 출력 $10 / MTok이고 Claude Haiku 4.5는 입력 $1 / MTok, 출력 $5 / MTok	고품질 답변과 대량 상담을 나눠 라우팅할 때 기준 단가로 쓸 수 있다.	프롬프트 캐시 읽기는 0.1x이고 5분 캐시 쓰기는 1.25x라 반복 문서 프롬프트는 캐시 손익을 따져야 한다.
Gemini API pricing	Gemini 2.5 Flash는 입력 $0.30, 출력 $2.50이고 Gemini 2.5 Pro는 200k 이하 입력 $1.25, 출력 $10.00	긴 문서 상담과 빠른 FAQ 상담을 분리할 때 모델 선택 기준이 된다.	Grounding with Google Search는 무료 한도 이후 $35 / 1,000 grounded prompts 같은 별도 축을 봐야 한다.
Microsoft Copilot Studio	Copilot Credit pack은 25,000 credits 기준 $200.00 / pack / month이고 pay-as-you-go meter도 제공된다.	직접 API 구축보다 채널 배포와 운영 도구를 사는 성격이 강하다.	월 구매 용량을 넘으면 기술적 enforcement로 서비스 거부가 날 수 있고 unused credit은 이월되지 않는다.
Amazon Bedrock pricing	Batch inference는 일부 FM에서 on-demand 대비 50% 낮은 가격을 제공하고 Claude 3.5 Sonnet v2 extended access는 입력 $6.00, 출력 $30.00	AWS 안에서 모델과 데이터 경계를 맞출 때 모델별 단가와 리전 단가를 같이 봐야 한다.	Bedrock은 provider와 tier별 단가가 다르므로 direct API 가격표와 숫자를 그대로 비교하면 안 된다.
OpenAI tools pricing	File search storage는 $0.10 / GB per day after 1GB free이고 hosted container는 1GB $0.03 per 20-minute session	문서 검색형 챗봇과 코드 실행형 상담은 모델 토큰 외 비용이 붙는다.	검색 내용 토큰과 컨테이너 최소 청구 시간 같은 부대 조건을 견적에 넣어야 한다.

월 비용 계산 순서: 상담량에서 토큰까지

AI챗봇 비용 산정은 공급자 단가표를 먼저 고르는 방식보다, 우리 서비스의 월 대화 구조를 숫자로 고정하는 방식이 더 안전하다.

아래 예시는 월 대화 20,000건, 평균 6턴, 턴당 입력 1,200토큰과 출력 250토큰을 가정한 모델 API 단순 계산이다.

항목	계산식	월 사용량	비용 해석
입력 토큰	20,000대화 × 6턴 × 1,200토큰	144M input tokens	상담 히스토리와 RAG 문서가 길어질수록 가장 먼저 늘어난다.
출력 토큰	20,000대화 × 6턴 × 250토큰	30M output tokens	출력 단가가 입력보다 비싼 모델에서는 답변 길이 제한이 바로 비용 통제다.
gpt-5.6-luna 예시	144 × $0.20 + 30 × $1.20	$64.80 / month	단순 모델 호출만 본 값이며 검색·로그·개발비는 제외된다.
gpt-5.6-sol 예시	144 × $4.00 + 30 × $20.00	$1,176.00 / month	어려운 상담만 고성능 모델로 라우팅해야 하는 이유가 보인다.
웹검색 호출 예시	월 20,000대화 중 30%가 검색 호출	6,000 calls	OpenAI 웹검색 $10 / 1k calls 기준이면 검색 호출 비용만 $60.00부터 시작한다.

이 조건이면 작은 모델로 1차 분류를 하고, 환불·계약·장애처럼 책임이 큰 질문만 고성능 모델로 보내는 라우팅이 비용 상한을 만든다.

이 경우는 보류가 맞다.

월 대화 수, 평균 턴 수, 도구 호출률, 사람 상담 이관률을 모르는 상태에서 연간 계약부터 맺으면 절감 효과를 증명하기 어렵다.

실무 시나리오 1: 웹사이트 고객 상담 챗봇

실무 시나리오 1은 쇼핑몰이나 SaaS 웹사이트에서 주문, 환불, 요금제, 장애 문의를 AI챗봇으로 먼저 받는 구조다.

이 구조는 상담량이 많고 질문이 짧아 보여도, CRM 조회와 정책 문서 검색이 붙는 순간 검색 호출률과 개인정보 마스킹 비용이 같이 오른다.

1주차에는 FAQ 30개와 반품·환불 정책 문서만 연결하고, 답변 실패 시 사람 상담으로 넘기는 기준을 정한다.
2주차에는 월 대화 1,000건 샘플에서 평균 입력 토큰, 출력 토큰, 검색 호출률, 이관률을 로그로 뽑는다.
모델은 FAQ와 주문 상태 확인을 저가 모델로 보내고, 약관 해석과 환불 분쟁 질문만 상위 모델로 보낸다.
보안팀은 이름, 전화번호, 주문번호가 프롬프트와 로그에 남는 위치를 확인하고 삭제 요청 처리 시간을 잰다.
구매팀은 월 단가보다 대화당 총비용과 상담 이관 절감 시간을 같이 비교한다.

실무 시나리오 2: 사내 지식검색 챗봇

실무 시나리오 2는 사내 규정, 장애 대응 문서, 영업 제안서, 개발 위키를 검색하는 내부 AI챗봇이다.

이 구조는 외부 상담보다 대화 수가 적어도 권한 동기화, 문서 인덱싱, 감사 로그, 답변 출처 표시가 빠지면 보안 사고 비용이 더 커질 수 있다.

문서별 접근 권한을 검색 인덱스와 함께 저장하지 못하면 퇴사자 문서나 임원 자료가 일반 직원에게 보일 수 있다.
SSO와 그룹 권한을 붙인 뒤 같은 질문을 권한이 다른 계정 3개로 테스트해야 한다.
출처 링크가 없는 답변은 업무 지시로 쓰지 못하게 하고, 답변 하단에 문서명과 갱신일을 노출한다.
문서가 자주 바뀌는 조직은 재색인 비용과 캐시 무효화 시간을 월 비용표에 넣는다.
감사팀 요청이 있는 조직은 원문 대화 로그 보관 일수와 접근자 로그 다운로드 절차를 별도로 산정한다.

Copilot Studio형과 API 직접 구축형 비교

Microsoft Copilot Studio 같은 플랫폼은 채널 배포와 관리자 화면을 빠르게 얻는 대신, Copilot Credits와 Power Platform 환경 조건을 같이 따라간다.

API 직접 구축형은 모델 선택과 라우팅 자유도가 높지만, 로그인, 권한, 모니터링, 장애 대응 UI를 직접 만들어야 한다.

구분	Copilot Studio형	API 직접 구축형	선택 기준
시작 속도	웹, Teams, Microsoft 365 Copilot 같은 채널 배포 흐름이 준비돼 있다.	웹 위젯, 백엔드, 벡터 검색, 관리자 화면을 직접 붙인다.	M365 기반 조직이고 빠른 내부 배포가 목표면 플랫폼형이 빠르다.
비용 구조	Copilot Credits, pay-as-you-go, prepaid pack을 사용한다.	입력·출력 토큰, 검색 호출, 저장소, 서버 비용을 직접 계산한다.	대화량이 크고 모델 라우팅이 중요하면 API형이 유리할 수 있다.
보안 통제	환경, 권한, 채널 정책은 Power Platform 거버넌스와 연결된다.	SSO, RBAC, 로그 보관, 데이터 마스킹을 직접 설계한다.	규정 산업은 보안팀이 검증 가능한 로그 구조를 더 중시한다.
운영 지표	Monitor 페이지에서 활성 사용자, 세션, topic 사용, 만족도 등을 본다.	Prometheus, OpenTelemetry, BI 대시보드로 자체 지표를 만든다.	기존 관제 체계가 있으면 API형의 지표 통합 비용을 따져야 한다.
확장 리스크	월 capacity enforcement와 사용량 초과 정책을 확인해야 한다.	모델 장애, rate limit, 벡터DB 장애, 배포 rollback을 직접 책임진다.	봇이 매출 채널이면 장애 대응 SLA 비용을 별도 항목으로 잡는다.

비용을 줄이는 설계: 캐시, 라우팅, 히스토리 압축

ZDNet의 추론 소프트웨어 보도처럼 AI 에이전트형 트래픽은 GPU 성능만이 아니라 KV 캐시, 라우터, 스케줄러, 긴 컨텍스트 관리가 비용을 흔든다.

일반 AI챗봇도 같은 방향이다.

상담 히스토리를 계속 붙이고 모든 질문을 고성능 모델로 보내면 토큰 단가보다 설계 부채가 더 빨리 커진다.

캐시: 동일한 정책 문서와 시스템 프롬프트가 반복되면 prompt caching 단가와 cache hit 비율을 같이 기록한다.
라우팅: 인사말, 배송 조회, 단순 FAQ는 저가 모델로 보내고 계약·보안·환불 판단은 상위 모델로 보낸다.
히스토리 압축: 대화 6턴 이후에는 전체 원문 대신 결정된 사실과 미해결 질문만 요약해 입력 토큰을 줄인다.
검색 제한: 모든 질문에 웹검색을 붙이지 말고, 최신성이나 외부 출처가 필요한 질문만 검색 도구를 호출한다.
답변 길이 제한: 고객용 답변은 500자, 내부 분석 답변은 1,500자처럼 채널별 출력 예산을 둔다.

이 조건이면 캐시 hit 비율이 40%를 넘는 반복 업무에서 캐시 설계가 모델 교체보다 먼저 검토될 수 있다.

이 경우는 보류다.

상담 품질 로그가 없고 실패 질문 분류가 없으면 저가 모델 전환이 비용 절감이 아니라 재문의 증가로 돌아올 수 있다.

보안·개인정보·운영 리스크 체크리스트

AI챗봇 비용을 줄이는 과정에서 보안 통제를 빼면, 절감액보다 로그 유출과 오답 처리 비용이 더 크게 남는다.

특히 고객 상담형은 개인정보 보호 요청과 대화 로그 열람 권한을 견적 전 단계에서 정해야 한다.

리스크	확인 항목	운영 비용	실패 시 영향
개인정보 입력	이름, 연락처, 주문번호, 계정 ID 마스킹 위치	필터 개발과 로그 삭제 요청 처리 시간	프롬프트 로그에 민감정보가 남아 감사 대응 비용이 발생한다.
권한 오답	사내 문서 검색 시 사용자 그룹별 접근 제어	SSO 연동, 권한 동기화, 회귀 테스트 시간	권한 없는 문서가 답변에 섞이면 보안 사고로 커진다.
환각 답변	출처 표시, confidence 기준, 사람 이관 조건	검수 샘플링과 실패 질문 태깅 시간	정책·요금·환불 안내에서 고객 분쟁이 생긴다.
비용 폭주	일별 토큰 한도, 검색 호출 한도, 피크 시간 rate limit	예산 알림과 자동 downgrade 로직 개발	마케팅 캠페인이나 봇 공격 때 월 예산을 초과한다.
장애 대응	모델 provider 장애, 벡터DB 장애, CRM API timeout	fallback 응답과 상태 페이지 운영	문의 채널이 막히고 사람 상담 대기열이 급증한다.

도입 전 2주 파일럿 순서

AI챗봇 비용은 기획서에서 맞히기 어렵고, 짧은 파일럿 로그로 보정해야 한다.

상담 범위를 주문·환불·요금·장애처럼 3~5개 intent로 좁히고, 범위 밖 질문은 사람 이관으로 둔다.
FAQ와 정책 문서의 버전을 고정하고, 문서마다 공개 가능 여부와 접근 권한을 표시한다.
저가 모델과 상위 모델을 각각 100문항 이상 테스트하고, 실패 유형을 오답·거절·이관·지연으로 나눈다.
각 요청의 입력 토큰, 출력 토큰, 검색 호출 수, 응답 시간, 캐시 hit 여부를 로그에 남긴다.
웹검색과 파일 검색은 기본 off로 두고, 최신 가격·장애 공지·배송 이슈처럼 필요한 intent에만 켠다.
월 대화량을 보수, 기준, 피크 3단계로 나누고 각 단계의 예상 청구액을 표로 만든다.
개인정보가 포함된 프롬프트 샘플 20개를 골라 마스킹과 로그 권한을 보안팀이 검토한다.
사람 상담 이관률과 상담원 평균 처리 시간을 비교해 봇 운영이 실제 인건비를 줄이는지 계산한다.
일 예산 70%, 90%, 100% 도달 시 알림, 모델 downgrade, 검색 기능 제한 순서를 정한다.
파일럿 마지막 날에는 중단 기준을 먼저 쓰고, 그 기준을 못 넘으면 연간 계약을 보류한다.

견적서에 넣을 운영 스켈레톤

아래 YAML은 실제 배포 설정이 아니라 견적 비교용 체크 스켈레톤이다.

공급사 제안서가 이 항목을 비워 두면, 월 단가가 낮아도 운영 중 추가 비용이 생길 가능성이 높다.

# ai_chatbot_cost_model.yaml
# 목적: AI챗봇 비용 견적을 월 사용량, 모델 라우팅, 보안 운영 기준으로 비교한다.
# 실제 모델명, 단가, 리전, 세금, 환율은 확인일의 공식 가격표로 갱신한다.

traffic_profile:
  monthly_conversations: 20000
  average_turns_per_conversation: 6
  average_input_tokens_per_turn: 1200
  average_output_tokens_per_turn: 250
  peak_multiplier: 2.5

routing_policy:
  default_model_tier: low_cost
  high_risk_intents:
    - refund_dispute
    - contract_clause
    - security_incident
    - billing_change
  downgrade_when_daily_budget_ratio_over: 0.9

retrieval_policy:
  file_search_enabled_intents:
    - policy_lookup
    - troubleshooting
  web_search_enabled_intents:
    - current_outage
    - latest_pricing
  max_tool_calls_per_conversation: 2

security_policy:
  pii_masking: required_before_model_call
  transcript_retention_days: 28
  admin_review_role: chatbot-audit-viewer
  source_citation_required: true

monthly_budget_guard:
  alert_ratio: 0.7
  restrict_tool_calls_ratio: 0.9
  stop_noncritical_intents_ratio: 1.0

월 비용 계산 스크립트 예시

아래 Python 예시는 공식 단가를 코드에 박아두라는 뜻이 아니라, 견적서의 대화량 가정이 바뀔 때마다 비용이 어떻게 변하는지 확인하는 틀이다.

계산 결과는 모델 API 비용만 보여주므로, 플랫폼 크레딧, 스토리지, 검색, 사람 운영비는 별도 행으로 더해야 한다.

# chatbot_monthly_cost.py
# 실행 전 공식 가격표에서 input_per_mtok_usd와 output_per_mtok_usd를 갱신한다.

from dataclasses import dataclass

@dataclass
class UsageProfile:
    conversations: int
    turns: int
    input_tokens_per_turn: int
    output_tokens_per_turn: int

@dataclass
class ModelRate:
    name: str
    input_per_mtok_usd: float
    output_per_mtok_usd: float

profile = UsageProfile(
    conversations=20000,
    turns=6,
    input_tokens_per_turn=1200,
    output_tokens_per_turn=250,
)

rates = [
    ModelRate('gpt-5.6-luna-standard-short-context', 0.20, 1.20),
    ModelRate('gpt-5.6-sol-standard-short-context', 4.00, 20.00),
]

input_mtok = profile.conversations * profile.turns * profile.input_tokens_per_turn / 1_000_000
output_mtok = profile.conversations * profile.turns * profile.output_tokens_per_turn / 1_000_000

for rate in rates:
    model_cost = input_mtok * rate.input_per_mtok_usd + output_mtok * rate.output_per_mtok_usd
    print(rate.name, round(model_cost, 2), 'USD per month before tools and operations')