GPU 클라우드 비용 비교 2026, GPU서버 운영 단가 줄이는 기준

GPU 클라우드 비용 비교와 GPU서버 단가를 검토하는 운영 회의 — GPU 클라우드 비용은 시간 단가보다 활용률, 중단 위험, 데이터 이동, 운영 통제에서 갈립니다.

GPU 클라우드 비용 비교를 시작했다면 단순히 H100 시간 단가가 낮은 곳을 고르는 단계가 아닙니다.

GPU서버 예산은 시간당 가격보다 실제로 GPU가 계산한 시간, 대기한 시간, 실패 후 다시 돈을 쓰는 시간에서 갈립니다.

개발팀은 빠른 할당을 원하고, 재무팀은 월 한도를 원하며, 보안팀은 데이터 반출과 계정 권한을 먼저 묻습니다.

그래서 이 글은 AWS, Azure, Google Cloud 문서와 가격 구조를 출발점으로 삼아 GPU 클라우드 비용을 작업 단가로 비교하는 기준을 정리합니다.

핵심 요약

시간당 단가만 보면 GPU가 놀고 있는 비용, 체크포인트 재시작 비용, 데이터 전송 비용이 빠집니다.
AWS P5는 NVIDIA H100 8개와 최대 3,200Gbps EFA 네트워크를 전제로 대규모 학습에 맞춘 인스턴스군입니다.
Azure 공식 공개 가격 기준 East US H100 계열은 ND96isrH100v5 98.32달러, ND96isH100v5 88.488달러 같은 시간 단가가 확인됩니다.
GPU서버 운영비를 줄이려면 예약·스팟보다 먼저 GPU 활용률, 종료 정책, 예산 알림, 재시작 시간을 수치로 잡아야 합니다.

이 글이 필요한 사람

AI 학습이나 추론을 클라우드 GPU로 돌리기 전에 월 예산 상한을 정해야 하는 인프라 담당자.
온프레미스 GPU서버 증설과 AWS·Azure·Google Cloud GPU 사용을 같은 표로 비교해야 하는 구매 담당자.
개발팀의 실험 속도와 재무팀의 예산 통제를 함께 설계해야 하는 MLOps 담당자.
스팟 인스턴스나 예약 약정을 검토하지만 중단·재시작·데이터 이동 리스크를 숫자로 설명해야 하는 운영팀.

공식 가격표 핵심 숫자부터 따로 떼어 본다

비용 의도 글에서 가장 위험한 실수는 공급자별 홍보 문구를 읽고 전체 비용이 낮아질 것처럼 결론 내리는 것입니다.

공식 가격표는 리전, 운영체제, 약정, 통화, 세금, 용량 상황에 따라 바뀌므로 아래 숫자는 확인일 기준의 견적 출발점으로만 써야 합니다.

가격 축	공식 예시 숫자	실무 해석
대규모 H100 온디맨드	AWS p5.48xlarge us-east-1 Linux 98.32달러/시간, Azure ND96isrH100v5 East US 98.32달러/시간	8 GPU급 장비는 하루 6시간만 써도 월 1만 달러대 예산으로 바로 올라갑니다.
H100 대안 온디맨드	Azure ND96isH100v5 East US 88.488달러/시간	같은 H100 계열도 세부 SKU와 네트워크 조건에 따라 시간 단가가 달라집니다.
이전 세대 또는 단일 GPU	AWS p4d.24xlarge us-east-1 Linux 32.77달러/시간, AWS g5.xlarge 1.006달러/시간	학습 실험과 추론 테스트를 같은 H100 장비로 돌리면 단가가 왜곡됩니다.
스팟 후보	Azure NC40adsH100v5 Spot East US 1.289904달러/시간 예시	중단을 견디는 배치 작업이면 매력적이지만 체크포인트와 재시도 시간을 비용에 넣어야 합니다.
네트워크 전송	AWS는 EC2 데이터 전송 설명에서 월 100GB 아웃바운드 무료 구간을 안내합니다	학습 산출물, 로그, 결과 파일을 외부로 자주 빼면 GPU 단가와 별개의 전송 비용이 붙습니다.

이 조건이면 온디맨드 H100은 성능 보장이 필요한 마감 작업에만 쓰고, 개발 실험은 작은 GPU나 예약된 테스트 창으로 분리하는 편이 낫습니다.

이 경우는 스팟 단가가 낮아 보여도 체크포인트 저장, 재시작, 데이터 재다운로드 시간이 길면 실제 작업 단가가 올라갑니다.

GPU 클라우드 비용 비교는 시간 단가가 아니라 작업 단가로 본다

GPU 클라우드 견적표의 첫 줄은 시간당 달러지만, 의사결정에 필요한 값은 학습 한 번, 추론 100만 건, 배치 렌더링 한 묶음의 비용입니다.

같은 98.32달러/시간 장비라도 GPU 활용률이 30%면 실제 계산 1시간 단가는 3배 이상으로 불어납니다.

비교 항목	질문	비용 영향	먼저 볼 지표
GPU 활용률	GPU가 실제 계산한 시간은 몇 퍼센트인가	대기 시간이 많으면 고가 GPU가 개발 서버처럼 낭비됩니다	DCGM, Cloud Monitoring, CloudWatch GPU 지표
데이터 준비	학습 데이터가 GPU 옆에 있는가	원격 스토리지 병목이면 GPU 시간만 계속 태웁니다	읽기 처리량, 캐시 적중률, 로컬 NVMe 사용량
중단 복구	스팟 중단 후 몇 분 안에 이어서 도는가	재시작 실패는 낮은 단가를 한 번에 지웁니다	체크포인트 주기, 재큐잉 시간, 실패율
예약 약정	사용량이 3개월 이상 반복되는가	약정은 단가를 낮추지만 잘못 잡으면 고정비가 됩니다	월 GPU-hour, 피크 시간, 프로젝트 종료일
보안 통제	데이터 반출과 계정 권한을 누가 승인하는가	감사 로그와 암호화 요구가 설계를 바꿉니다	IAM 권한, 키 관리, VPC 경로, 로그 보존

GPU 클라우드 비용 비교는 공급자 이름보다 워크로드의 반복성, 중단 허용도, 데이터 위치를 먼저 고정해야 계산이 맞습니다.

AWS, Azure, Google Cloud를 한 줄 순위로 세우지 않는 이유

AWS P5 문서는 H100 8개, EFA 네트워크, UltraCluster 같은 대규모 학습 전제를 강조합니다.

이 전제는 대규모 분산 학습에는 맞지만, 작은 추론 서비스나 하루 몇 시간짜리 실험에는 과한 장비가 될 수 있습니다.

Azure는 공식 공개 가격 데이터로 SKU별 시간 단가를 확인할 수 있어 견적 검증과 예산 대시보드 자동화에 유리합니다.

다만 공개 가격에 보이는 값도 리전, 통화, 운영체제, 예약, 스팟 여부를 분리해서 읽어야 합니다.

Google Cloud는 Compute Engine GPU와 GKE GPU 문서를 함께 봐야 합니다.

GKE에서 GPU를 쓰면 노드 가격만 아니라 클러스터 운영, 이미지 풀, 로깅, 오토스케일링 실패 비용까지 같이 봐야 합니다.

상황	AWS 쪽 확인	Azure 쪽 확인	Google Cloud 쪽 확인	판단
대규모 학습	P5·P5e·P5en, EFA, UltraCluster 전제	ND H100 계열과 InfiniBand 옵션	A3 계열과 GKE GPU 노드	네트워크와 체크포인트 속도가 단가만큼 중요합니다.
상시 추론	Savings Plans, Auto Scaling, GPU 지표	예약·절감 플랜, VM Scale Sets	Committed Use Discount, GKE 오토스케일링	월 GPU-hour가 안정적이면 약정을 검토합니다.
개발 실험	g5, 작은 인스턴스, 종료 정책	소형 NC 계열 또는 스팟	작은 GPU 노드와 자동 종료	실험용 H100 상시 켜짐은 먼저 막습니다.
중단 가능 배치	Spot, 체크포인트, 재시도 큐	Spot VM, eviction 대응	Spot VM, preemptible 성격 확인	중단 복구 자동화가 없으면 단가 비교를 보류합니다.

실무 시나리오 1: 8 GPU 학습을 매일 6시간만 돌리는 팀

실무 시나리오 1은 AI 학습팀이 매일 저녁 6시간만 대규모 학습을 돌리고 낮에는 데이터 정제와 코드 리뷰를 하는 경우입니다.

AWS p5.48xlarge 98.32달러/시간을 단순 적용하면 6시간과 22일 기준 월 12,978.24달러가 됩니다.

Azure ND96isH100v5 88.488달러/시간 예시를 같은 시간으로 계산하면 월 11,680.416달러입니다.

하지만 이 계산은 GPU 활용률이 목표치에 닿고, 학습 실패가 없고, 데이터가 가까운 스토리지에 있다는 전제를 둡니다.

이 조건이면 팀은 먼저 2주 동안 GPU utilization, dataloader wait, checkpoint time을 기록한 뒤 약정이나 예약을 잡아야 합니다.

이 경우는 낮 시간에 장비를 계속 켜두는 것보다 예약된 학습 창, 자동 종료, 큐 기반 제출이 예산 방어에 더 직접적입니다.

실무 시나리오 2: 추론 서비스가 하루 종일 켜져 있는 팀

실무 시나리오 2는 고객 요청이 불규칙하지만 추론 서비스를 24시간 켜야 하는 서비스팀입니다.

이 팀이 대형 GPU를 상시 켜면 피크가 아닌 시간의 유휴 비용이 월말 비용표로 그대로 남습니다.

먼저 요청량을 시간대별로 나누고, 배치 가능한 요청과 실시간 요청을 분리해야 합니다.

이 조건이면 작은 GPU 여러 대, CPU fallback, 캐시, 추론 경량화가 H100 단가 비교보다 먼저 검토됩니다.

이 경우는 스팟을 메인 서비스에 쓰기보다 비동기 배치, 임베딩 재계산, 평가 작업에 배정하는 편이 장애 리스크를 줄입니다.

실무 시나리오 3: 개발 실험비가 월말 비용 대부분을 차지하는 조직

실무 시나리오 3은 정식 학습보다 노트북 서버, PoC, 하이퍼파라미터 실험이 GPU 예산을 더 많이 쓰는 조직입니다.

이 팀은 공급자 비교보다 계정·프로젝트·태그·자동 종료 정책을 먼저 고쳐야 합니다.

GPU서버가 개발자 개인 실험으로 열려 있으면 주말 유휴 시간과 실패한 노트북 커널이 실제 비용을 만듭니다.

이 조건이면 프로젝트별 예산 알림, 소유자 태그, 4시간 무활동 종료, 야간 정지 예외 승인부터 운영 규칙에 넣습니다.

비용·보안·운영 리스크 체크리스트

GPU 클라우드 비용 절감은 보안 예외를 늘리는 방식이면 오래가지 못합니다.

비용 절감안을 승인하기 전에 아래 항목을 재무팀, 보안팀, 개발팀이 같은 표로 확인해야 합니다.

GPU 인스턴스는 프로젝트, 소유자, 만료일, 비용센터 태그 없이는 만들지 않습니다.
스팟 작업은 체크포인트 주기, 재시도 횟수, 최대 손실 시간을 배포 전에 문서화합니다.
학습 데이터와 결과 산출물이 다른 리전으로 이동하면 데이터 전송·보안 승인·규제 조건을 같이 계산합니다.
운영 서비스는 GPU 활용률뿐 아니라 p95 지연, 큐 길이, 오류율, 응답 캐시 적중률을 함께 봅니다.
예약 약정은 월 GPU-hour가 반복되는 워크로드에만 적용하고 PoC나 단기 프로젝트에는 바로 묶지 않습니다.
권한은 GPU 관리자, 데이터 접근자, 비용 승인자를 분리하고 긴급 권한은 만료 시간을 둡니다.

GPU 비용 비교 스켈레톤: 시간 단가를 월 작업비로 바꾸기

아래 YAML은 공식 가격표 숫자를 그대로 붙여 넣는 계산 원장이 아니라, 내부 검토에서 누락되는 입력값을 강제로 드러내는 스켈레톤입니다.

# gpu_cloud_cost_model.yaml
# 목적: GPU 클라우드 비용 비교를 시간 단가가 아니라 작업 단가로 환산한다.
workload:
  name: gpu-train-or-inference
  region: us-east-1-or-eastus
  gpu_type: h100-or-a100
  hours_per_day: 6
  active_days_per_month: 22
  target_gpu_utilization: 0.55
  checkpoint_storage_gb: 2048
  egress_gb_per_month: 500

price_inputs:
  aws_p5_48xlarge_us_east_linux_usd_per_hour: 98.32
  aws_p4d_24xlarge_us_east_linux_usd_per_hour: 32.77
  azure_nd96isrh100v5_eastus_usd_per_hour: 98.32
  azure_nd96ish100v5_eastus_usd_per_hour: 88.488
  azure_nc40adsh100v5_spot_eastus_usd_per_hour: 1.289904

rules:
  reject_if_gpu_utilization_below: 0.35
  reject_if_checkpoint_restore_not_tested: true
  require_budget_alert: true
  require_owner_tag: true
  require_shutdown_policy_for_dev: true

아래 파이썬 예시는 시간 단가와 GPU 수, 활용률을 함께 넣어 월 비용과 유효 GPU-hour 단가를 비교합니다.

#!/usr/bin/env python3
# gpu_cost_compare.py
# 공식 가격표에서 확인한 시간 단가를 월 작업비로 바꾸는 검증용 스켈레톤입니다.
from dataclasses import dataclass

@dataclass
class GpuOption:
    name: str
    usd_per_hour: float
    gpus: int
    interruption_risk: str

options = [
    GpuOption('AWS p5.48xlarge us-east-1 Linux On-Demand', 98.32, 8, 'low'),
    GpuOption('AWS p4d.24xlarge us-east-1 Linux On-Demand', 32.77, 8, 'low'),
    GpuOption('Azure ND96isrH100v5 East US Consumption', 98.32, 8, 'low'),
    GpuOption('Azure ND96isH100v5 East US Consumption', 88.488, 8, 'low'),
    GpuOption('Azure NC40adsH100v5 East US Spot', 1.289904, 1, 'high'),
]

hours_per_day = 6
active_days = 22
utilization = 0.55

for option in options:
    monthly = option.usd_per_hour * hours_per_day * active_days
    effective_gpu_hour = option.usd_per_hour / max(option.gpus * utilization, 0.01)
    print(option.name, round(monthly, 2), round(effective_gpu_hour, 4), option.interruption_risk)

실제 운영에서는 여기에 스토리지, 네트워크 전송, 모니터링, 로그 보존, 이미지 빌드 시간, 실패 재시도 비용을 추가해야 합니다.