고정 헤더 영역
상세 컨텐츠
본문
Step 5 Preview의 가중치 공개는 API 외에 직접 운영하는 배포 경로를 열었습니다. 이번 글은 운영 담당자의 관점에서 GPU 메모리, 서빙 설정, 비용 계산과 평가 절차를 정리합니다. 2026년 10월 16일 확인한 공식 문서를 기준으로 합니다.
먼저 볼 세 가지
활성 파라미터와 가중치 메모리는 다릅니다. 최대 문맥 길이와 동시 처리량은 함께 조정해야 합니다. API와 자체 서버는 성공한 작업당 전체 비용으로 비교합니다.
1. 공개된 가중치를 업무 서비스로 연결하려면
Step 5 Preview는 9월 API 소개에 이어 가중치가 공개됐고, 10월 15일 구조·학습 기술 글도 발표됐습니다. 가중치 확보는 배포의 시작입니다. 서비스 운영에는 접근 제어, 검색 도구 연결, 추론 서버, 관측과 평가 체계가 함께 필요합니다.
애플리케이션이 어떤 자료와 실행 도구를 제공할지 정해야 합니다. 모델이 도구 호출을 제안하더라도 권한 검사와 실제 실행은 연결 시스템이 담당하도록 구성합니다. 외부 전송과 변경 작업은 승인 경계와 기록을 두는 편이 운영 결과를 추적하기 쉽습니다.
2. GPU 구성은 가중치·정밀도·KV 캐시를 함께 봅니다
공식 모델 카드는 총 600B, 토큰당 활성 27B인 희소 MoE 구조를 제시합니다. 활성 수치는 계산에 참여하는 부분을 설명하므로, GPU에 올려야 하는 전체 가중치 크기나 최대 사용 메모리로 읽으면 안 됩니다.
vLLM·SGLang의 FP8 공식 구성 예시는 B300 4대 또는 H200 8대입니다. BF16은 B300 8대 또는 H200 16대 구성이 제시됩니다. 최대 1M 문맥을 모든 동시 요청에서 그대로 사용할 수 있다는 뜻은 아니며, KV 캐시가 부족하면 문맥 한도나 동시 요청을 낮춰야 합니다.
개발사는 92개 transformer 층과 Gated Sliding Window Attention, Sparse GQA를 조합해 긴 작업의 계산 부담을 다룹니다. 아래는 공식 기술 발표의 Sparse GQA 원본 도식입니다. 필요한 과거 정보 블록을 고르는 과정과 원래 K/V 정보를 읽는 경로를 구분해 보면 구조를 이해하기 쉽습니다.
3. API 요금과 직접 구축 비용을 같은 기준으로 계산합니다
StepFun 표준 종량제 step-5-preview 요금은 100만 토큰당 입력 캐시 미적중 $1.00, 캐시 적중 $0.10, 출력 $2.70입니다. 2026년 10월 16일 기준이며 출력에는 추론 과정과 최종 답변이 모두 포함됩니다. 구독 상품과 다른 요금 체계입니다.
입력 100,000토큰이 전부 캐시 미적중이고 추론을 포함한 출력이 20,000토큰이라면 $0.10 + $0.054 = $0.154입니다. 동일 조건 1,000건은 $154입니다. 설명을 위한 계산으로, 유료 도구·저장·실패 후 재시도·세금·환율과 검토 인건비는 별도입니다.
자체 서버는 GPU 임대 또는 감가상각 외에 전력, 네트워크, 유지보수와 운영 인력을 넣어 월 비용을 계산합니다. 실제 이용률이 낮으면 작업당 비용이 커질 수 있습니다. 비교할 때는 같은 입력 자료, 같은 합격 기준과 같은 처리 기한을 사용해야 합니다.
4. 검증은 실제 업무 입력과 실패 경로까지 포함합니다
문서 대조 서비스
검색으로 관련 문서를 추린 뒤 모델이 조건 차이와 근거 위치를 구조화하고, 검증 단계에서 인용 누락과 원문 불일치를 확인합니다. 근거를 찾지 못한 항목은 확정 답변 대신 담당자 확인 목록으로 남깁니다.
개발 지원 에이전트
오류 로그·관련 코드 입력 → 수정안 생성 → 격리 환경 테스트 → 변경 요약 → 담당자 승인 순서로 평가합니다. 테스트 실패나 시간 초과가 나면 실행을 멈추고 마지막 상태를 기록해 재검토합니다.
한국어 업무 문서에서는 표·스캔 추출 품질과 전문 용어를 별도로 점검해야 합니다. 1M 문맥이 정답률을 보장하지 않으므로, 긴 문서의 앞·중간·뒤에 있는 조건을 정확히 찾는지 확인합니다. API 문서는 영상 입력도 설명하지만 자체 구축은 사용 체크포인트와 서빙 경로의 지원 범위를 따로 확인하는 편이 정확합니다.
5. 출시 전 확인할 문서와 운영 조건
라이선스는 StepFun Model License 1.0입니다. 재배포·변경 고지와 특정 하드웨어 제품 제공, 일정 규모 MaaS 사업의 상업 계약 조건이 있어 Apache 2.0과 동일하게 취급할 수 없습니다. 사용 방식에 해당하는 조건은 원문을 확인해야 합니다.
API 문서의 최대 출력은 64k 토큰이며 모델 카드의 자체 구축 표기와 다릅니다. 모델의 이론적 사양, API 서비스 제한, 현재 서버의 실제 처리 가능 범위를 구분해야 합니다. BF16의 Transformers 파일 분할 전체 절차는 모델 카드에 검증 한계도 명시돼 있습니다.
도입 판단은 작은 업무 평가부터 시작할 수 있습니다. 입력 자료와 통과 기준을 고정한 뒤 정확도, 지연 시간, 동시 처리량과 사람의 수정 시간을 기록하면 API 유지와 자체 구축의 장단점을 구체적으로 비교할 수 있습니다.
공식 출처 · 2026년 10월 16일 확인
StepFun — 10월 15일 기술 공개·Sparse GQA 원본 도식
공식 기술 도식 저작권: StepFun AI. 본문에 원본을 그대로 수록했습니다.
(주)제로원정보기술
AI 서비스 개발부터 GPU 서버 공급과 IT 인프라 구축까지 지원합니다.
주요 사업
AI 챗봇 · 내부 업무용 AI 서비스 · GPU 및 GPU 서버 공급 · 서버·클라우드 인프라 구축
상담 및 구축 문의
전화: 070-8095-9791
이메일: LCH@zerooneit.co.kr
본사: 경상북도 영천시 괴연1길 24-24, 경북테크노파크 하이브리드부품연구소 304-2호
지점: 대구광역시 수성구 알파시티1로 42길 11, 태왕알파시티수성 B동 1018호
'기술자료' 카테고리의 다른 글
| AgenticOS A2A 연동 가이드: 원격 에이전트 연결·인증·승인·비용 관리 (0) | 2026.10.19 |
|---|---|
| DeepSeek V4.1 Flash-1017 도입 가이드: 벤치마크 개선·토큰 요금과 성공 업무당 비용 (0) | 2026.10.18 |
| Claude 11월 이용 정책 개정: 학대 금지 범위와 업무용 AI 중단 대응 (0) | 2026.10.15 |
| 바이브 코딩 보안 실무 가이드: 비밀키·접근 권한·MCP와 배포 검증 (0) | 2026.10.14 |
| Hermes Agent 0.21.7 운영 가이드: 세션 재개·업데이트 채널과 검증 (0) | 2026.10.13 |