Mellum2.1 사내 배포 가이드: 벤치마크·GGUF 용량과 코딩 에이전트 운영 비용

사내 코딩 AI를 도입할 때에는 모델 점수와 배포 환경을 함께 봐야 합니다. Mellum2.1 Thinking은 JetBrains가 공개한 소형 MoE 모델로, 내부 저장소에서 수정안을 만들고 검증하는 에이전트의 구성 요소로 사용할 수 있습니다.

 

이 글은 공식 평가 조건과 실제 배포 파일을 확인하고, PoC에서 무엇을 측정해야 하는지 중심으로 정리합니다. 확인 기준일은 2026년 10월 9일입니다.

 

---

 

1. 사양을 읽을 때 활성 파라미터와 메모리를 구분하세요

 

공식 모델 카드의 사양은 총 12B, 활성 2.5B, 문맥 길이 131,072 토큰, BF16 정밀도입니다. MoE의 활성 파라미터는 계산에 참여하는 규모이며 전체 가중치 저장량과 다릅니다. 문맥 길이 역시 최대 지원 범위이므로 처음부터 최대값으로 운영할 필요는 없습니다.

 

도입 시험에서는 입력 길이와 동시 요청을 제한해 시작하고, GPU 메모리 사용량·첫 응답 지연·작업 완료 시간을 기록합니다. 모델 파일이 올라가도 긴 입력이나 병렬 요청에서 메모리 부족이 발생할 수 있습니다.

 

---

 

2. 공식 벤치마크에서 읽을 수 있는 것과 없는 것

 

아래 도표는 JetBrains 공식 모델 저장소의 원본입니다. Thinking 모드에서 같은 파이프라인으로 비교한 자체 보고 결과입니다. SWE-bench Verified는 기존 Mellum2 Thinking 2.0%에서 Mellum2.1 Thinking 47.0%로 개선됐지만, 같은 평가에서 Qwen3.5 9B의 50.0%보다 낮습니다.

 

 

에이전트 평가 도구는 Pi v0.73.1이며 셸·파일 도구를 연결했습니다. 문맥은 114K 토큰, 턴당 생성 상한은 16K 토큰이고 각 모델의 기본 샘플링을 적용했습니다. 같은 도구 구성을 사용한 비교지만 모델별 샘플링까지 모두 같은 것은 아닙니다.

 

PoC에서는 벤치마크의 숫자를 목표로 복사하기보다 실제 저장소의 과제를 모읍니다. 코드 설명·작은 결함 수정·테스트 보완을 나누어 변경이 정확한지와 기존 기능을 깨뜨리지 않는지 판단하세요. 한국어 지시와 내부 코드 규칙도 이 단계에서 시험할 수 있습니다.

 

---

 

3. 모델과 에이전트 실행 환경을 연결하는 구조

 

모델 서버는 추론을 담당하고, 에이전트는 파일 탐색·편집·명령 실행을 담당합니다. 모델에 도구 호출 기능이 있다는 것만으로 권한 관리와 테스트 실행이 완성되지는 않습니다. 작업 디렉터리와 허용 명령, 시간 제한을 실행 환경에서 정해야 합니다.

 

 

예를 들어 실패한 데이터 변환 테스트를 맡길 때에는 재현 가능한 샘플과 기대 결과를 제공합니다. 수정안은 별도 브랜치에서 생성하고 결과에는 변경 파일·실행한 테스트·남은 실패를 기록합니다. 담당자가 검토한 변경만 반영하며, 검증이 실패하면 원인을 남겨 재시도 범위를 좁힙니다.

 

---

 

4. GGUF 파일은 현재 제공되고 있습니다

 

발표 글과 BF16 모델 카드에는 GGUF 출시 예정 문구가 남아 있지만, 공식 GGUF 저장소의 파일 목록에는 실제 파일이 공개되어 있습니다. 10월 9일 확인한 크기는 Q4_K_M 8.07GB, Q6_K 10.9GB, Q8_0 12.9GB, BF16 24.3GB입니다. 다운로드 크기와 실행 메모리 요구량은 다릅니다.

 

공식 GGUF 카드에는 llama.cpp 서버를 실행한 뒤 Pi의 OpenAI 호환 엔드포인트로 연결하는 구성이 소개되어 있습니다. 구성 예시를 참고하되 실제 지원 여부는 사용하는 런타임 버전과 선택한 파일에서 확인해야 합니다. 설치와 실행 전에 개발 환경을 별도로 준비하세요.

 

BF16 모델 카드의 vLLM 도구 호출 예시는 qwen3 추론 파서와 hermes 도구 호출 파서를 사용합니다. GGUF 실행과 BF16 vLLM 실행은 배포 경로가 다르므로 설정을 그대로 섞지 않습니다. MTP 헤드는 발표 자료에서 출시 예정으로 안내돼 별도 확인 전에는 속도 개선이 자동 적용된다고 설명할 수 없습니다.

 

---

 

5. 자체 운영의 경제성은 어떻게 측정할까요?

 

공개 가중치의 사용 가능성과 운영 비용이 없는 것은 서로 다른 이야기입니다. 회사가 직접 호스팅하면 장비·전력·운영·검토 비용을 부담합니다. 외부 API와 비교할 때에는 같은 과제를 같은 검증 기준으로 처리한 비용을 비교하는 것이 좋습니다.

 

 

계산 예시로 월간 총 운영비가 100만원이고 검증을 통과한 작업이 500건이면 건당 2,000원입니다. 통과 건수가 250건으로 줄면 4,000원으로 늘어납니다. 이 숫자는 실제 요금이나 측정 결과가 아닌 계산 예시이며, 운영비에는 담당자 검토와 실패 작업의 비용도 포함합니다.

 

---

 

6. PoC 결과로 배포 범위를 정하세요

 

코드 설명은 읽기 전용으로, 작은 수정은 제한된 테스트 환경으로, 운영 반영은 담당자 승인으로 나누어 시작할 수 있습니다. 대표 과제에서 정확성과 처리 시간, 메모리 사용량, 검토 부담을 기록한 뒤 필요한 장비와 동시 사용자 수를 정합니다.

 

Mellum2.1은 사내 코딩 AI를 직접 구성하려는 조직의 실용적인 시험 후보입니다. 모델 선택과 GPU 서버 구성, 실행 권한, 결과 검증을 하나의 운영 흐름으로 설계할 때 자체 배포의 이점을 평가할 수 있습니다.

 

---

 

공식 출처·참고 자료

 

JetBrains — Mellum2.1 발표와 학습·속도 설명

 

JetBrains 공식 모델 카드 — 사양·평가 조건·벤치마크

 

JetBrains 공식 GGUF 저장소 — 실제 배포 파일

 

JetBrains GGUF 모델 카드 — llama.cpp·Pi 구성 안내

 

벤치마크 원본 이미지: JetBrains, Mellum2.1 공식 Hugging Face 저장소. 저장소 라이선스 표기: Apache 2.0. 원본 이미지를 수정하지 않고 사용했습니다.

 

Apache License 2.0 — 라이선스 전문

 

---

 

(주)제로원정보기술

 

AI 서비스 개발부터 GPU 서버 공급과 IT 인프라 구축까지 지원합니다.

 

주요 사업
AI 챗봇 · 내부 업무용 AI 서비스 · GPU 및 GPU 서버 공급 · 서버·클라우드 인프라 구축

 

상담 및 구축 문의
전화: 070-8095-9791
이메일: LCH@zerooneit.co.kr

 

본사: 경상북도 영천시 괴연1길 24-24, 경북테크노파크 하이브리드부품연구소 304-2호
지점: 대구광역시 수성구 알파시티1로 42길 11, 태왕알파시티수성 B동 1018호