Nanbeige4.3 33B 한국어 문서 RAG 실측…공급사 코딩 벤치마크와 다른 결과
10월 28일 한국어 문서 RAG 독립 시험 결과가 공개됐습니다.
10월 28일 한국어 문서 RAG 독립 시험 결과가 공개됐습니다. 비교 대상인 Nanbeige4.3-33B는 약 330억 개 매개변수의 밀집형 모델이며 Apache-2.0 라이선스를 표시합니다. 개발사는 자체 평가에서 Qwen3.8-27B보다 여러 코딩·에이전트 벤치마크 점수가 높다고 설명합니다. 그러나 이 벤치마크는 주로 코딩·도구 활용 평가이며 한국어 문서 근거 추출을 직접 시험한 것은 아닙니다. 모델 카드
국내 독립 블로그 작성자는 금융·공공·의료·법률·커머스 문서를 포함한 Allganize 평가 데이터 300문항 가운데 근거 정보가 빠진 1문항을 제외한 299문항을, 동일한 검색 결과 상위 5쪽·지시문·채점조건으로 시험했습니다. Nanbeige는 생각 모드에서 처음 66.2%를 기록했고, 출력 토큰 한도로 답이 잘렸던 29문항을 재실행한 후 70.6%로 올라갔습니다. 비교한 Qwen3.8-27B는 77.3%였습니다. 연구자는 짝지은 문항 비교에서 차이가 통계적으로 유의하다고 보고했습니다. 독립 시험
배경
범용 코딩 모델이 우수하더라도 다른 언어로 작성된 업무문서의 사실 추출, 표·그림 근거 확인, 답을 찾을 수 없을 때의 거절 성능은 별도입니다. 이 시험은 RTX 3090 24GB, 양자화 GGUF 모델, 문맥 16,384 토큰, 일정한 출력 한도와 자동 채점기를 사용해 구체적인 환경을 공개했습니다. 두 모델의 양자화 형식과 실행 조건에 차이가 있고 한 연구자의 시험이므로 산업 전반의 최종 순위로 일반화할 수 없습니다. 해당 문단 근거
의미
한국어 업무용 AI를 선정할 때 모델 카드의 글로벌 에이전트 점수만 보고 교체하면 실제 RAG 정확도와 지연시간이 악화될 수 있음을 보여줍니다. 시험자가 기록한 같은 GPU 환경의 생성 속도는 Nanbeige 약 38토큰/초, Qwen3.8 약 85토큰/초였습니다. 이 역시 해당 환경의 관측치이며 다른 GPU나 긴 문맥에서 동일하다는 뜻은 아닙니다.
정답률·속도는 독립 블로그가 수행한 비동료심사 실험 결과입니다. 채점기를 두 종류로 바꿔 비교했지만 자동 채점에는 오판 여지가 있고, 한국어 추출 성능 한 종류만 다룹니다. 이 결과만으로 모델의 코딩 성능 또는 모든 한국어 업무 성능이 낮다고 판단할 수 없습니다.