NVIDIA 소형모델 한국어 RAG 시험…바탕 모델 대비 뚜렷한 향상 미검출
10월 26일 국내 개발자가 NVIDIA 소형모델의 한국어 문서 질의응답 시험을 공개했습니다. 대상은 NVIDIA가 10월 23일 공개한 Nemotron 3.5 Bolt E4B입니다. NVIDIA 설명에 따르면 이 모델은 Gemma 4 E4B를 추가 학습한 소형 언어모델이며 전체 매개변수는 약 80억 개, 실제 활성 매개변수는 약 40억 개입니다. 모델 카드에 기재된 라이선스는 OpenMDW-1.1이며 상업적 사용이 허용됩니다. 공개 Q4_K_M 양자화 파일은 약 6.18GB입니다.
핵심 사실
10월 26일 국내 개발자가 NVIDIA 소형모델의 한국어 문서 질의응답 시험을 공개했습니다. 대상은 NVIDIA가 10월 23일 공개한 Nemotron 3.5 Bolt E4B입니다. NVIDIA 설명에 따르면 이 모델은 Gemma 4 E4B를 추가 학습한 소형 언어모델이며 전체 매개변수는 약 80억 개, 실제 활성 매개변수는 약 40억 개입니다. 모델 카드에 기재된 라이선스는 OpenMDW-1.1이며 상업적 사용이 허용됩니다. 공개 Q4_K_M 양자화 파일은 약 6.18GB입니다.
국내 실험자는 정답이 있는 한국어 문서 질의응답 299개에 같은 상위 5개 검색 문서, 같은 지시문과 채점기를 적용했습니다. 생각 모드를 켰을 때 Bolt의 정답률은 67.2%, 바탕 모델 Gemma 4 E4B는 69.6%였고, 끈 상태에서는 각각 63.2%, 65.2%였습니다. 짝지은 문항의 통계검정에서 두 모델 차이는 유의하게 검출되지 않았습니다. 모델을 공개한 NVIDIA는 다른 RAG 근거 평가에서 개선을 주장하지만, 이번 결과는 그 효과가 해당 한국어 시험지에서 확인되지 않았음을 보여줍니다.
배경
소형 모델은 사용자 PC나 사내 장비에서 직접 실행해 비용·데이터 위치를 통제할 수 있다는 장점이 있습니다. 다만 영어 중심 벤치마크에서 확인된 성능 개선이 한국어 문서, 표, 이미지 근거 질의응답에서도 동일하게 나타난다고 보장할 수는 없습니다. 같은 모델이라도 양자화 방식·검색 품질·프롬프트·추론 모드가 결과에 영향을 줍니다.
의미
한국어 업무용 모델을 선택할 때 공급사의 일반 벤치마크 순위보다 실제 문서와 질문으로 평가하는 절차가 중요하다는 실무 사례입니다. 연구자는 생각 모드가 두 모델의 정답률을 약 4%포인트 높이는 대신 응답 시간이 3~4배 늘었다고 기록했습니다. GPU 메모리에 들어가는지와 실제 사용자에게 필요한 정확도·지연시간을 별도로 봐야 합니다.
확인한 것과 불확실한 것
수치들은 독립 블로그 작성자의 단일 실험환경에서 얻은 결과이며 동료심사 연구도 대규모 다기관 검증도 아닙니다. 평가 답안은 자동 채점기를 사용했고 일부 오판 가능성도 작성자가 직접 분석했습니다. 통계적으로 차이가 검출되지 않았다는 결과는 두 모델의 성능이 모든 상황에서 같다는 증명이 아닙니다.