Kimi가 공격용 코딩 능력을 낮췄다는 발표, 81%의 분모는 내부 시험입니다
Moonshot AI는 K3.1 Pro 학습에서 일부 사이버 자료를 제외했다고 밝혔습니다. 내부 벤치마크의 변화와 실제 환경의 안전성, 향후 가중치 공개는 별개입니다.
Moonshot AI는 Kimi K3.1 Pro 기술 블로그에서 공격용 사이버 능력을 낮추기 위해 학습 자료와 강화학습 환경의 일부 사이버 데이터를 제거했다고 설명했습니다. 결과로 제시한 숫자는 내부 시험의 90.5%와 81.0%입니다. 위험 완화 조치가 없는 비교 모델과 최종 모델을 같은 평가에서 비교한 회사 자체 측정입니다.
평가 이름은 xdev-bench-hard이며, 회사는 정해진 취약 소프트웨어 과제에서 여러 시도를 허용한 조건의 성과라고 밝혔습니다. 따라서 81.0%를 실제 인터넷 대상의 공격 성공률이라고 부를 수 없습니다. 과제와 도구, 시도 횟수 등이 결과를 만드는 조건입니다.
회사 발표는 완화 조치 뒤에도 이전 모델보다 사이버 과제 성능이 높아졌다고 설명합니다. 일반적인 코딩과 긴 작업을 처리하는 능력이 사이버 작업으로도 이어질 수 있다는 것이 회사의 해석입니다. 특정 자료를 제외했다는 조치만으로 악용 가능성이 사라졌다고 단정하기 어려운 지점입니다.
독립적인 평가가 왜 필요한지는 다른 모델을 시험한 영국 AI Security Institute의 설명에서도 드러납니다. 이 기관은 GPT-5.5 평가에서 통제된 시험장이 실제 환경의 방어자와 방어 도구를 모두 포함하지 않으며, 그 결과로 방어가 갖춰진 실제 목표에 대한 성공을 판정할 수 없다고 명시했습니다. 이 자료는 Kimi를 검증한 시험이 아니라 벤치마크 해석의 별도 맥락입니다.
공개 방식에도 시점 차이가 있습니다. Kimi는 앱·Code·API에서의 제공과 별도로 전체 모델 가중치를 11월 4일까지 공개할 계획이라고 밝혔습니다. 호스팅된 서비스를 사용할 수 있다는 사실과 이용자가 파일을 받아 자체 환경에서 실행할 수 있다는 사실을 구분해야 합니다.
이번 기사는 기술 블로그와 공개 평가 설명을 읽은 문헌 취재입니다. 모델을 설치하거나 공격 실험을 실행하지 않았고, 내부 점수를 외부 기관이 재현했다고 표시하지 않습니다. 향후 가중치와 사용권이 실제로 어떤 조건으로 공개되는지도 발표만으로 확정하지 않습니다.
이번 사례가 보여주는 것은 개발사가 성능과 위험을 함께 조정하려는 시도입니다. 그 효과를 판단할 때 필요한 것은 큰 점수 하나보다 무엇을 시험했고 무엇을 시험하지 않았는지에 대한 설명입니다. 가중치가 공개된 뒤의 독립 평가와 실제 방어 환경의 조건은 여전히 다음 확인 단계로 남습니다.