오늘 GeekNews 가장 최신 AI 글은 Trillion Labs가 소개한 Incompressible Knowledge Probes(IKP) 연구입니다. 핵심 아이디어는 모델 속도를 측정하거나 API 가격을 역산하는 대신, 추론으로 만들어낼 수 없는 희귀한 사실을 얼마나 기억하고 있는지를 이용해 비공개 모델의 대략적인 지식 용량을 추정하는 것입니다. news.hada.io
원 논문은 파라미터 수가 공개된 93개 오픈웨이트 모델을 이용해 희귀 사실 기억률과 모델 크기의 관계를 보정했고 R² = 0.910을 얻었습니다. leave-one-out 평가에서 중앙 오차는 약 1.48배, 72%는 실제 크기의 2배 범위 안에 들어왔습니다. 연구진 스스로도 이 방법은 정확한 parameter count 계산기가 아니라 수십B·수백B·수T급을 가르는 거친 측정법이라고 강조합니다. arxiv.org
MoE 모델에서는 활성 파라미터보다 전체 파라미터 수가 factual knowledge와 더 강하게 연결됐다는 것도 흥미롭습니다. 다만 safety tuning으로 답변 거부가 많은 모델은 실제보다 작은 지식 용량으로 측정될 수 있습니다. arxiv.org
실무적 의미
이 연구는 “GPT가 실제로 몇 T 파라미터인가”를 맞히는 재미보다 API 뒤에 숨은 모델의 특성을 행동 측정만으로 역추정할 수 있다는 점이 더 중요합니다.
기업이 공급업체의 모델 구조를 알 수 없어도:
지식 용량 / latency / reasoning 비용 / tool 성능 / failure pattern
을 체계적으로 측정하면 내부적으로 꽤 유용한 Model Fingerprint를 만들 수 있습니다.