GeekNews 연구 레이더 — Agent 기억 벤치마크 점수, 모델·채점 규칙에 따라 크게 달라질 수 있어

핵심 내용

GeekNews 최신 글에서 소개된 코어닷투데이의 기술 분석은 Agent 기억 시스템을 비교하는 LoCoMo·LongMemEval 벤치마크의 원본 데이터, 답변 모델, 채점 프롬프트를 다시 살펴본 연구다. 작성자는 LoCoMo의 평가 대상 1,540문항을 대조하고, 기억 시스템 없이 대화 원문을 통째로 넣은 비교조건에서 2026년 저가 모델이 **LoCoMo 80.7%, LongMemEval 81.6%**의 점수를 냈다고 보고했다.

같은 시스템의 점수가 평가자와 모델에 따라 크게 달라지고, 일부 채점 규칙은 정답과 오답을 함께 적은 응답에도 높은 점수를 부여할 수 있었다는 것이 핵심 문제 제기다. LoCoMo 정답지 중 약 **7%**를 틀리거나 모호한 항목으로 평가했다는 보고도 있다. 다만 이것은 한 연구팀의 재현·감사 결과이며 해당 수치 전체가 독립적으로 동료심사된 결론은 아니다. 실험 도중 일부 모델의 API 크레딧이 소진돼 채점 모델이 바뀐 제약도 작성자가 공개했다.

배경

기억 시스템의 성능은 검색 자체의 정확도, 저장된 사실의 갱신, 오래된 정보의 폐기, 최종 답변 모델의 추론능력으로 나뉜다. 벤치마크에서 고성능 모델을 사용하거나 채점 기준을 느슨하게 하면 기억 저장·검색 구성 자체가 좋아지지 않아도 점수가 높아질 수 있다.

산업·시장에 미치는 영향

Agent 메모리 서비스 간 성능 순위표를 동일 조건의 독립 비교로 곧바로 해석하기 어렵다. 더 긴 대화, 정보 정정, 삭제 요청, 검색 비용과 실제 사용자 업무 완료율을 포함하는 평가가 필요하다는 점을 보여준다. 이 분석이 기억 시스템 전체의 무용성을 입증한 것은 아니다.

실무에서 바로 활용할 수 있는 시사점

장기 기억 기능을 도입한다면 같은 답변 모델·같은 채점기·같은 데이터셋으로 전체 대화 입력 방식과 별도 메모리 검색 방식을 비교해야 한다. 검색 정확도뿐 아니라 잘못된 과거 정보의 수정, 모르는 정보에 대한 기권, 개인정보 삭제와 실제 토큰 비용을 평가 기준에 포함하는 것이 좋다.