LambdaDB, 장기 대화 원문 검색으로 입력 토큰 95% 절감 주장
LambdaDB, 장기 대화 원문 검색으로 입력 토큰 95% 절감 주장.
핵심 사실
LambdaDB가 10월 25일 장기 대화 검색 방식에 관한 기술 글을 공개했습니다. LambdaDB는 대화 전체를 프롬프트에 매번 넣거나 생성형 LLM으로 요약된 기억을 따로 작성하는 대신, 원본 대화를 저장하고 청크·임베딩·하이브리드 검색·재정렬로 현재 질문에 필요한 구절을 찾아 주는 구조를 설명했습니다. 원본 문장과 시점, 출처 연결을 보존하면서 모델이 질문할 때 필요한 일부 자료만 문맥에 넣는 방식입니다.
LambdaDB 자체 기술 평가 · GeekNews 소개
LambdaDB 자체 LongMemEval-S 평가에서는 500개 질문에 대해 원문 전체 제공 방식의 정답률이 95.2%(476/500), 검색 기반 기억 방식이 96.0%(480/500)였습니다. 답변 모델에 전달된 평균 입력 토큰은 105,183개에서 4,886개로 줄었다고 보고했습니다. 임베딩·검색·재정렬·답변 생성비를 포함한 500건의 추정 실행비는 약 7.51~9.42달러로, 전체 기록을 제공한 방식의 약 105.53달러보다 낮았습니다.
배경
에이전트가 오래 활동하면 모든 대화와 실행기록을 다음 프롬프트에 다시 넣는 비용이 커집니다. 요약만 저장하면 나중에 예상하지 못했던 질문의 근거가 누락될 수 있습니다. 원본을 지속적으로 보존하고 현재 질문에 필요한 부분을 검색하는 방식은 저장 정확성과 문맥 예산을 분리하려는 접근입니다.
의미
업무용 AI 비서에서 장기 기억은 무조건 많은 토큰을 투입하는 기능이 아니라 검색·권한·원본 추적·정정 이력을 포함한 데이터 시스템으로 설계할 필요가 있습니다. 특히 사용자의 오래된 사실을 갱신하거나 서로 충돌하는 기록을 다룰 때 검색된 근거의 날짜와 원문을 보존하는 것이 중요합니다. 다만 다른 임베딩 모델이나 한국어 대화에서도 동일한 절감률이 나오는지는 확인되지 않았습니다.
확인한 것과 불확실한 것
제시된 점수와 가격 추정은 서비스를 제공하는 회사의 자체 평가이며 독립 동료심사 연구가 아닙니다. 비교한 요약 방식 일부는 전체 500문항이 아닌 50문항 부분집합을 사용해 정확도 숫자를 그대로 비교할 수 없습니다. 비용 추정에서는 응용프로그램 호스팅과 평가 비용 등 일부 항목이 제외됐으므로 실제 운영 총소유비용을 보증하지 않습니다.