오늘 GeekNews 최상단에는 실제 주문 메시지를 처리하는 LLM 파이프라인을 대상으로 29개 테스트 중 정상 입력은 4개만 두고 나머지는 모두 함정 케이스로 구성한 사례가 올라왔습니다. news.hada.io
이 사례 자체는 개인 개발 경험이기 때문에 일반화된 연구 결과로 볼 수는 없습니다. 다만 실제 LLM 제품에서는 중요한 방향입니다.
일반 소프트웨어 테스트가
정상 입력 → 예상 출력
위주라면 LLM 테스트는 오히려
모호함 / 오타 / 중복 / 잘못된 지시 / 상충하는 정보 / 데이터 누락
을 먼저 다뤄야 합니다.
실무 적용
LLM 기반 입력 시스템의 테스트 세트를 만들 때 다음 비율이 현실적입니다.
정상 입력 20~30% / 경계·오류·모호 입력 70~80%
그리고 단순 결과 문자열 비교보다:
- intent 정확도
- entity extraction
- hallucination 여부
- clarification 필요 여부
- tool-call 적절성
을 각각 별도 평가하는 방식이 좋습니다.