GeekNews 최신 목록에는 실제 주문 메시지를 처리하는 LLM 파이프라인 테스트 사례도 올라와 있습니다. 작성자는 29개의 테스트 가운데 정상 케이스를 4개만 두고, 나머지를 오류·모호성·예외 상황 중심으로 설계했다고 설명합니다. 개인 개발 사례이므로 일반화된 연구 결과로 볼 수는 없지만, LLM 시스템을 테스트하는 관점에서는 참고할 만합니다. news.hada.io

전통적인 소프트웨어에서는 정상 입력 확인이 상당한 비중을 차지하지만, 자연어 입력 시스템에서는 실제 장애가 주로 다음에서 발생합니다.

모호한 문장 → 누락 정보 → 중복 지시 → 상충 지시 → 오타 → 잘못된 날짜 → 예상하지 못한 표현

실무 시사점

LLM 파이프라인의 테스트는 단순히 최종 문자열을 비교하지 말고 별도로 평가하는 편이 좋습니다.

  • Intent 판정
  • Entity extraction
  • Structured Output 형식 준수
  • hallucination
  • clarification 필요 여부
  • tool-call 적절성

특히 자연어 입력을 일정·메모·작업 같은 구조화 데이터로 바꾸는 시스템에서는 happy path보다 edge case 테스트 세트가 더 중요한 자산이 될 수 있습니다.