핵심 내용
GeekNews 최신 글에서 확인한 Martin Fowler 사이트의 10월 13일 실험 글은 Java 백엔드 API를 작성하도록 코딩 Agent에 지시한 뒤 행동 하네스(명세·테스트·도구 피드백) 유무에 따라 결과를 비교했다. 작성자 Naresh Jain은 OpenAPI·AsyncAPI 계약, 오류·재시도 시나리오와 Kafka 메시지 검증 등 178개 독립 수용 테스트를 평가에 사용했다.
GPT-6 Sol은 하네스 유무와 관계없이 각각 10회 모두 수용 테스트를 통과했다. 오히려 하네스를 사용했을 때 시도당 추정 비용이 0.406달러에서 2.679달러로 증가했다. 반면 비용 최적화 모델 GPT-6 Luna는 하네스 없이 10회 중 3회, 하네스를 사용하면 10회 중 10회 통과했다. 하네스를 사용한 Luna의 시도당 추정 비용은 0.273달러로, 하네스 없이 사용한 Sol의 0.406달러보다 약 33% 낮았다.
이 수치는 한 가지 Java 신규 프로젝트에서 모델별 조건당 10회 시험한 결과다. 비용도 실제 청구액이 아닌 토큰 기반 추정치이며 하네스 개발·유지비는 제외됐다. 따라서 모든 코딩 작업에서 하네스가 비용을 절약하거나 모든 모델의 성공률을 높인다는 뜻은 아니다.
배경
Agent는 요구사항을 충분히 이해하고도 API 예외 처리, 상태 전이, 메시지 스키마 같은 경계조건을 빠뜨릴 수 있다. 독립적인 계약 테스트를 중간중간 실행하면 이러한 누락을 찾을 수 있지만 상위 모델에는 불필요한 오버헤드가 될 수도 있다.
산업·시장에 미치는 영향
코딩 Agent의 경제성은 모델 가격만 아니라 모델 능력과 검증 빈도의 조합에 달려 있다. 작은 모델에 촘촘한 검증을 붙이는 방식과 상위 모델에 최종 수용 테스트만 붙이는 방식 사이의 선택이 실무 설계의 핵심으로 부상한다.
실무에서 바로 활용할 수 있는 시사점
Codex·Claude Code 기반 개발에서는 작업별 성공 기준을 사람이 먼저 정하고, 변경을 수행하는 Agent와 독립된 CI가 검증하도록 해야 한다. 하네스 도입 전후에 최종 완료율·재작업·총 모델 비용·실행시간·테스트 작성비를 함께 비교해야 한다.