오늘 GeekNews 최신 AI 개발 글 가운데 실무적으로 가장 중요한 것은 Braintrust와 Basis가 만든 Agent Behavior입니다. GeekNews에는 약 23시간 전 등록됐고 원본 프로젝트까지 확인했습니다. news.hada.io, github.com
핵심 문제는 단순합니다.
장시간 Agent는 몇 시간 동안 수백 번의 판단을 할 수 있기 때문에:
“최종 결과가 성공했는가?”
하나만 평가해서는 충분하지 않습니다. github.com
Agent Behavior는 .agents/behaviors/.../BEHAVIOR.md에 에이전트가 반복적으로 지켜야 할 행동을 Markdown으로 정의합니다. 예를 들어 PowerPoint를 만든 Agent라면 단순히 .pptx가 생성됐는지가 아니라, “현재 버전을 렌더링했는가 → 시각적으로 검사했는가 → 수정했다면 다시 렌더링했는가 → 검사하지 않았다면 검증했다고 주장하지 않았는가”를 행동 규칙으로 정의할 수 있습니다. github.com
이 방향이 중요한 이유
에이전트 평가는 앞으로 두 층으로 나뉘어야 합니다.
Outcome Eval: 결과물이 맞는가?
Behavior Eval: 올바른 과정을 거쳤는가?
예를 들어 코드가 우연히 정상 동작하더라도 테스트를 건너뛰었거나 production 데이터를 직접 수정했다면 좋은 Agent라고 보기 어렵습니다.
실무 적용
Agent workflow에서 이미 AGENTS.md를 사용한다면 다음 단계로 반복적으로 반드시 해야 할 행동을 별도 Behavior spec으로 분리하는 방식이 유용합니다.
특히 검증 → 재검증, 배포 전 테스트, 민감 작업 승인, 출처 확인처럼 결과물만 보고는 알 수 없는 규칙을 eval 대상으로 만들 수 있습니다. github.com