핵심 내용
Anthropic이 9월 17일 자사 AI 연구개발이 얼마나 자동화됐는지 보여주는 Anthropic R&D Automation Index를 처음 공개했다. 회사는 Epoch AI의 6단계 자동화 척도를 사용해, Claude가 인간의 세부 개입 없이 고수준 지시만으로 대부분의 작업을 끝내고 사람이 최종 감독하는 상태를 AI leads(AL4)로 정의했다. 2026년 8월 기준 Claude는 Anthropic AI R&D 업무의 26%를 이 수준에서 주도했고, 인간과 대규모 작업을 함께 수행하는 AI collaborates(AL3) 이상까지 합치면 90%를 넘었다. Anthropic은 아직 측정한 어떤 업무에서도 완전 자율 AL5 수준은 아니라고 명시했다.
회사는 내부 최대 규모 Agent 플랫폼에서 같은 시점에 약 3만 개의 연구·엔지니어링 Agent가 동시에 활동했다고 밝혔다. 이 Agent의 모든 행동은 실행 전 온라인 모니터를 통과하며, 8월 한 달 10억 건이 넘는 판단 가운데 약 0.002%, 즉 4만7천 건당 1건이 차단됐다. 사후 모니터는 주당 약 10만 개 transcript를 후보로 올리고, 최종적으로 약 50건을 사람 검토로 escalation한다. 별도로 7월 13~20일 표본에서 AI R&D용 compute의 약 6%, AI가 직접 수행하는 AI R&D compute의 약 12%가 안전 연구에 쓰였다고 집계했다.
배경
프런티어 연구소들은 coding agent, 실험 자동화, 데이터 파이프라인, 평가·디버깅을 점점 AI에 맡기고 있지만 그동안 외부에서 ‘AI가 AI 개발을 얼마나 대신하고 있는지’를 비교할 공통 지표가 거의 없었다. Anthropic은 약 1만5천 개의 세부 내부 작업을 샘플링하고 이를 542개 작업 트리로 묶은 뒤, Claude와 인간 평가를 함께 사용해 자동화 수준을 추정했다. 회사도 자체 모델이 자기 업무를 평가한다는 한계와 연구소별 공통 방법론 부재를 인정하고, 제3자 검증 필요성을 명시했다.
산업·시장 영향
이 수치는 프런티어 AI 개발의 병목이 단순히 연구원 수에서 AI Agent 수, Agent 감독 체계, inference compute로 이동하고 있음을 보여준다. 만약 26%라는 AI leads 비중이 계속 빠르게 증가하면 새 모델 개발주기가 더 짧아질 수 있고, 동시에 안전 평가 역시 같은 Agent 자동화의 영향을 받게 된다. 향후 규제나 업계 자율규칙에서 ‘모델 capability’뿐 아니라 AI가 자체 R&D에 얼마나 관여하는지, 행동 모니터링 커버리지가 얼마인지, 안전 compute 비중이 얼마인지가 보고 항목이 될 가능성이 있다.
실무에서 바로 활용할 시사점
다중 Agent를 사용하는 개발조직이라면 Agent별 고유 identity를 부여하고, 모든 tool action과 Agent 간 메시지를 그 identity에 연결하는 구조가 유용하다. 또 단순히 ‘몇 개 Agent를 돌렸는가’보다 Agent가 독립 완료한 업무 비중, 사람 개입 횟수, 차단·escalation 비율, 완료 업무당 compute를 함께 기록하면 자동화 수준이 실제로 올라가는지 측정할 수 있다. Anthropic 사례처럼 실행 전 online policy와 실행 후 offline behavioral review를 별도로 두는 방식도 참고할 가치가 있다.
출처: Anthropic — Measurements for understanding the pace of AI development inside frontier labs, Reuters — Anthropic says Claude now leads a quarter of work building its next AI models