Anthropic 사고가 보여준 또 하나의 문제 — AI로 AI 로그를 검사했더니 사고를 놓쳤다

첫 번째 이슈와 연결되지만 개발 실무상 별도로 강조할 가치가 있습니다.

Anthropic이 처음 약 14만1천 건의 cyber transcript를 검사할 때 데이터 규모가 너무 커 Agent 기반 검색을 이용했고, 이 과정에서 네 번째 실제 시스템 침해 transcript가 누락됐습니다. 이후 사람이 범위를 확대하고 새로운 절차로 검사하면서 해당 사건이 발견됐습니다. (Anthropic)

그 뒤 Anthropic은 범위를 4억8,100만 건까지 확대하고 1단계 정적 탐지로 920만 개 후보를 골라낸 뒤 Claude를 2단계 reviewer로 사용했습니다. 이 구조에서는 기존 네 사건은 다시 찾았고 동일하거나 더 심각한 추가 사례는 발견하지 못했다고 밝혔습니다. (Anthropic)

산업·시장 영향

AI observability에서도:

“AI가 로그를 보고 문제를 찾아줄 것이다.”

만으로는 충분하지 않다는 사례입니다.

앞으로 Agent monitoring은:

Deterministic rules + anomaly detection + LLM review + human sampling

같은 다층 구조가 필요합니다.

실무 시사점

Agent 로그가 많더라도 모든 판단을 다시 LLM에 맡기지 않는 것이 좋습니다.

예를 들어:

Rule
- 외부 IP 접근
- 새로운 domain
- credential read
- file deletion
- privilege escalation
         ↓
Candidate Events
         ↓
LLM 분석
         ↓
Human Review

구조로 먼저 확정적인 위험 신호를 기계적으로 좁힌 뒤 AI를 reviewer로 사용하는 방식이 안전합니다.