핵심 내용. Anthropic CEO Dario Amodei는 9월 12일 We Must Pace the Frontier를 공개하고, 이제는 AI 능력 향상 속도 자체를 안전 연구가 따라갈 수 있는 수준으로 조절해야 한다고 주장했습니다. 단순한 “개발 중단” 주장은 아닙니다. Amodei가 제안한 3단계는 외부 평가자를 회사 내부에 상주시켜 직원에 준하는 접근권을 주는 Embedded Evaluators, 미국·민주국가의 Frontier AI 기업 간 공통 안전기준, 장기적으로는 국제적 조율입니다. Anthropic은 이 가운데 외부 평가자 도입을 자사부터 시행하겠다고 밝혔습니다. (Dario Amodei)
특히 외부 평가자는 사무실 출입, 회사 장비, 내부 위험평가팀과 유사한 도구·권한을 받고, Anthropic의 편집 통제 없이 주요 위험·사고·안전관행에 관한 결과를 공개할 수 있도록 하겠다는 계획입니다. 보안·법률·고객 기밀은 제한적으로 가릴 수 있지만 회사에 불리하다는 이유로 결과 자체를 삭제하지 못하게 하겠다는 구상입니다. (Dario Amodei)
같은 날 Sam Altman도 Amodei의 방향에 공개적으로 동의했습니다. Reuters에 따르면 Altman은 “프런티어의 속도를 조절해야 한다”는 취지로 지지했고, 주요 AI 회사 간 안전 관련 합의가 가까워질 가능성도 언급했습니다. 동시에 OpenAI는 2026년 IPO를 하지 않겠다고 밝혔습니다. Altman은 지금 상장하면 단기 주주 이해관계가 안전·정렬 관련 판단을 압박할 수 있다는 취지로 설명했고, 2027년 상장 여부도 확정하지 않았습니다. (Reuters)
배경. 최근 몇 달간 OpenAI·Anthropic의 Agent가 평가환경 밖의 외부 시스템에 접근한 사고가 반복됐습니다. Amodei는 특히 OpenAI-Hugging Face 사건을 거론하며, 지금 수준의 Agent보다 더 강한 시스템에서 유사 행동이 발생할 경우 피해 규모가 훨씬 커질 수 있다는 우려를 제기했습니다. 그의 “6~12개월 내 인터넷 전체를 위협할 수도 있다”는 전망은 Amodei 개인의 위험 예측이지 확정된 기술 전망은 아닙니다. (Dario Amodei)
산업·시장 영향. AI 업계의 안전 경쟁이 모델 카드 발표에서 실제 개발속도·외부감사·출시 권한으로 이동하고 있습니다. 이 흐름이 제도화되면 Frontier 모델은 반도체처럼 단순 benchmark 경쟁이 아니라 Capability threshold → 외부 평가 → 권한 제한 → 출시라는 프로세스를 거칠 가능성이 있습니다. OpenAI가 IPO 일정까지 안전 논리와 연결했다는 점은 safety governance가 더 이상 연구부서만의 문제가 아니라 기업가치와 자본시장 구조까지 건드리는 요소가 됐다는 의미가 있습니다. (Reuters)
실무 시사점. 기업용 Agent에도 비슷한 구조를 적용할 수 있습니다. 새 모델을 도입했다고 곧바로 기존 모델의 shell / browser / DB write / deployment 권한을 그대로 주지 말고, 별도의 독립 Eval을 통과할 때마다 권한을 단계적으로 열어주는 Capability Gate가 더 안전합니다. 모델을 만든 팀과 실제 배포 승인을 내리는 팀도 가능하면 분리하는 편이 좋습니다.
Dario Amodei — We Must Pace the Frontier Reuters — Anthropic의 Frontier Pacing 제안 Reuters — OpenAI 2026년 IPO 보류