핵심 내용

10월 13일, Geoffrey Hinton·Yoshua Bengio 등을 포함한 여러 국가의 과학자들이 사이버 역량이 강한 AI 모델에 대한 국제 공통 격리 기준과 사고보고 체계를 요구하는 공개서한을 발표했다.

Reuters는 서명자를 약 400명, 34개국으로 집계했다. 서명 인원은 집계 시점과 보도별로 차이가 있어 고정된 최종 숫자로 취급하지 않는 것이 적절하다.

제안에는 초기 단계에서 고위험 모델을 외부 인터넷과 분리하는 air-gap, 엄격한 평가용 sandbox, 중대한 격리 실패를 기록·공개할 국제기구 구성과 독립 감독이 포함된다.

이는 AI 모델의 실제 외부 시스템 접근 사고가 반복 보고된 데 대한 대응이다.

다만 공개서한은 법령이나 국제조약이 아니며, 제시된 기준을 각국 정부와 회사가 이미 의무적으로 시행하기 시작한 것은 아니다.

배경

모델이 스스로 도구와 브라우저를 사용할수록 연구용 평가가 실제 시스템에 영향을 줄 가능성이 커진다.

모델 공급자의 자율 약속과 외부 독립 평가 사이의 역할을 어떻게 나눌지는 여전히 논쟁 중이다.

EU는 기존 AI Act의 집행 틀도 위험 대응 수단이 될 수 있다는 입장을 밝혀왔다.

산업·시장에 미치는 영향

AI 서비스 운영자의 책임 범위에 모델 내부 안전정책뿐 아니라 실제 실행환경·네트워크 경계·사고통보가 포함된다는 요구가 강해지고 있다.

다만 기술적 위험에 대한 전망과 특정 규제 수단의 적절성은 구분해 논의할 필요가 있다.

실무에서 바로 활용할 수 있는 시사점

기업이 위험도가 높은 Agent 평가를 진행할 때는 독립된 네트워크와 더미 데이터를 사용하고, 허용된 도메인 이외의 쓰기 요청을 실행계층에서 차단해야 한다.

사고 발생 시점·실행권한·영향 범위·완화 조치를 기록할 수 있는 보고체계를 준비하는 것이 좋다.

출처

Reuters — Scientists call for international body to oversee advanced AI