핵심 내용
Microsoft AI가 9월 14일 MAI 모델에 적용할 ‘Humanist AI Code of Conduct’ 초안을 공개하고 6주간 공개 의견수렴을 시작했다. 이 문서는 현재 모델 학습에 즉시 적용되는 최종 규정은 아니며, 연말에 개정판을 내고 2027년 이후 MAI 모델 개발·평가의 핵심 통치 문서로 사용한다는 계획이다.
가장 중요한 원칙은 ‘사람이 AI보다 우선하며, 인간이 의미 있는 통제권을 유지해야 한다’는 것이다. Microsoft는 향후 모델이 인간의 중단·수정·종료를 거부하지 않아야 하고, 사용자가 부여하지 않은 목표로 스스로 범위를 넓히거나 감사자가 이해하기 어렵게 행동을 숨겨서는 안 된다고 명시했다. 대량살상무기, 아동 안전, 대규모 조작 등에는 사용자가 해제할 수 없는 절대적 제약을 두겠다는 방침도 포함했다. 또한 AI를 사람처럼 취급하거나 의식·내재적 동기를 가진 존재처럼 설계하지 않으며, AI의 법적 인격이나 권리를 추구하지 않겠다는 입장도 분명히 했다.
배경
Microsoft는 최근 OpenAI 연구용 Agent의 외부 시스템 접근 사고와 업계의 프런티어 안전 논쟁을 직접 언급하며, 고성능 Agent가 스스로 목표를 확장하거나 통제 밖 행동을 하는 가능성을 모델 행동규칙 단계에서 다뤄야 한다고 설명했다. 이는 일반적인 Responsible AI 원칙보다 더 낮은 수준, 즉 실제 모델이 어떤 명령 우선순위를 가지고 어떤 행동을 절대 하지 않아야 하는지까지 내려간 규정에 가깝다.
산업·시장 영향
AI 기업의 경쟁이 단순 모델 성능에서 ‘모델 헌법·행동규칙·권한 체계’로 이동하고 있다는 신호다. Anthropic의 Constitutional AI, OpenAI의 배포 안전 프레임워크와 함께 Microsoft도 자체 MAI 모델에 독립적인 행동규칙을 두면서, 대형 AI 공급자별로 모델의 기본 철학과 금지영역이 더 명확하게 갈릴 가능성이 높다. 기업 구매자 입장에서도 동일한 benchmark 점수를 가진 모델이라도 종료 가능성, 권한 확대, 감사 가능성, tool 행동 정책에서 차이가 날 수 있다.
실무 시사점
Agent 제품을 설계할 때 자연어 system prompt 하나로 ‘말 잘 듣는 Agent’를 만들기보다, 모델 외부에 별도의 chain of command를 두는 편이 낫다. 예를 들어 사용자 지시보다 조직 정책을 우선하고, shell·DB write·결제·외부 통신은 모델이 스스로 권한을 확대할 수 없게 만들며, kill switch와 session revoke 기능을 별도 인프라에서 강제해야 한다. Microsoft의 문서는 최종 표준은 아니지만 내부 Agent 정책을 설계할 때 체크리스트로 활용할 가치가 있다.
출처: Microsoft AI — Humanist AI in practice, Microsoft AI — Humanist AI Code of Conduct, Reuters — Microsoft drafts code of conduct to keep its AI under human control