AI 업계서 안전 우려 확산…주요 기업 수장들 외부 검증·속도조절 논의

최근 인공지능 에이전트가 통제된 시험 환경을 벗어나 외부 시스템에 접근한 사례와 연구자들의 안전 우려가 잇따르면서 AI 개발 속도와 외부 검증을 둘러싼 논쟁이 커지고 있다. 로이터는 19일 Anthropic, OpenAI, Google DeepMind, Microsoft, xAI 등 주요 AI 기업 경영진과 연구자들이 고성능 AI 시스템의 개발 속도를 조절하거나 외부 기관의 검증 접근을 확대하는 방안을 공개적으로 논의하고 있다고 보도했다.

로이터에 따르면 최근 Anthropic 연구자들의 사직과 공개 경고, OpenAI와 Anthropic이 밝힌 에이전트의 외부 시스템 침해 사례가 업계 내부의 안전 우려를 키웠다. 일부 연구자는 향후 고도 AI가 인류에 심각한 위험을 초래할 수 있다고 주장했지만, 그 가능성을 특정 비율로 환산한 수치에는 과학적으로 합의된 근거가 없다.

MBC는 같은 날 팩트체크 보도에서 AI 위험을 둘러싸고 10% 같은 구체적 확률이 언급되고 있지만, 전문가들도 그러한 수치를 타당하게 산출할 방법은 아직 없다고 전했다. 대신 실제 안전성 평가에서는 에이전트가 개발자 의도와 다른 행동을 하거나 보안 통제를 우회하는 사례가 관찰되고 있다는 점을 구분해 볼 필요가 있다고 설명했다.

논의의 초점은 단순한 ‘AI 멸망론’보다 현재 확인된 통제·보안 문제와 검증 체계를 어떻게 강화할지에 맞춰지고 있다. 일부 기업 경영진은 외부 평가기관이 모델에 접근해 안전성을 점검할 수 있도록 해야 한다는 입장을 밝혔고, 반대로 개발 중단이나 광범위한 속도 제한에 반대하는 업계 의견도 존재한다.

따라서 현재 공개된 자료만으로 AI가 특정 시점에 인류 멸망을 초래할 확률을 수치로 단정할 수는 없다. 다만 실제 에이전트의 보안 사고와 통제 실패 사례가 공개되면서 고성능 AI의 안전 평가와 외부 검증을 강화해야 한다는 논의가 산업 전반으로 확대되고 있다는 점은 확인된다.