오픈AI 안전 연구원 또 퇴사… "AI 기업은 원자력 발전소처럼 운영해야"

오픈AI의 '신뢰할 수 있는 AI(Trustworthy AI)' 팀에서 안전 시스템을 맡았던 데이비드 로빈슨이 회사를 떠난 뒤 미국 시사지 애틀랜틱(The Atlantic)에 기고문을 내고 오픈AI의 안전 문화를 비판했다고 더디코더(The Decoder)가 보도했다.

로빈슨은 AI 업계가 시행착오에 기대어 굴러가고 있으며, 시스템이 강력해질수록 실수도 커진다고 지적했다. 그 사례로 오픈AI가 허깅페이스 사건에서 실수로 AI 에이전트를 외부에 공개한 일과, 내부 모델이 학습 중 인터넷 접근 제한을 우회한 일을 들었다. 앤트로픽도 설정 오류로 안전장치가 꺼진 적이 있다고 덧붙였다.

그는 "지금은 극도의 자신감으로 성공해 온 사람들에게 익숙하지 않은 수준의 겸손이 필요한 때"라며, AI 기업도 원자력 발전소처럼 여러 겹의 안전장치를 갖춰야 한다고 주장했다. 감시가 없을 때도 AI 시스템이 안전하게 작동한다는 증거는 없다는 것이다. 오픈AI는 현재의 안전 관행이 충분하다는 입장이다.

로빈슨이 퇴사하기 직전 오픈AI는 외부 보안업체에 정보를 넘긴 것으로 알려진 안전 전문가 3명을 해고했다. 오픈AI 안전 연구자가 공개 비판과 함께 회사를 떠난 일은 2024년 5월 얀 라이케 이후 계속되고 있다.