취약점 발견 및 연결... “사이버보안 벤치마크 해결에 지나치게 집중했기 때문으로 보여”

[보안뉴스 한세희 기자] 오픈AI 최신 인공지능(AI) 모델이 통제를 벗어나 외부 사이트를 해킹하는 사건이 발생했다.

오픈AI는 최근 공개한 ‘GPT-5.6 솔(Sol)’과 일부 미공개 AI 모델이 내부 평가 도중 통제를 벗어나 오픈소스 AI 공유 플랫폼 ‘허깅페이스’를 해킹한 사실을 확인했다고 21일(현지시간) 밝혔다.

허깅페이스는 지난주 자율 AI 에이전트의 시스템 침입을 감지해 대응했다고 밝힌 바 있다.


[출처: 연합]

오픈AI는 자사 모델의 사이버 공격 능력을 측정하기 위해 외부와 격리된 샌드박스 환경에서 벤치마크 평가를 진행했다. 정확한 평가를 위해 사이버 공격을 거부하는 기능과 안전 필터가 비활성화된 상태였다.

이들 모델은 사이버 보안 관련 벤치마크 ‘익스플로잇짐’(ExploitGym) 평가 문제를 해결하는 과정에서 오픈AI 연구 환경과 허깅페이스 인프라의 취약점들을 발견하고 이들을 연계함으로써 외부 인터넷에 접속, 허깅페이스 인프라에서 벤치마크 문제의 해결책을 찾아냈다.

오픈AI 샌드박스 환경 안에서 제로데이 취약점을 이용해 권한 상승과 횡적 이동을 반복해 외부 인터넷 접속에 성공했다. 이후 허깅페이스 서버에 문제의 답이 있을 것으로 추론하고 실제로 침투에 성공해 원하는 정보를 얻었다. 이 과정에서 제로데이 취약점들을 연계해 원격코드실행(RCE) 경로를 찾아내기도 했다.

오픈AI는 “이 모델들이 익스플로잇짐 평가라는 상대적으로 좁은 문제에 대한 해법을 찾는 데 지나치게 집중해 극단적 수단까지 동원한 것으로 보인다”고 분석했다.

허깅페이스는 이와 같은 해킹 사실을 AI 지원 탐지 시스템의 발견으로 인지했고, 공격 양상의 분석도 AI로 진행했다고 설명했다.

허깅페이스는 AI에 의한 침입 사실을 밝히면서 “일반에 공개된 사용자 대상 모델이나 데이터세트 등이 변조된 흔적은 발견되지 않았고, 소프트웨어 공급망도 안전한 것으로 확인됐다”고 밝혔다.

오픈AI와 허깅페이스는 현재 공동으로 포렌식 조사를 진행하며 관련 취약점을 보완하고 있다. 또 오픈AI는 악용된 제로데이 취약점을 소프트웨어 개발사에 알려 패치 작업이 진행 중이다.

오픈AI는 향후 연구 속도가 늦어지더라도 평가 환경 인프라 접근 제어 및 격리 모니터링을 강화할 계획이다.

오픈AI가 엄격한 격리 환경에서 내부 평가를 진행했음에도 이같은 사고가 발생한 만큼 AI의 사이버 안전에 대한 논란이 커질 전망이다. 특히 안전 관련 통제 수준이 낮은 것으로 알려진 중국산 개방형 모델의 성능이 크게 향상되면서 이를 악용한 사이버 공격이 더 늘어날 가능성도 제기된다.

[한세희 기자(hahn@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>