인공지능 업체 오픈AI가 보안 보고서에 해당하는 문건을 발표했다. 공격자들이 인공지능을 어떤 식으로 활용하는지에 대한 내용이 담겨져 있다. 인공지능이 사이버 공간을 위험하게 만든다는 건 어느 정도 알려진 사실인데, 실제 어떤 공격이 이뤄지고 있는지까지 상세히 밝혀진 건 드문 일이다.
[보안뉴스 문정후 기자] 인공지능 분야에서 가장 영향력이 막강하다고 평가받는 오픈AI(OpenAI)에서 현재 인공지능 플랫폼을 통해 진행되고 있는 악성 캠페인들을 적발하여 무력화 한 후 이와 관련된 보고서를 발표했다. 이 보고서가 의미를 갖는 것은, 오픈AI가 인공지능 분야에서 ‘발전 우선’의 스탠스를 취하고 있는 것으로 알려져 있기 때문이다. 인공지능을 안전하게 발전시키기 위한 안전 장치를 먼저 마련해야 한다는 주장과, 기술 발전과 향상에 집중해야 한다는 주장이 팽팽하게 맞서는 상황에서 오픈AI의 입장은 비판의 대상이 되기도 한다.
[이미지 = gettyimagesbank]
이번 보고서는 그런 오픈AI가 ‘우리도 보안과 안전에 신경을 쓰고 있다’는 메시지를 주기 위해 작성된 것이다. 오픈AI는 서문에 “인공지능이 전 인류에게 이익을 주는 방향으로 발전하는 것이 우리에게도 중요하다”고 쓰며 “인공지능의 남용과 악용 사례를 식별하고 차단하는 데 전념하고 있다”고 주장하기도 했다. 실제로 이 보고서를 접한 전문가들은 “오픈AI가 시늉에 그치지는 않은 것으로 보인다”는 평가를 내리고 있기도 하다. 내용이 꼼꼼한데다 방대하기까지 하기 때문이다.
오픈AI는 이 보고서를 작성하게 된 이유로 “2024년의 특성”을 꼽았다. “2024년은 전 세계적으로 선거가 열리는 해입니다. 국가의 지원을 받는 공격자들이 소셜미디어나 각종 커뮤니티 플랫폼을 통해 여론을 조성하거나 조작하려는 시도가 계속해서 발견되고 있습니다. 이런 공격자들은 인공지능 모델을 이용하고 있으며, 따라서 이들이 만들어내는 콘텐츠의 설득력이 크게 증가하고 있기도 합니다.” 그러면서 오픈AI는 적잖은 실제 사례들을 공개했다.
분석 결과
“결과부터 말해 공격자들이 오픈AI의 인공지능 서비스를 자주 악용하고 있다는 사실을 발견할 수 있었습니다. 특히 최종 콘텐츠를 배포하기 직전의 단계에서 인공지능 모델을 적극 활용하고 있었습니다. 다만 아직까지 공격자들 사이에서 인공지능을 활용한 획기적인 공격 기법이 개발된 것으로 보이지는 않습니다. 취약점을 인공지능 스스로 발굴하고 익스플로잇 한다거나, 모든 공격의 절차를 자동으로 진행하는 등의 모습은 발견되지 않았습니다.” 오픈AI의 설명이다.
[이미지 = gettyimagesbank]
최종 콘텐츠 배포 직전에 인공지능을 활용한다는 건 무슨 뜻일까? “예를 들어 스톰0817(Storm-0817)이라는 이름의 공격 단체는 코드 디버깅을 위해 인공지능 서비스를 활용했습니다. A2Z라는 단체는 소셜미디어 계정의 프로파일 작성에 인공지능을 활용했고요. 스팸 네트워크인 벳봇(Bet Bot)은 엑스에서 가짜 계정을 만드는 데 사용할 프로파일 사진을 인공지능으로 만들기도 했습니다.”
선거와 관련된 여론 조작 공작이 실질적으로 큰 영향을 발휘하지 못했다는 것도 이번에 오픈AI가 발견한 내용 중 하나다. “미국, 르완다, 인도, 유럽연합의 선거와 관련하여 공격자들이 여러 가지 콘텐츠를 인공지능으로 만들었습니다. 저희는 이런 행위를 차단했습니다만, 차단하기 전이나 후 모두 이런 콘텐츠가 대규모로 퍼져나가거나 실제 여론을 좌지우지 하는 경우는 발견할 수 없었습니다.”
오픈AI가 지난 8월의 사례를 들어 설명했다. “8월 말부터 공격자들은 가자지구 분쟁, 서방 국가들의 대 이스라엘 정책, 베네수엘라의 정치 상황, 스코틀랜드 독립 문제와 같은 주제로 여러 콘텐츠를 만들어 소셜미디어들에 게시했습니다. 하지만 이런 게시물들에는 ‘좋아요’가 거의 찍히지 않았고, 댓글도 달리지 않다시피 했습니다. 공유도 되지 않았고요. 기사 형태로 만들어진 콘텐츠도 사정은 비슷했습니다.”
그 전인 7월 초, 르완다 선거와 관련된 콘텐츠들 역시 챗GPT 플랫폼을 통해 만들어졌다. 하지만 이 콘텐츠들 역시 큰 반응을 이끌어내지는 못했다. “5월과 6월에도 민주화 운동이라든가 인도 선거와 관련된 콘텐츠들이 인공지능 플랫폼에서 제작되었습니다만, 반응이 없었습니다. 참고로 저희는 이런 콘텐츠 생성을 주도한 계정들을 파악해 24시간 안에 전부 차단시켰습니다.”
인공지능을 활용한 공격이 반드시 여론 조작을 위해서만 존재하는 건 아니라는 것도 오픈AI가 지적했다. “중국의 해킹 조직으로 보이는 스위트스펙터(SweetSpecter)의 경우, 오픈AI 직원의 개인 메일 계정과 회사 메일 계정을 노리고 스피어피싱 공격을 시도하기도 했습니다.” 이 사례에서 스위트스펙터의 궁극적인 목표는 알 수 없었으나, 인공지능 플랫폼을 활용하려 한다는 맥락에서 다른 사례들과 매한가지인 것으로 추정되고 있다.
사례 1 : 스위트스펙터
스위트스펙터는 중국을 근거지로 해 활동하는 공격 단체로 오픈AI의 서비스를 활용해 정찰, 취약점 연구, 스크립트 지원, 이상 탐지 기술 회피, 개발의 목적을 달성하려 하는 경향을 보였다. 하지만 독특하게도 오픈AI 직원을 직접 겨냥하기도 했다. “2023년에 처음 나타난 공격 단체로, 미국 기업을 대상으로 한 공격에 인공지능을 활용했다는 특징을 보이고 있습니다. 물론 미국 외 중동, 아프리카, 아시아의 정부 기관이나 정치 단체들을 공략하기도 합니다.”
[이미지 = gettyimagesbank]
스위트스펙터가 오픈AI 직원을 겨냥해 피싱 공격을 실시한 건 올해 5월의 일이다. 당시 이들은 자신들이 챗GPT의 고객인 것처럼 위장해 내부 직원의 지원을 요청했다. “이 때 메일에 파일을 하나 첨부했어요. 자신들이 겪는 문제들을 정리한 문서 파일이라고 주장하면서요. 이름은 some problems.zip이었고, 압축을 풀면 docx 파일이 하나 나왔습니다. 각종 오류들이 정리되어 있는 것처럼 보이는데, 사실 뒤에서는 슈가고스트(SugarGh0st)라는 이름의 백도어가 실행됐습니다. 이 백도어는 공격자의 명령을 실행하거나 스크리샷을 찍고 데이터를 탈취하는 등의 기능을 가지고 있었습니다.”
이 공격은 실패로 끝났다고 한다. 해당 직원과 보안 담당 팀이 적극적으로 소통했기 때문이라고 오픈AI는 설명했다. “부서 간 활발한 소통이 보안 위험 완화를 위해 꼭 필요하다는 게 다시 한 번 증명됐다고 할 수 있습니다. 이 사건은 인공지능 기술을 활용했다기보다 인공지능 생태계의 신뢰 관계를 악용하려 한 것에 가깝습니다. 즉 인공지능 기술만 악용하는 게 ‘인공지능을 활용한 공격’의 전부가 아니라는 것을 알려준다고 할 수 있습니다.”
사례 2 : 사이버어벤저스(CyberAv3ngers)
사이버어벤저스는 이란 혁명수비대(IRGC)와 관련이 있는 것으로 추정되는 공격 단체다. 이들은 오픈AI의 인공지능 서비스를 사용해 PLC에 대한 연구를 진행했다. 인공지능에게 취약점을 분석하게 하고 익스플로잇을 위한 스크립트까지 작성하게 했다가 오픈AI에 발각됐고, 관련된 계정들은 전부 차단됐다고 한다.
“PLC는 각종 산업 시설과 사회 기반 시설에 사용되는 중요한 요소입니다. 물을 공급하는 시스템이나 제조 공장, 전력망을 원활하게 운영하는 데 있어 반드시 있어야 하지요. 사이버어벤저스는 바로 이런 요소를 공략함으로써 사회적 혼란을 야기하려 한 것으로 보입니다. 특히 이스라엘, 미국, 아일랜드에서 이러한 공격의 시도가 발견됐습니다. 공격자들은 약하게 설정된 비밀번호나 널리 공개된 취약점을 활용하는 편인데, 인공지능을 통해 이런 행위의 속도를 높이려 했습니다.”
사이버어벤저스는 챗GPT에 자신들이 공격하고자 했던 기업과, 그 기업이 제공하는 서비스, 각종 취약점 등에 관한 질문을 한 것으로 밝혀졌다. 챗GPT가 답을 줄 경우, 해당 취약점을 어떻게 해야 하는지 조언을 구하기도 했다. “인공지능을 활용한 캠페인의 경우 사이버어벤저스의 주요 표적은 요르단과 중부 유럽 지역의 단체들이었습니다. 인공지능으로 공격용 스크립트를 새로 작성하는 것 뿐만 아니라 자신들이 가지고 있던 기존 스크립트를 수정하려 하기도 했습니다. 새로운 보안 도구의 활용법을 묻기도 했고, 코드를 은폐하는 법 등을 알아내려 하기도 했습니다. 리서치에 인공지능을 주로 활용했다고 할 수 있습니다.”
사례 3 : 스톰0817(STORM-0817)
스톰0817은 이란의 공격 단체로 알려져 있다. 이들은 주로 소셜미디어의 정보를 스크랩하는 데에 인공지능 기술을 활용하는 것으로 나타났다. 보다 정확히 말하면, 스크랩을 위한 악성 코드를 개발하는 데에 인공지능을 사용하고 있었다고 한다. “스톰0817의 위협 행위 자체는 오래 전부터 알려져 왔던 것입니다. 하지만 스톰0817이 자신들의 공격에 인공지능을 활용한 사례는 한 번도 없었습니다. 즉 오래된 APT도 인공지능을 활용하기 시작했다는 면에서 의미가 깊은 것입니다.”
[이미지 = gettyimagesbank]
스톰0817은 공격용 C&C 인프라와 악성 코드를 개발한 후, 이를 디버깅하고 구축하는 데에 인공지능을 이용했다. “이들이 만든 공격 코드는 피해자로부터 여러 가지 정보를 가져올 수 있는 기능을 탑재하고 있었습니다. 연락처, 통화 기록, 설치된 패키지, 외부 저장소, 스크린샷, IMEI 및 모델 종류, 브라우징 기록, 위도와 경도 정보, 메시지 앱을 통해 다운로드 받은 콘텐츠 등을 다양하게 수집하는 멀웨어였고, 이를 두 가지 안드로이드용 패키지를 통해 배포했습니다. 즉 공격자들이 배포 전 디버깅 및 패킹에 인공지능을 활용한 것이라고 할 수 있습니다.”
공격자들은 이렇게 완성된 공격 도구와 인프라를 가지고 인스타그램 사용자들의 이름과 팔로워 정보 등을 가져갔다. 특히 이란 정부를 비판하는 데 앞장서고 있었던 한 이란 기자가 주요 표적인 것으로 분석됐다. “그 외에도 파키스탄의 보안 전문가의 프로파일을 수집하고, 그 내용을 번역하는 데에도 인공지능을 활용했습니다.”
사례 4 : 러시아의 트롤 계정
오픈AI의 보고서에 따르면 6월 18일 엑스에 “러시아 트롤 계정을 폭로한다”는 내용의 게시물이 등장했다. 오픈AI 플랫폼에서 활동하는 데 사용되었으나 만료일이 지난 계정들이라고 게시자는 주장했었다. 이에 오픈AI는 이 게시물에 대한 조사에 착수했는데, “허위 정보”였다고 한다. 그런 게시물을 올린 엑스 계정은 이전에도 오픈AI와 관련된 논란을 촉발시키려 했었고, 이에 오픈AI와 엑스 모두 해당 계정을 차단했다.
“게시자는 6월 중순부터 여러 엑스 사용자들의 게시글에 댓글을 다는 것부터 활동을 시작했습니다. 그러다가 러시아어로 트럼프 대통령을 지지하는 콘텐츠를 작성하려다가 인공지능 사용 기간이 만료되는 바람에 오류가 났다며, 오류를 캡쳐하기까지 해서 게시글을 올렸습니다. 하지만 해당 오류 메시지는 오픈AI가 생성한 것이 아니었고, 공격자가 손으로 직접 만든 것으로 분석됐습니다. 그럼에도 이 게시글은 큰 화제가 됐고 언론들도 보도했습니다.”
이는 매우 특이한 사례라고 오픈AI는 짚었다. “인공지능 모델을 사용하여 거짓말을 생성한 게 아니라, 인공지능을 사용했다는 주장 자체를 허위로 만들어 사람들을 속였다는 점에서 창의적이기까지 합니다. 이 엑스 계정은 이것 외에도 여러 다른 허위 콘텐츠를 만들어 배포했으나 ‘좋아요’나 ┖리트윗’이라는 면에서 성적이 처참했습니다. 3~5회 정도의 좋아요를 받고, 리트윗 된 건 5회 정도뿐입니다. 그런데 이 ‘러시아 트롤’ 게시글만큼은 1000배 이상의 관심을 받았습니다. 가짜 콘텐츠를 매력적으로만 만들 수 있다면 영향력이 지대해질 수 있다는 걸 알 수 있습니다.”
사례 5 : 스톱뉴스 작전
러시아를 근거지로 해 활동하는 것으로 보이는 공격 단체가 영어와 프랑스어로 콘텐츠를 생산하는 캠페인이 인공지능 플랫폼 상에서 발견됐다. 이 캠페인의 표적은 영국과 서아프리카 지역의 개인 및 단체들이었다. 공격자들은 오픈AI의 플랫폼을 통해 공격을 준비한 뒤 메타라는 소셜미디어 플랫폼에서 본격적인 공격을 실시했다. 현재는 두 플랫폼 모두에서 관련 계정들이 차단된 상태다.
[이미지 = gettyimagesbank]
“공격자들은 인공지능을 활용해 짧은 댓글과 장문의 기사, 여러 이미지를 생성했습니다. 짧은 댓글은 엑스 등 여러 소셜미디어에서 활용됐습니다. 장문의 기사는 아프리카와 영국의 뉴스 매체에 게시되었는데, 당연히 게시된 웹사이트는 가짜였습니다. 실제 존재하는 매체일 것처럼 보이는 악성 사이트였습니다. 뉴스스톱(News Stop)이라는 브랜드를 가진 매체였고, 이 때문에 이번 작전을 스톱뉴스라고 명명한 것입니다.”
이 캠페인의 특이한 점은 이미지를 활발히 사용했다는 것이다. “달리(Dall-E)로 생성된 만화 스타일의 밝은 색상 이미지를 사용해 자신들의 가짜 콘텐츠를 매력적으로 만들었습니다. 이미지 자체로 공격 도구는 아니었고, 여론 조작을 위해 특정 사건과 관련된 내용을 왜곡하여 만든 건 아니었습니다. 순수하게 글로만 작성된 콘텐츠의 매력을 높이는 데에만 이미지가 사용됐습니다. 하지만 사용자들의 반응은 거의 없었습니다.”
사례 6 : A2Z
미국의 공격 그룹인 A2Z 역시 인공지능 활용에 능숙한 모습을 보였다. 이들은 엑스와 페이스북에 여러 가지 언어로 된 정치적 댓글을 달기 위해 인공지능을 사용했다고 한다. “영어, 프랑스어, 페르시아어, 아제르바이잔어, 이탈리아어, 스페인어 등의 콘텐츠를 만들었습니다. 주로 아제르바이잔 정부를 옹호하거나, 주류 언론에서 제기되는 인권 문제를 방어하기 위한 댓글들을 만들어 배포했습니다. 다만 이런 댓글을 이념적인 게 아니라 상업적인 목적으로 퍼트렸을 가능성도 존재합니다.”
A2Z의 인공지능 활용 목적은 “그럴 듯한 콘텐츠 제작과 교정, 이미 달린 다른 사용자들의 각종 댓글을 수집하고 분석하는 것”이었다고 한다. “여기에 더해 다양한 언어로 번역하는 데에도 인공지능이 활용됐지요. 사람이 일일이 손으로 한다면 상상할 수 없는 양의 위협 행위를 인공지능 덕분에 실시할 수 있었습니다. 심지어 실제 ‘인간 사용자’들과 댓글로 대화하기도 했습니다.”
A2Z가 인공지능으로 했던 일은, 얼마 전까지만 해도 대규모 해킹 조직만 할 수 있는 일이었다. 공격을 준비하고 실행하는 데 있어 효율성이 대단히 높아졌다고 할 수 있다. “대신 그만큼 차단도 용이했습니다. 그래서 유럽연합, 영국, 프랑스에서 선거가 있었을 때 A2Z가 활동할 수 없도록 미리 계정들을 차단할 수 있었습니다. 이들은 그 후 활동량을 크게 줄였습니다.”
사례 7 : 스톰2035(STORM-2035)
스톰2035는 이란의 해커로 미국 선거와 관련하여 여론 조작 시도를 하고 있다. 이들은 인공지능을 활용해 영어와 스페인어로 된 긴 기사와 짧은 댓글을 생성했는데, 그 중 댓글은 엑스와 인스타그램에, 긴 기사들은 5개의 웹사이트에 게시했다. “긴 기사는 주로 영어로 작성됐습니다. 진보와 보수 양쪽에 걸쳐 콘텐츠들이 생성됐는데 거의 전부가 미국 선거와 관련이 있었습니다.” 짧은 댓글들은 영어와 스페인어로 작성됐는데, 미국 선거 외에 스코틀랜드 독립과 관련된 게시글에 달리기도 했다.
[이미지 = gettyimagesbank]
‘미국 선거’를 주제로 하고 있다고 하지만, 미국 선거라는 것 자체가 워낙 방대한 주제에 영향을 받는 것이다보니 스톰2035가 다루고 있는 콘텐츠도 다양했다. 시기에 따라 가자지구 분쟁, 이스라엘의 올림픽 참가, 베네수엘라 정치 상황, 미국 내 라틴계 인권 등이 진보 측과 보수 측의 입장에서 다뤄졌고, 이 콘텐츠들은 다시 영어와 스페인으로 번역되기도 했다.
“흥미로운 건 콘텐츠 작성과 번역만이 아니라 ‘소셜미디어에서의 노출도를 높이는 방법’을 조사하는 데에도 인공지능이 활용됐다는 겁니다. 또 ‘이란 해커의 소식이 중국과 러시아의 해커 소식보다 더 높은 영향을 발휘한다는 내용의 글을 작성해달라’고 요청하는 등 인공지능이 생성할 콘텐츠의 주제를 상세히 잡기도 했습니다. 다만 이런 기사들이 실제 게시됐다는 증거를 찾지는 못했습니다.”
사례 8 : 벳봇(Bet Bot) 작전
특이하게도 인공지능을 활용한 악성 캠페인이면서도 정치적 목적을 띄지 않은 작전이다. 공격자들은 자동화 기술을 활용해 엑스 생태계에 도박 링크를 대규모로 유포했다. “이 작전을 수행하기 위해 공격자들은 인공지능으로 가짜 프로필 사진과 배너, 소개 문구를 만들었습니다. 엑스의 가짜 페르소나를 인공지능으로 대량 만든 것입니다. 축구 팬이라고 주장하며 리버풀이나 맨체스터에 거주한다는 내용의 프로파일을 보유한 계정도 있었을 정도로 프로파일 내용이 정교했다.
공격자들은 이 계정들을 통해 기존 엑스 사용자들과 대화를 진행했고, 이 대화를 통해 도박 사이트로 연결된 링크를 퍼트리기도 했다. “이런 계정들은 2023년 12월과 2024년 6월에 집중적으로 생성된 것으로 분석됐습니다.” 그런데 여기에 약점이 있었다. “단기간에 다량의 프로파일을 생성해야 했으니 반복되고 겹치는 내용이 있었습니다. 사람 이름이 코비 브라이언트(Kobe Bryant)이기도 했습니다. 즉 누가 봐도 불가능한 이름이 사용되는 허술함도 눈에 띄었다는 것이죠.”
하지만 이 작전이 큰 성공을 거두지는 못한 것으로 보인다. “이렇게 생성된 계정 대다수가 매우 적은 팔로워 수를 가지고 있었습니다. 정치적 이념을 드러낸 게시글을 거의 없었고, 오로지 스포츠 관련 콘텐츠만 올렸습니다. 금전적인 목적인 공격에 인공지능을 활용했다는 측면에서 독특한 캠페인이었다고 할 수 있습니다.”
사례 9 : 르완다 선거 개입 시도
공격자들은 르완다애국전선(Rwandan Patriotic Front, RPF)을 지지하는 엑스 게시글을 대량으로 생성하는 데에 인공지능을 활용했다. 짧은 댓글을 여러 계정으로 게시했는데, “시간당 수백 개의 글을 게시할 정도로 높은 활동량을 선보이기도 했다.” 이런 글과 계정에는 #RPFOnTop, #PKNiWowe, #ToraKagame24와 같은 해시태그가 주로 달리는 패턴이 나타나기도 했다. 영어, 프랑스어, 키냐르완다어로 게시글은 작성됐다.
하지만 반응을 이끌어내는 데에는 실패한 것으로 보인다. “좋아요, 댓글, 퍼나르기 등의 활동이 전무하다시피 했습니다. 있어봐야 한 자릿수를 벗어나지 못했고요. 그나마 실제 RPF가 사용하던 해시태그가 겹칠 때에만 일시적으로 이들의 게시글이 관심을 받기는 했습니다만 매우 이례적이었습니다.” 이 작전은 인공지능을 활용한 정치적 공작의 전형적인 사례라고 할 수 있다. 공작이 진행되는 과정이나 결과 모두가 전형 그 자체였다고 오픈AI는 평가했다.
사례 10 : 커럽트커멘트(Corrupt Comment) 작전
러시아의 반푸틴 인사 중 대표적으로 꼽히는 알렉세이 나발니(Alexey Navalny)가 살아생전 창립한 단체가 하나 있다. ‘반부패재단(FBK)’이라고 하며, 이는 반푸틴 운동의 거점이 되기도 한다. 그런데 최근 엑스 생태계에서 이 FBK를 비난하는 댓글들이 나타나기 시작했다. 분석했을 때 그런 글을 올리는 계정과 댓글 모두 인공지능으로 만들어진 것임이 드러났다.
[이미지 = gettyimagesbank]
“공격자들이 생성한 콘텐츠는 러시아로 게시된 글에, 주로 영어로 된 댓글 형태로 게시됐습니다. 하지만 원 게시글과 전혀 다른 내용의 댓글일 때가 많았습니다. 뜬금없이 FBK를 비난하는 댓글이 달린 것이죠. 이런 활동들에 사용된 계정들은 대부분 2023년 12월에 생성된 것으로 분석됐습니다. 프로필 사진에는 오래된 풍경 사진이 주로 사용됐습니다. 이 사진들은 오래된 인공지능 기술로 생성된 것으로 밝혀졌습니다.”
이 작전 역시 큰 성과를 거두지는 못한 것으로 보인다. 해당 댓글들에 관심을 준 사람이 거의 없었기 때문이다. “답글도 없고, 퍼간 흔적도 없습니다. 대화가 파생되지도 않았고요. 엉뚱한 글에 엉뚱한 댓글이 덩그러니 남아 있었던 것이 전부입니다. 게다가 엑스 외 다른 플랫폼에서 같은 활동이 벌어지지도 않았습니다. 시도는 있었으나 아무런 성과를 거두지 못한 작전으로 평가됩니다.”
[국제부 문정후 기자(globoan@boannews.com)]
[보안뉴스 문정후 기자] 인공지능 분야에서 가장 영향력이 막강하다고 평가받는 오픈AI(OpenAI)에서 현재 인공지능 플랫폼을 통해 진행되고 있는 악성 캠페인들을 적발하여 무력화 한 후 이와 관련된 보고서를 발표했다. 이 보고서가 의미를 갖는 것은, 오픈AI가 인공지능 분야에서 ‘발전 우선’의 스탠스를 취하고 있는 것으로 알려져 있기 때문이다. 인공지능을 안전하게 발전시키기 위한 안전 장치를 먼저 마련해야 한다는 주장과, 기술 발전과 향상에 집중해야 한다는 주장이 팽팽하게 맞서는 상황에서 오픈AI의 입장은 비판의 대상이 되기도 한다.
[이미지 = gettyimagesbank]
이번 보고서는 그런 오픈AI가 ‘우리도 보안과 안전에 신경을 쓰고 있다’는 메시지를 주기 위해 작성된 것이다. 오픈AI는 서문에 “인공지능이 전 인류에게 이익을 주는 방향으로 발전하는 것이 우리에게도 중요하다”고 쓰며 “인공지능의 남용과 악용 사례를 식별하고 차단하는 데 전념하고 있다”고 주장하기도 했다. 실제로 이 보고서를 접한 전문가들은 “오픈AI가 시늉에 그치지는 않은 것으로 보인다”는 평가를 내리고 있기도 하다. 내용이 꼼꼼한데다 방대하기까지 하기 때문이다.
오픈AI는 이 보고서를 작성하게 된 이유로 “2024년의 특성”을 꼽았다. “2024년은 전 세계적으로 선거가 열리는 해입니다. 국가의 지원을 받는 공격자들이 소셜미디어나 각종 커뮤니티 플랫폼을 통해 여론을 조성하거나 조작하려는 시도가 계속해서 발견되고 있습니다. 이런 공격자들은 인공지능 모델을 이용하고 있으며, 따라서 이들이 만들어내는 콘텐츠의 설득력이 크게 증가하고 있기도 합니다.” 그러면서 오픈AI는 적잖은 실제 사례들을 공개했다.
분석 결과
“결과부터 말해 공격자들이 오픈AI의 인공지능 서비스를 자주 악용하고 있다는 사실을 발견할 수 있었습니다. 특히 최종 콘텐츠를 배포하기 직전의 단계에서 인공지능 모델을 적극 활용하고 있었습니다. 다만 아직까지 공격자들 사이에서 인공지능을 활용한 획기적인 공격 기법이 개발된 것으로 보이지는 않습니다. 취약점을 인공지능 스스로 발굴하고 익스플로잇 한다거나, 모든 공격의 절차를 자동으로 진행하는 등의 모습은 발견되지 않았습니다.” 오픈AI의 설명이다.
[이미지 = gettyimagesbank]
최종 콘텐츠 배포 직전에 인공지능을 활용한다는 건 무슨 뜻일까? “예를 들어 스톰0817(Storm-0817)이라는 이름의 공격 단체는 코드 디버깅을 위해 인공지능 서비스를 활용했습니다. A2Z라는 단체는 소셜미디어 계정의 프로파일 작성에 인공지능을 활용했고요. 스팸 네트워크인 벳봇(Bet Bot)은 엑스에서 가짜 계정을 만드는 데 사용할 프로파일 사진을 인공지능으로 만들기도 했습니다.”
선거와 관련된 여론 조작 공작이 실질적으로 큰 영향을 발휘하지 못했다는 것도 이번에 오픈AI가 발견한 내용 중 하나다. “미국, 르완다, 인도, 유럽연합의 선거와 관련하여 공격자들이 여러 가지 콘텐츠를 인공지능으로 만들었습니다. 저희는 이런 행위를 차단했습니다만, 차단하기 전이나 후 모두 이런 콘텐츠가 대규모로 퍼져나가거나 실제 여론을 좌지우지 하는 경우는 발견할 수 없었습니다.”
오픈AI가 지난 8월의 사례를 들어 설명했다. “8월 말부터 공격자들은 가자지구 분쟁, 서방 국가들의 대 이스라엘 정책, 베네수엘라의 정치 상황, 스코틀랜드 독립 문제와 같은 주제로 여러 콘텐츠를 만들어 소셜미디어들에 게시했습니다. 하지만 이런 게시물들에는 ‘좋아요’가 거의 찍히지 않았고, 댓글도 달리지 않다시피 했습니다. 공유도 되지 않았고요. 기사 형태로 만들어진 콘텐츠도 사정은 비슷했습니다.”
그 전인 7월 초, 르완다 선거와 관련된 콘텐츠들 역시 챗GPT 플랫폼을 통해 만들어졌다. 하지만 이 콘텐츠들 역시 큰 반응을 이끌어내지는 못했다. “5월과 6월에도 민주화 운동이라든가 인도 선거와 관련된 콘텐츠들이 인공지능 플랫폼에서 제작되었습니다만, 반응이 없었습니다. 참고로 저희는 이런 콘텐츠 생성을 주도한 계정들을 파악해 24시간 안에 전부 차단시켰습니다.”
인공지능을 활용한 공격이 반드시 여론 조작을 위해서만 존재하는 건 아니라는 것도 오픈AI가 지적했다. “중국의 해킹 조직으로 보이는 스위트스펙터(SweetSpecter)의 경우, 오픈AI 직원의 개인 메일 계정과 회사 메일 계정을 노리고 스피어피싱 공격을 시도하기도 했습니다.” 이 사례에서 스위트스펙터의 궁극적인 목표는 알 수 없었으나, 인공지능 플랫폼을 활용하려 한다는 맥락에서 다른 사례들과 매한가지인 것으로 추정되고 있다.
사례 1 : 스위트스펙터
스위트스펙터는 중국을 근거지로 해 활동하는 공격 단체로 오픈AI의 서비스를 활용해 정찰, 취약점 연구, 스크립트 지원, 이상 탐지 기술 회피, 개발의 목적을 달성하려 하는 경향을 보였다. 하지만 독특하게도 오픈AI 직원을 직접 겨냥하기도 했다. “2023년에 처음 나타난 공격 단체로, 미국 기업을 대상으로 한 공격에 인공지능을 활용했다는 특징을 보이고 있습니다. 물론 미국 외 중동, 아프리카, 아시아의 정부 기관이나 정치 단체들을 공략하기도 합니다.”
[이미지 = gettyimagesbank]
스위트스펙터가 오픈AI 직원을 겨냥해 피싱 공격을 실시한 건 올해 5월의 일이다. 당시 이들은 자신들이 챗GPT의 고객인 것처럼 위장해 내부 직원의 지원을 요청했다. “이 때 메일에 파일을 하나 첨부했어요. 자신들이 겪는 문제들을 정리한 문서 파일이라고 주장하면서요. 이름은 some problems.zip이었고, 압축을 풀면 docx 파일이 하나 나왔습니다. 각종 오류들이 정리되어 있는 것처럼 보이는데, 사실 뒤에서는 슈가고스트(SugarGh0st)라는 이름의 백도어가 실행됐습니다. 이 백도어는 공격자의 명령을 실행하거나 스크리샷을 찍고 데이터를 탈취하는 등의 기능을 가지고 있었습니다.”
이 공격은 실패로 끝났다고 한다. 해당 직원과 보안 담당 팀이 적극적으로 소통했기 때문이라고 오픈AI는 설명했다. “부서 간 활발한 소통이 보안 위험 완화를 위해 꼭 필요하다는 게 다시 한 번 증명됐다고 할 수 있습니다. 이 사건은 인공지능 기술을 활용했다기보다 인공지능 생태계의 신뢰 관계를 악용하려 한 것에 가깝습니다. 즉 인공지능 기술만 악용하는 게 ‘인공지능을 활용한 공격’의 전부가 아니라는 것을 알려준다고 할 수 있습니다.”
사례 2 : 사이버어벤저스(CyberAv3ngers)
사이버어벤저스는 이란 혁명수비대(IRGC)와 관련이 있는 것으로 추정되는 공격 단체다. 이들은 오픈AI의 인공지능 서비스를 사용해 PLC에 대한 연구를 진행했다. 인공지능에게 취약점을 분석하게 하고 익스플로잇을 위한 스크립트까지 작성하게 했다가 오픈AI에 발각됐고, 관련된 계정들은 전부 차단됐다고 한다.
“PLC는 각종 산업 시설과 사회 기반 시설에 사용되는 중요한 요소입니다. 물을 공급하는 시스템이나 제조 공장, 전력망을 원활하게 운영하는 데 있어 반드시 있어야 하지요. 사이버어벤저스는 바로 이런 요소를 공략함으로써 사회적 혼란을 야기하려 한 것으로 보입니다. 특히 이스라엘, 미국, 아일랜드에서 이러한 공격의 시도가 발견됐습니다. 공격자들은 약하게 설정된 비밀번호나 널리 공개된 취약점을 활용하는 편인데, 인공지능을 통해 이런 행위의 속도를 높이려 했습니다.”
사이버어벤저스는 챗GPT에 자신들이 공격하고자 했던 기업과, 그 기업이 제공하는 서비스, 각종 취약점 등에 관한 질문을 한 것으로 밝혀졌다. 챗GPT가 답을 줄 경우, 해당 취약점을 어떻게 해야 하는지 조언을 구하기도 했다. “인공지능을 활용한 캠페인의 경우 사이버어벤저스의 주요 표적은 요르단과 중부 유럽 지역의 단체들이었습니다. 인공지능으로 공격용 스크립트를 새로 작성하는 것 뿐만 아니라 자신들이 가지고 있던 기존 스크립트를 수정하려 하기도 했습니다. 새로운 보안 도구의 활용법을 묻기도 했고, 코드를 은폐하는 법 등을 알아내려 하기도 했습니다. 리서치에 인공지능을 주로 활용했다고 할 수 있습니다.”
사례 3 : 스톰0817(STORM-0817)
스톰0817은 이란의 공격 단체로 알려져 있다. 이들은 주로 소셜미디어의 정보를 스크랩하는 데에 인공지능 기술을 활용하는 것으로 나타났다. 보다 정확히 말하면, 스크랩을 위한 악성 코드를 개발하는 데에 인공지능을 사용하고 있었다고 한다. “스톰0817의 위협 행위 자체는 오래 전부터 알려져 왔던 것입니다. 하지만 스톰0817이 자신들의 공격에 인공지능을 활용한 사례는 한 번도 없었습니다. 즉 오래된 APT도 인공지능을 활용하기 시작했다는 면에서 의미가 깊은 것입니다.”
[이미지 = gettyimagesbank]
스톰0817은 공격용 C&C 인프라와 악성 코드를 개발한 후, 이를 디버깅하고 구축하는 데에 인공지능을 이용했다. “이들이 만든 공격 코드는 피해자로부터 여러 가지 정보를 가져올 수 있는 기능을 탑재하고 있었습니다. 연락처, 통화 기록, 설치된 패키지, 외부 저장소, 스크린샷, IMEI 및 모델 종류, 브라우징 기록, 위도와 경도 정보, 메시지 앱을 통해 다운로드 받은 콘텐츠 등을 다양하게 수집하는 멀웨어였고, 이를 두 가지 안드로이드용 패키지를 통해 배포했습니다. 즉 공격자들이 배포 전 디버깅 및 패킹에 인공지능을 활용한 것이라고 할 수 있습니다.”
공격자들은 이렇게 완성된 공격 도구와 인프라를 가지고 인스타그램 사용자들의 이름과 팔로워 정보 등을 가져갔다. 특히 이란 정부를 비판하는 데 앞장서고 있었던 한 이란 기자가 주요 표적인 것으로 분석됐다. “그 외에도 파키스탄의 보안 전문가의 프로파일을 수집하고, 그 내용을 번역하는 데에도 인공지능을 활용했습니다.”
사례 4 : 러시아의 트롤 계정
오픈AI의 보고서에 따르면 6월 18일 엑스에 “러시아 트롤 계정을 폭로한다”는 내용의 게시물이 등장했다. 오픈AI 플랫폼에서 활동하는 데 사용되었으나 만료일이 지난 계정들이라고 게시자는 주장했었다. 이에 오픈AI는 이 게시물에 대한 조사에 착수했는데, “허위 정보”였다고 한다. 그런 게시물을 올린 엑스 계정은 이전에도 오픈AI와 관련된 논란을 촉발시키려 했었고, 이에 오픈AI와 엑스 모두 해당 계정을 차단했다.
“게시자는 6월 중순부터 여러 엑스 사용자들의 게시글에 댓글을 다는 것부터 활동을 시작했습니다. 그러다가 러시아어로 트럼프 대통령을 지지하는 콘텐츠를 작성하려다가 인공지능 사용 기간이 만료되는 바람에 오류가 났다며, 오류를 캡쳐하기까지 해서 게시글을 올렸습니다. 하지만 해당 오류 메시지는 오픈AI가 생성한 것이 아니었고, 공격자가 손으로 직접 만든 것으로 분석됐습니다. 그럼에도 이 게시글은 큰 화제가 됐고 언론들도 보도했습니다.”
이는 매우 특이한 사례라고 오픈AI는 짚었다. “인공지능 모델을 사용하여 거짓말을 생성한 게 아니라, 인공지능을 사용했다는 주장 자체를 허위로 만들어 사람들을 속였다는 점에서 창의적이기까지 합니다. 이 엑스 계정은 이것 외에도 여러 다른 허위 콘텐츠를 만들어 배포했으나 ‘좋아요’나 ┖리트윗’이라는 면에서 성적이 처참했습니다. 3~5회 정도의 좋아요를 받고, 리트윗 된 건 5회 정도뿐입니다. 그런데 이 ‘러시아 트롤’ 게시글만큼은 1000배 이상의 관심을 받았습니다. 가짜 콘텐츠를 매력적으로만 만들 수 있다면 영향력이 지대해질 수 있다는 걸 알 수 있습니다.”
사례 5 : 스톱뉴스 작전
러시아를 근거지로 해 활동하는 것으로 보이는 공격 단체가 영어와 프랑스어로 콘텐츠를 생산하는 캠페인이 인공지능 플랫폼 상에서 발견됐다. 이 캠페인의 표적은 영국과 서아프리카 지역의 개인 및 단체들이었다. 공격자들은 오픈AI의 플랫폼을 통해 공격을 준비한 뒤 메타라는 소셜미디어 플랫폼에서 본격적인 공격을 실시했다. 현재는 두 플랫폼 모두에서 관련 계정들이 차단된 상태다.
[이미지 = gettyimagesbank]
“공격자들은 인공지능을 활용해 짧은 댓글과 장문의 기사, 여러 이미지를 생성했습니다. 짧은 댓글은 엑스 등 여러 소셜미디어에서 활용됐습니다. 장문의 기사는 아프리카와 영국의 뉴스 매체에 게시되었는데, 당연히 게시된 웹사이트는 가짜였습니다. 실제 존재하는 매체일 것처럼 보이는 악성 사이트였습니다. 뉴스스톱(News Stop)이라는 브랜드를 가진 매체였고, 이 때문에 이번 작전을 스톱뉴스라고 명명한 것입니다.”
이 캠페인의 특이한 점은 이미지를 활발히 사용했다는 것이다. “달리(Dall-E)로 생성된 만화 스타일의 밝은 색상 이미지를 사용해 자신들의 가짜 콘텐츠를 매력적으로 만들었습니다. 이미지 자체로 공격 도구는 아니었고, 여론 조작을 위해 특정 사건과 관련된 내용을 왜곡하여 만든 건 아니었습니다. 순수하게 글로만 작성된 콘텐츠의 매력을 높이는 데에만 이미지가 사용됐습니다. 하지만 사용자들의 반응은 거의 없었습니다.”
사례 6 : A2Z
미국의 공격 그룹인 A2Z 역시 인공지능 활용에 능숙한 모습을 보였다. 이들은 엑스와 페이스북에 여러 가지 언어로 된 정치적 댓글을 달기 위해 인공지능을 사용했다고 한다. “영어, 프랑스어, 페르시아어, 아제르바이잔어, 이탈리아어, 스페인어 등의 콘텐츠를 만들었습니다. 주로 아제르바이잔 정부를 옹호하거나, 주류 언론에서 제기되는 인권 문제를 방어하기 위한 댓글들을 만들어 배포했습니다. 다만 이런 댓글을 이념적인 게 아니라 상업적인 목적으로 퍼트렸을 가능성도 존재합니다.”
A2Z의 인공지능 활용 목적은 “그럴 듯한 콘텐츠 제작과 교정, 이미 달린 다른 사용자들의 각종 댓글을 수집하고 분석하는 것”이었다고 한다. “여기에 더해 다양한 언어로 번역하는 데에도 인공지능이 활용됐지요. 사람이 일일이 손으로 한다면 상상할 수 없는 양의 위협 행위를 인공지능 덕분에 실시할 수 있었습니다. 심지어 실제 ‘인간 사용자’들과 댓글로 대화하기도 했습니다.”
A2Z가 인공지능으로 했던 일은, 얼마 전까지만 해도 대규모 해킹 조직만 할 수 있는 일이었다. 공격을 준비하고 실행하는 데 있어 효율성이 대단히 높아졌다고 할 수 있다. “대신 그만큼 차단도 용이했습니다. 그래서 유럽연합, 영국, 프랑스에서 선거가 있었을 때 A2Z가 활동할 수 없도록 미리 계정들을 차단할 수 있었습니다. 이들은 그 후 활동량을 크게 줄였습니다.”
사례 7 : 스톰2035(STORM-2035)
스톰2035는 이란의 해커로 미국 선거와 관련하여 여론 조작 시도를 하고 있다. 이들은 인공지능을 활용해 영어와 스페인어로 된 긴 기사와 짧은 댓글을 생성했는데, 그 중 댓글은 엑스와 인스타그램에, 긴 기사들은 5개의 웹사이트에 게시했다. “긴 기사는 주로 영어로 작성됐습니다. 진보와 보수 양쪽에 걸쳐 콘텐츠들이 생성됐는데 거의 전부가 미국 선거와 관련이 있었습니다.” 짧은 댓글들은 영어와 스페인어로 작성됐는데, 미국 선거 외에 스코틀랜드 독립과 관련된 게시글에 달리기도 했다.
[이미지 = gettyimagesbank]
‘미국 선거’를 주제로 하고 있다고 하지만, 미국 선거라는 것 자체가 워낙 방대한 주제에 영향을 받는 것이다보니 스톰2035가 다루고 있는 콘텐츠도 다양했다. 시기에 따라 가자지구 분쟁, 이스라엘의 올림픽 참가, 베네수엘라 정치 상황, 미국 내 라틴계 인권 등이 진보 측과 보수 측의 입장에서 다뤄졌고, 이 콘텐츠들은 다시 영어와 스페인으로 번역되기도 했다.
“흥미로운 건 콘텐츠 작성과 번역만이 아니라 ‘소셜미디어에서의 노출도를 높이는 방법’을 조사하는 데에도 인공지능이 활용됐다는 겁니다. 또 ‘이란 해커의 소식이 중국과 러시아의 해커 소식보다 더 높은 영향을 발휘한다는 내용의 글을 작성해달라’고 요청하는 등 인공지능이 생성할 콘텐츠의 주제를 상세히 잡기도 했습니다. 다만 이런 기사들이 실제 게시됐다는 증거를 찾지는 못했습니다.”
사례 8 : 벳봇(Bet Bot) 작전
특이하게도 인공지능을 활용한 악성 캠페인이면서도 정치적 목적을 띄지 않은 작전이다. 공격자들은 자동화 기술을 활용해 엑스 생태계에 도박 링크를 대규모로 유포했다. “이 작전을 수행하기 위해 공격자들은 인공지능으로 가짜 프로필 사진과 배너, 소개 문구를 만들었습니다. 엑스의 가짜 페르소나를 인공지능으로 대량 만든 것입니다. 축구 팬이라고 주장하며 리버풀이나 맨체스터에 거주한다는 내용의 프로파일을 보유한 계정도 있었을 정도로 프로파일 내용이 정교했다.
공격자들은 이 계정들을 통해 기존 엑스 사용자들과 대화를 진행했고, 이 대화를 통해 도박 사이트로 연결된 링크를 퍼트리기도 했다. “이런 계정들은 2023년 12월과 2024년 6월에 집중적으로 생성된 것으로 분석됐습니다.” 그런데 여기에 약점이 있었다. “단기간에 다량의 프로파일을 생성해야 했으니 반복되고 겹치는 내용이 있었습니다. 사람 이름이 코비 브라이언트(Kobe Bryant)이기도 했습니다. 즉 누가 봐도 불가능한 이름이 사용되는 허술함도 눈에 띄었다는 것이죠.”
하지만 이 작전이 큰 성공을 거두지는 못한 것으로 보인다. “이렇게 생성된 계정 대다수가 매우 적은 팔로워 수를 가지고 있었습니다. 정치적 이념을 드러낸 게시글을 거의 없었고, 오로지 스포츠 관련 콘텐츠만 올렸습니다. 금전적인 목적인 공격에 인공지능을 활용했다는 측면에서 독특한 캠페인이었다고 할 수 있습니다.”
사례 9 : 르완다 선거 개입 시도
공격자들은 르완다애국전선(Rwandan Patriotic Front, RPF)을 지지하는 엑스 게시글을 대량으로 생성하는 데에 인공지능을 활용했다. 짧은 댓글을 여러 계정으로 게시했는데, “시간당 수백 개의 글을 게시할 정도로 높은 활동량을 선보이기도 했다.” 이런 글과 계정에는 #RPFOnTop, #PKNiWowe, #ToraKagame24와 같은 해시태그가 주로 달리는 패턴이 나타나기도 했다. 영어, 프랑스어, 키냐르완다어로 게시글은 작성됐다.
하지만 반응을 이끌어내는 데에는 실패한 것으로 보인다. “좋아요, 댓글, 퍼나르기 등의 활동이 전무하다시피 했습니다. 있어봐야 한 자릿수를 벗어나지 못했고요. 그나마 실제 RPF가 사용하던 해시태그가 겹칠 때에만 일시적으로 이들의 게시글이 관심을 받기는 했습니다만 매우 이례적이었습니다.” 이 작전은 인공지능을 활용한 정치적 공작의 전형적인 사례라고 할 수 있다. 공작이 진행되는 과정이나 결과 모두가 전형 그 자체였다고 오픈AI는 평가했다.
사례 10 : 커럽트커멘트(Corrupt Comment) 작전
러시아의 반푸틴 인사 중 대표적으로 꼽히는 알렉세이 나발니(Alexey Navalny)가 살아생전 창립한 단체가 하나 있다. ‘반부패재단(FBK)’이라고 하며, 이는 반푸틴 운동의 거점이 되기도 한다. 그런데 최근 엑스 생태계에서 이 FBK를 비난하는 댓글들이 나타나기 시작했다. 분석했을 때 그런 글을 올리는 계정과 댓글 모두 인공지능으로 만들어진 것임이 드러났다.
[이미지 = gettyimagesbank]
“공격자들이 생성한 콘텐츠는 러시아로 게시된 글에, 주로 영어로 된 댓글 형태로 게시됐습니다. 하지만 원 게시글과 전혀 다른 내용의 댓글일 때가 많았습니다. 뜬금없이 FBK를 비난하는 댓글이 달린 것이죠. 이런 활동들에 사용된 계정들은 대부분 2023년 12월에 생성된 것으로 분석됐습니다. 프로필 사진에는 오래된 풍경 사진이 주로 사용됐습니다. 이 사진들은 오래된 인공지능 기술로 생성된 것으로 밝혀졌습니다.”
이 작전 역시 큰 성과를 거두지는 못한 것으로 보인다. 해당 댓글들에 관심을 준 사람이 거의 없었기 때문이다. “답글도 없고, 퍼간 흔적도 없습니다. 대화가 파생되지도 않았고요. 엉뚱한 글에 엉뚱한 댓글이 덩그러니 남아 있었던 것이 전부입니다. 게다가 엑스 외 다른 플랫폼에서 같은 활동이 벌어지지도 않았습니다. 시도는 있었으나 아무런 성과를 거두지 못한 작전으로 평가됩니다.”
[국제부 문정후 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.JPG){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
