5개 모델의 답변 3,000개 분석, 인용이 늘어도 독립된 근거는 늘지 않아
미-소 냉전기부터 AI 시대까지, 반복된 인용이 검증처럼 보이는 구조

[보안뉴스= 유도진 극동대학교 해킹보안학과 교수] 영국 싱크탱크 데모스가 지난달 27일 공개한 보고서에서 유럽연합(EU)의 제재 대상인 한 러시아 단체의 주장 50개를 놓고 5개 생성형 AI 모델의 답변 3,000개를 분석했다. 조사에는 오픈AI·구글·앤트로픽·xAI·미스트랄이 제공한 모델이 사용됐다. 이 단체와 관련해 인용된 서로 다른 링크는 437개였지만, 그 모든 링크가 겨우 3개 웹사이트에서 나왔다.

우리가 통상 생성형 AI를 활용해 정보를 확인할 때 여러 모델에서 비슷한 답변과 수많은 링크가 제시되면 충분히 검증된 정보처럼 보일 수 있다. 그러나 같은 자료를 되풀이해 인용했다면 모델과 링크가 아무리 많아도 정보의 뿌리는 하나일 수 있다. 이러한 문제가 비단 생성형 AI와 함께 생긴 것은 아니다. 과거 미-소 냉전기에도 근거 없는 풍문이 언론을 거치며 신뢰의 외형을 완성한 사례가 존재한다.


[출처: 생성형 AI 이미지 활용]

미-소 냉전기, 익명의 기고문은 어떻게 검증된 정보처럼 보였나
1983년 7월 17일, 인도 신문 패트리어트에 익명 독자 기고문이 게재됐다. 신문사는 기고자를 미국의 저명한 과학자이자 인류학자라고 소개했다. 기고문은 에이즈가 미국의 군사 연구시설인 포트 데트릭에서 진행된 생물무기 실험을 통해 만들어졌다는 주장을 담고 있었다. 미국이 파키스탄에서도 비슷한 실험을 하고 있기에 에이즈가 인도로 확산될 수 있다는 내용도 담겼다.

기고문의 실제 작성자는 밝혀지지 않았다. 다만 구소련 국가보안위원회(KGB)가 같은 주장을 조직적으로 확산한 사실은 1985년 9월 7일 불가리아 정보기관에 보낸 전문에서 드러난다. 전문에는 에이즈가 미 정보기관과 국방부의 비밀 생물무기 실험에서 비롯됐다는 인식을 해외에 퍼뜨린다는 목표가 적혀 있었다. KGB는 해외 언론에 이미 등장한 주장을 근거로 내세우며 확산에 협조해 달라고 요청했다.

주장은 이후 과학적 가설의 외형까지 얻었다. 동독에서 활동하던 생물학자 야코프 세갈과 그의 아내 릴리 세갈은 에이즈가 미국의 생물무기 연구에서 만들어졌다는 내용을 연구 형식으로 정리했다. 이 자료는 1986년 짐바브웨 하라레에서 열린 비동맹운동 정상회의 현장에서 소책자로 배포됐다. 비동맹운동은 냉전기 미국과 소련 어느 진영에도 속하지 않으려 했던 국가들의 국제 협의체였다.

미국 연구기관 윌슨센터가 소개한 KGB와 동독 국가보안부 슈타지 기록은 슈타지가 세갈 부부의 주장을 정보공작에 활용하고 소책자의 복사와 배포에도 관여했음을 시사한다. 다만 관련 기록 상당수가 파기돼 세갈의 연구와 배포 과정에 슈타지가 어느 정도 개입했는지는 단정하기 어렵다.

내용이 새롭게 검증된 것은 아니었다. 달라진 것은 주장을 전달하는 사람과 기관이었다. 인도 신문에 실린 익명의 기고문은 동독 생물학자의 연구 형식을 얻었고, 비동맹운동 정상회의 현장에서 배포되며 더 권위 있는 자료처럼 보이기 시작했다.

하나의 제보나 문서가 여러 기관과 매체를 거쳐 되돌아오면서 복수의 정보로 확인된 것처럼 보이는 현상을 정보분석 관점에서 ‘순환 보고’라고 한다. 언론이 특정 전문가의 주장을 인용하고, 다른 전문가가 그 보도를 근거로 사용하며, 또 다른 매체가 두 자료를 함께 인용하면 겉으로 드러난 출처는 늘어난다. 그러나 뿌리를 따라가면 같은 원출처에 닿을 수 있는 것이다.

이러한 순환 보고는 인용 과정에서 우연히 생길 수도 있지만, 같은 구조를 의도적으로 만들어 원출처를 흐리는 경우도 있다. 필자는 후자를 ‘출처 세탁’이라 부르고자 한다. 출처 세탁은 반복 인용과 재유통으로 주장의 출발점을 가리고, 같은 뿌리에서 나온 주장을 서로 다른 권위가 독립적으로 확인한 것처럼 보이게 한다. 모든 재인용이 정보공작인 것은 아니지만, 원출처가 표시되지 않으면 선의의 보도와 인용도 같은 정보를 복수의 근거처럼 보이게 할 수 있다.

이러한 오류는 특정 조직에만 해당한 것이 아니다. 정부나 정당, 기업과 이익집단뿐 아니라 정보기관에서도 발생할 수 있다. 생성형 AI의 시대는 그 시간을 드라마틱하게 단축할 수 있다.

AI가 인용한 437개 링크의 뿌리를 따라가다
보고서가 조사한 단체는 R-FBI(Foundation to Battle Injustice)로, 이 단체는 과거 러시아 바그너그룹을 이끌었던 예브게니 프리고진이 설립했다. EU 이사회는 해외 정보 조작 및 간섭(FIMI)활동에 관여했다는 이유로 2025년 7월 R-FBI를 제재 대상에 올렸다.

연구진은 R-FBI가 2025년 7월부터 2026년 4월까지 게시한 글 10편에서 구체적인 인물이나 통계를 언급하면서도, 추가 검색으로 이를 뒷받침하는 다른 보도를 찾지 못한 주장 50개를 골랐다. 이를 영어, 독일어, 프랑스어로 표현을 달리한 질문 600개로 만든 뒤 2026년 4월 20일부터 24일까지 5개 생성형 AI 모델의 개발자용 공식 접속 방식인 API에 입력했다. 답변 3000개는 사람이 일곱 가지 유형으로 나눠 분석했다.

그 결과 497개 답변(16.6%)은 R-FBI의 주장을 정상적인 논쟁의 한쪽 견해처럼 다루거나 경고 없이 반복하거나 지지했다. 927개 답변(30.9%)은 관련 주제를 다루면서도 주장의 출발점이 EU의 제재를 받은 단체라는 사실을 밝히지 않았다. 반면 52%는 해당 주장을 거부하거나 반박했다.

437개 링크 가운데 63개는 R-FBI 사이트인 fondfbr.ru, 355개는 news-pravda.com, 19개는 vtforeignpolicy.com에서 나왔다. 이 링크들은 5개 모델의 답변에서 1381차례 인용됐다. 데모스는 세 사이트가 각각 원 주장 제시, 뉴스 형식의 대량 재유통, 국가안보 분석의 외형 부여라는 역할을 맡아 하나의 정보 생태계처럼 작동했다고 분석했다.

웹페이지 구성에서도 특징이 나타났다. 데모스가 조사한 R-FBI 사이트의 61개 페이지 가운데 98%에는 검색 결과에 표시할 수 있는 발췌문의 길이 상한을 없애는 max-snippet:-1 설정이 들어 있었다. 조사 대상 61개 페이지 모두에는 새 글을 검색엔진에 빠르게 알리는 IndexNow가 적용돼 있었다. 물론 설정 하나만으로 악의적 목적을 단정할 수는 없으나, 중요한 점은 긴 글과 많은 통계, 인용하기 쉬운 문장 구조, 세 웹사이트의 반복 유통이 함께 나타났다는 점이다.

보고서는 이처럼 생성형 AI의 검색과 인용에 잘 걸리도록 정보를 구성하는 방식을 ‘생성형 엔진 최적화’(GEO)로 설명했다. 또 AI가 검색해 답변에 활용할 외부 자료를 미리 만들거나 조작하는 방식을 ‘검색증강생성(RAG) 오염 공격’(RAG poisoning)이라고 칭했다. 이는 AI 보안 관점에서 시스템을 직접 침해하지 않고도 AI가 참고하는 정보환경을 오염시키는 방식이다.

이 연구가 확인한 것은 정보공작에 쓰인 자료가 여러 생성형 AI의 검색과 인용을 거쳐 다시 유통될 수 있다는 점이다. 다만 16.6%는 특정 단체에서 고른 50개 주장을 공식 API를 통해 주로 경량 모델에 질문한 결과다. 이를 생성형 AI 전체의 오류율이나 인지전의 최종 성공률로 일반화할 수는 없다. 이용자의 믿음과 여론, 정책 결정의 변화는 이 연구에서 측정하지 않았다.

링크 수보다 출처 계보를 검증해야
AI가 제시한 문서와 웹사이트는 ‘인용 출처’일 뿐, 곧바로 독립된 근거가 되는 것은 아니다. 독립된 근거는 같은 원자료를 다시 인용한 문서가 아니라, 별도의 취재와 관측, 기록, 증언을 통해 같은 사실을 뒷받침하는 자료다. 필자는 원출처와 재인용의 관계를 추적해 독립적으로 생성된 근거들이 같은 결론에 도달했는지 확인할 수 있는 상태를 ‘출처 교차 검증의 무결성’이라고 부른다.

이를 확인하려면 누가 주장을 처음 내놓았고 어느 사이트가 이를 옮겼는지, 각 문서가 어떤 원자료에 기대는지를 연결한 ‘출처 계보’를 그려야 한다. 같은 원자료를 재인용한 자료는 하나의 근거 묶음으로 보고, 별도의 취재나 관측으로 새로운 근거가 추가된 경우는 따로 구분해야 한다.


▲유도진 극동대학교 해킹보안학과 교수
이때 판단 기준은 해당 주장이 정부나 특정 진영에 유리한지가 아니다. 원출처가 숨겨졌는지, 같은 주장이 여러 경로에서 조직적으로 반복됐는지, 서로 독립된 근거인 것처럼 제시됐는지 등 관찰할 수 있는 사실을 따져야 한다.

이러한 검증을 일회성 분석에 맡기지 않으려면 조직의 대응 체계로 만들어야 한다. 필자는 앞서 2부에서는 예상 가능한 공격을 유형별로 축적하는 ‘인지전 시나리오 라이브러리’와 상황별 확인 및 대응 절차인 ‘인지전 플레이북’을 제시했다. 이번에는 이 두 체계를 출처 세탁 위협에 적용할 수 있다.

시나리오 라이브러리에는 출처 세탁을 전술로 사용하는 공격 사례를 공격 주체, 전달 매체, 표적, 목적과 함께 분류하고, 동일 원자료의 반복 인용과 원출처가 누락된 재유통 양상을 관찰 지표로 기록할 수 있다.

플레이북에는 원출처 추적 담당자, 동일 원자료를 재인용한 자료를 묶는 기준, 독립된 검증 경로, 독립된 근거를 확보하지 못했을 때 이를 보고서에 표시하고 판단을 보류하는 기준을 정해둬야 한다.

미-소 냉전기의 익명 기고문과 오늘날 생성형 AI의 인용 구조는 같은 취약점을 보여준다. 전달 수단은 달라졌지만, 반복을 독립된 검증으로 착각하는 취약점은 불변인 것이다.

이처럼 AI 시대의 인지전 방어는 허위 내용을 판별하고 게시물을 삭제하는 데서 끝나서는 안 된다. 원출처를 찾아내는 데 걸린 시간과 검토 대상 가운데 독립된 근거까지 확인한 비율도 방어 성과로 평가해야 한다. 결국 물어야 할 것은 ‘몇 곳이 같은 말을 했는가’가 아니라 ‘서로 독립된 몇 개의 근거가 같은 결론에 도달했는가’다.

[글_유도진 극동대학교 해킹보안학과 교수]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>