AI가 생성한 링크 통해 금융정보·비밀번호 탈취 시도
AI 개발사들, 악성 프롬프트 차단 필터 강화 추진

[보안뉴스 김형근 기자] 생성형 인공지능(AI) 플랫폼 챗GPT의 웹 요약 기능을 악용해 사용자를 피싱 사이트로 유인하는 ‘챗지피시’(ChatGPhish) 취약점의 위험성을 보안 기업 퍼미소 시큐리티(Permiso Security)의 AI 보안 전문가들이 경고했다.


▲챗GTP에서 웹 요약 기능을 활용하면 링크가 뜬다 [출처: 보안뉴스]

공격자들은 외부 웹사이트에 은밀한 악성 명령어를 삽입한 뒤, AI가 해당 페이지를 요약하는 과정에서 피싱 화면이나 사기성 링크를 생성하도록 유도하는 것으로 알려졌다.

이들은 AI 취약점을 노리는 간접 프롬프트 주입(Indirect Prompt Injection) 기법을 활용해 AI가 출력하는 결과물을 자신들의 의도대로 조작한다. 전문가들은 일부 위협 조직이 이 같은 메커니즘을 실제 공격에 활용해 사용자들의 금융 인증 정보와 계정 비밀번호를 탈취한 정황도 확인했다고 밝혔다.

특히 일반 사용자는 AI가 제공한 요약 결과에 포함된 링크를 신뢰하는 경향이 있어, 별다른 의심 없이 가짜 로그인 페이지로 접속할 위험이 크다.

전문가들은 이번 공격이 기존 이메일 피싱과 달리 신뢰받는 AI 플랫폼의 답변 자체를 악용한다는 점에서 더욱 교묘한 사회공학 기법이라고 분석했다. 또한 AI 모델이 외부 웹 데이터를 수집·가공하는 과정에서 악성 지시문을 완벽하게 차단하지 못하는 구조적 한계를 드러낸 사례라고 지적했다.

이에 따라 전문가들은 시스템 관리자들에게 AI가 생성한 요약 정보에 포함된 하이퍼링크의 실제 주소를 철저히 검증하고, AI 기반 서비스에 대한 보안 모니터링 체계를 강화할 것을 권고했다.

주요 AI 개발사들도 해당 취약점의 심각성을 인식하고 악성 프롬프트 실행을 차단하기 위한 응답 검증 필터(Validation Filter) 고도화 작업을 진행 중인 것으로 전해졌다.

전문가들은 AI 기술 활용이 확대될수록 이를 악용한 신종 사이버 범죄 역시 증가할 것으로 예상된다며, AI가 제공하는 정보와 링크를 무조건 신뢰하기보다 지속적인 검증과 경계가 필요하다고 강조했다.

[김형근 기자(editor@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>