생성형 AI, 잘 쓰면 ‘약’ vs. 잘못 쓰면 치명적인 ‘독’

2024-09-11 17:17
  • 카카오톡
  • 네이버 블로그
  • url
임종인 사이버특보, 방어 측면에서 AI를 효과적으로 활용할 수 있는 방안 마련해야
생성형 AI 모델 취약점을 자동으로 빨리 찾고, 자동 패치하는 기술개발 필요


[보안뉴스 김경애 기자] 공격과 방어 모두 활용될 수 있는 생성형 AI 기술. 잘만 활용하면 보안의 효율성을 높여주는 반면, 악용될 경우 엄청난 피해를 야기할 수 있다. 이에 따라 양날의 검인 생성형 AI를 효율적으로 활용하기 위한 방안 마련이 중요해지고 있다.


▲‘CSK 2024’에서 강연하고 있는 카이스트 전기및전자공학부 신승원 교수[사진=보안뉴스]

임종인 대통령 사이버특별보좌관은 ‘CSK 2024’에서 공격과 방어가 가능한 생성형 AI에 대해 “생성형 AI 기술은 공격, 방어 모두 사용될 수 있는 중립된 기술”이라며 “AI 기술은 아직 보안 취약점이 있지만, 지속적인 개선을 통해 방어 측면에서 AI를 잘 활용할 수 있는 방안을 마련해야 한다”고 강조했다.

특히 생성형 AI를 활용해 취약점을 자동으로 찾고, 자동으로 패치하는 기술 개발이 필요하다는 의견이 제기됐다. 이러한 가운데 생성형 BERT AI를 활용해 다크웹 등에서 원하는 정보를 찾아내는 연구 사례가 제시돼 이목이 집중됐다.

카이스트 전기및전자공학부 신승원 교수는 사이버 공격 현황과 관련해 “이제는 사이버 공격이 어렵지 않게 됐다”며 “다크웹 등에서 공격하고 싶은 기업의 정보를 손쉽게 구매해 공격하거나 소셜 엔지니어링을 통해 정보를 1차로 얻어 사칭 공격을 수행하는 등 사이버 공격이 쉬워졌다”고 말했다.

그러면서 생성형 BERT AI를 활용한 보안 연구사례를 소개했다. 2021년부터 수집한 600만개 이상의 다크웹 데이터를 BERT AI를 이용해 사전 학습시킨 결과, 랜섬웨어 사이트를 찾아내는 정확도가 84.7%에 달했다고 설명했다.

신 교수는 “일반 언어를 사용하는 AI 모델은 해시, URL, IP 주소 등 보안관점에서 필요한 정보를 제외시킨다”며 “일반 언어가 아니기 때문에 제외시키는 것으로는 학습에 한계가 있다. 하지만 BERT AI 모델을 보안 관점에서 필요한 정보를 별도로 학습시키면 유용하게 활용할 수 있다”고 설명했다.

그러면서 신 교수는 “또한 LLM, SLM 모델을 사이버 보안에 유용하게 활용하기 위해서는 필요로 하는 분야의 전문지식을 학습시키고, 각 필드에 맞는 도메인별 언어 모델과 사이버 보안을 위한 전문 모델을 갖춰야 한다”고 말했다.


▲‘CSK 2024’에서 강연하고 있는 연세대학교 정보대학원 권태경 교수[사진=보안뉴스]

연세대학교 정보대학원 권태경 교수는 생성형 AI의 보안 위협을 제시했다. 권태경 교수는 “생성형 AI에 프롬프트 명령어를 줄 수 있고, 정보를 가져오는 사이에 해킹될 수 있는 등 다양한 보안 위협이 존재한다”며 “주요 보안 위협으로는 명령 실행 공격인 프롬프트 주입(Prompt Injecton) 공격, 생성형 AI가 학습된 데이터에서 기밀정보나 개인정보를 빼낼 수 있는 데이터 추출 공격, 데이터 추출을 막기 위한 가드를 우회하는 Jailbreaking을 통한 악용 공격 등이 있다”고 말했다.

이어 권 교수는 “기술적으로는 다양한 대응방안이 필요하지만 실용적으로 적용하기 어려운 경우가 있다”며 “현재로서는 생성형 AI 모델의 취약점을 자동으로 빨리 찾고, 자동으로 패치하는 고도화된 기술이 필요하다”고 강조했다.
[김경애 기자(boan3@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>

헤드라인 뉴스

TOP 뉴스

이전 스크랩하기


과월호 eBook List 정기구독 신청하기

    • 알티솔루션

    • 인콘

    • 엔텍디바이스코리아

    • 마이크로시스템

    • TVT코리아

    • 아이디스

    • 씨프로

    • 웹게이트

    • 지오멕스소프트

    • 하이크비전

    • 한화비전

    • ZKTeco

    • 비엔에스테크

    • 비엔비상사

    • 원우이엔지

    • 지인테크

    • 다후아테크놀로지코리아

    • 이화트론

    • 다누시스

    • 테크스피어

    • 렉스젠

    • 슈프리마

    • 혜성테크윈

    • 시큐인포

    • 미래정보기술(주)

    • 비전정보통신

    • 인텔리빅스

    • 경인씨엔에스

    • 세연테크

    • 성현시스템

    • 한결피아이에프

    • 유니뷰코리아

    • 디비시스

    • 프로브디지털

    • 스피어AX

    • 투윈스컴

    • 트루엔

    • 한국씨텍

    • 위트콘

    • 유에치디프로

    • 넥스트림

    • 포엠아이텍

    • 세렉스

    • 제이슨

    • 라온시큐어

    • 시만텍

    • 유니닥스

    • 사이버아크

    • 한국IBM

    • 신우테크
      팬틸드 / 하우징

    • 에프에스네트워크

    • 네이즈

    • 케이제이테크

    • 셀링스시스템

    • 창성에이스산업

    • 아이엔아이

    • 미래시그널

    • 새눈

    • 에스에스티랩

    • 유투에스알

    • 에이앤티코리아

    • 네티마시스템

    • 태정이엔지

    • 에이티앤넷

    • (주)일산정밀

    • 주식회사 에스카

    • 두레옵트로닉스

    • 넥스텝

    • 모스타

    • 에이앤티글로벌

    • 현대틸스
      팬틸트 / 카메라

    • 지에스티엔지니어링
      게이트 / 스피드게이트

    • 엘림광통신

    • 보문테크닉스

    • 지와이네트웍스

    • 티에스아이솔루션

    • 구네보코리아주식회사

    • 동양유니텍

    • 엔에스티정보통신

    • 엔시드

    • 포커스에이치앤에스

    • 메트로게이트
      시큐리티 게이트

    • 엠스톤

    • 글로넥스

    • 유진시스템코리아

    • 카티스

    • 세환엠에스(주)

Copyright thebn Co., Ltd. All Rights Reserved.

MENU

회원가입

Passwordless 설정

PC버전

닫기