보안담당자, AI 도입·활용 안전하게 관리하는 정보보안 거버넌스 역할 수행해야

[보안뉴스= 문광석 기술사/코리안리 IT보안파트장] 2016년 3월, 알파고(AlphaGo)와 이세돌의 바둑 대결에서 아무도 예상하지 못한 결과가 나왔다. 알파고가 4승 1패로 승리를 거두며, 본격적인 인공지능 시대의 서막을 알린 것이다.

사람들은 인공지능의 압도적인 실력에 놀라움을 감추지 못했고, 이후 알파고 마스터(AlphaGo Master), 그리고 학습 데이터 없이 스스로를 이길 수 있는 알파고 제로(AlphaGo Zero)까지 등장하며 인공지능 기술은 끊임없이 발전해 나갔다. 그 이후, 한동안 바둑이나 체스처럼 정해진 규칙 내에서 계산 능력이 뛰어난 ‘약한 인공지능’으로만 활용하며 사람들은 자신의 역할이 있음에 안심할 수 있었다.


[자료: 게티이미지]

그러나 2022년 11월 30일, OpenAI가 개발한 ChatGPT의 등장 이후, 인류는 더 이상 안심할 수 없었다. 자연어를 기반으로 사람과 대화하며 의견을 주고받고, 범용적인 업무까지 수행할 수 있는 ‘강한 인공지능’이 출현한 것이다.

이에 따라 인공지능 기업들은 앞다투어 대규모 언어 모델(LLM, Large Language Model) 개발에 뛰어들었고, 그 결과 Gemini, Claude, Copilot 등 다양한 제품이 출시되며 현재까지 지속적으로 발전하고 있다. 이제 인공지능은 이미지·영상 제작, 데이터 분석, 가상 비서 역할까지 수행하며, 혁신적인 생산성 향상을 통해 그 한계를 끊임없이 확장해 나가고 있다.

그렇다면 보안 분야에서의 인공지능은 어떨까? 여전히 ‘약한 인공지능’처럼 특정 업무에만 능숙할까, 아니면 모든 업무를 수행할 수 있는 범용적인 ‘강한 인공지능’으로 발전했을까?

아쉽게도 보안 분야도 인공지능의 발전에서 예외는 아니었다. 과거에는 나만의 전문성이라 여겼던 보안 전문지식, CVE(공개 취약점) 정보, 각종 로그 분석 기법 등이 이제는 ChatGPT나 Perplexity와 같은 도구를 활용해 누구나 손쉽게 확인할 수 있게 되었다. 이제 보안 지식은 특정 전문가들만의 전유물이 아니라, 누구나 접근할 수 있는 시대가 된 것이다. 이는 가트너가 2020년 10대 전략 기술 트렌드 중 하나로 선정한 ‘전문성의 민주화(Democratization of Expertise)’가 현실화된 사례라 할 수 있다.

요즘은 ‘디지털 리터러시(Digital Literacy, 디지털을 이해하고 다룰 줄 아는 능력)’보다 ‘AI 리터러시(AI Literacy)’가 더 중요한 시대가 온 듯하다. 어느새 10살짜리 어린아이조차 검색창보다 GPT나 클로바에 말을 걸어 지식을 얻고 있으며, 단순한 정보부터 보안전문가만 알고 있던 다양한 경험까지도 손쉽게 확인할 수 있는 시대가 되었다.

하지만 AI의 활용은 어린아이들뿐만 아니라 악의적인 공격자들에게도 확산되고 있다. 최근 딥페이크(DeepFake, 딥러닝 기술을 이용해 이미지와 영상을 합성하는 기술)가 사회적 문제로 떠오르며, 이를 이용한 가짜 뉴스와 포르노 제작이 큰 논란을 일으키고 있다. 또한 AI를 활용한 스피어 피싱(Spear Phishing, 특정 개인이나 그룹을 정교하게 타깃팅한 피싱 공격)이 더욱 정밀하고 효과적으로 수행되면서 보안 위협이 점점 심화되고 있다.

예를 들어, 과거에는 한국을 대상으로 한 스피어 피싱 공격에서 가장 큰 걸림돌 중 하나가 한국어였다. 그러나 이제는 LLM을 활용하면 한국어 어투까지 자연스럽게 구현할 수 있어 공격이 더욱 정교해지고 있으며, 실제 피해로 이어지는 사례도 증가하고 있다.

또한, 최근 여러 논문을 살펴보면 비밀번호 추측 공격의 효율성을 높이기 위해 강화 학습 등 다양한 머신러닝 기법이 활용되고 있다. 이제는 단순히 비밀번호 획득을 위해 ‘John the Ripper’ 같은 도구를 이용해 무작위 대입 공격을 수행하고 기다리는 시대가 아니라는 것이다.

실제로 OpenAI가 탐지한 사례에 따르면, 중국을 근거지로 한 ‘스위트스펙터(SweetSpecter)’ 그룹은 정찰 및 취약점 연구에 AI를 활용해 피싱 공격을 준비했고, ‘사이버 어벤져스(CyberAvengers)’는 인공지능을 이용해 취약점을 분석하고 익스플로잇(Exploit) 스크립트를 작성하는 등 점점 더 조직적인 방식으로 AI를 활용한 공격을 수행하고 있다.

그렇다면 우리 같은 보안담당자들은 인공지능을 어떻게 활용해야 할까?

아무리 뛰어난 보안 전문가라도 발생하는 모든 이벤트를 직접 분석할 수는 없다. 인간의 한계는 명확하며, 24시간 365일 내내 분석하는 것도 불가능할 뿐만 아니라, 생성되는 이벤트의 양이 분석할 수 있는 이벤트의 양보다 훨씬 많기 때문이다. 그러나 인공지능은 다르다. 사람이 하기 어려운 반복적인 이벤트의 초기 분석을 수행해 위험도가 높은 이벤트 조합과 낮은 이벤트 조합을 분류할 수 있다.

위험도가 낮은 이벤트는 사전에 정해진 정책을 기반으로 자동 차단하여 기존의 보안관제 대응을 강화할 수 있다. 이를 SIEM(Security Information and Event Management)과 SOAR(Security Orchestration, Automation and Response) 시스템과 연계하면, 정해진 대응 절차(Playbook)를 자동으로 실행하여 기존에 2시간 이상 소요되던 이벤트 티켓 처리를 단 5분 만에 완료할 수도 있다.

이처럼 반복적인 업무를 AI가 처리하도록 하면, 보안담당자들은 실제로 위험성이 높은 이벤트에 충분한 시간을 투자하여 심층적인 분석과 대응을 할 수 있다. 결국 인공지능을 효과적으로 활용하면 보안 사고 대응의 생산성을 기존과 비교할 수 없을 정도로 향상시킬 수 있을 것이다.

또한, 포렌식 및 사고 대응의 기본이 되는 증거 수집부터 타임라인 분석을 통한 사고 내역 분석까지 자동으로 수행하는 시스템이 등장하고 있다. 여러 보안 솔루션이 개별로 보유하고 있던 사고 증적 자료를 통합하여 자연어 기반 프롬프트 대화를 통해 질문하고 악성 행위를 분석할 수 있는 플랫폼이 개발되고 있다. 예를 들어, Microsoft의 Security Copilot과 같은 AI 기반 분석 플랫폼은 다양한 외부 위협 인텔리전스(TI, Threat Intelligence)와 연동하여 자동으로 심층적인 보안 분석을 가능하게 하며, 보안담당자의 생산성을 극대화하는 도구로 자리 잡아가고 있다.

좀 더 피부에 와닿는 예시로, 매 월/분기마다 보안담당자를 괴롭히는 반복적인 정기 점검 보고서도 AI와 RPA(Robotic Process Automation)를 통해서 여러 개의 장비를 빠짐없이 확인한 후에 손쉽게 자동으로 잘 만들어 줄 수도 있다.

그렇다면 보안담당자들은 이러한 AI 기반 보안 도구를 단순히 잘 활용하기만 하면 될까? 아쉽게도 그렇지 않다. 인공지능 시대에서 보안담당자의 역할은 단순한 도구 활용을 넘어 인공지능 자체를 통제하고 관리하는 역할까지 요구받고 있기 때문이다.

국내에서 가장 엄격한 규제를 받는 금융 분야에서도 AI 활용을 위한 망 분리 예외가 허가되기 시작했다. 특히, 규제 샌드박스를 통해 혁신금융서비스로 선정된 경우, 기존 법령상 망 분리 의무를 준수해야 하는 금융회사들도 허가하에 Azure OpenAI, AWS Bedrock 등의 다양한 AI 서비스를 활용할 수 있게 되었다.

그러나 이러한 허가가 무조건적으로 이루어지는 것은 아니다. 금융감독원의 비즈니스적 검토를 거쳐야 할 뿐만 아니라, 선정된 이후에도 CSP(Cloud Service Provider) 안전성 평가, 제공자 평가, 보안대책 평가 등을 모두 수행하고, 보안성이 확인된 경우에만 서비스 개시가 가능하다.

이처럼 많은 기업이 AI 도입을 적극적으로 검토하는 가운데, 보안 담당자는 단순히 AI를 활용하는 것을 넘어, 그 AI가 실제로 안전한지를 확인하고 통제하는 중요한 역할을 수행해야 한다.

최근 취약점 분석의 트렌드도 급격히 변화하고 있다. 과거에는 웹 취약점 점검이나 인프라 취약점 점검이 주를 이루었지만, 인공지능 기술이 발전하면서 이제는 AI Red Teaming 형태로 프롬프트를 공격하는 진단 기법이 증가하고 있다. 또한, ‘Do Not Answer Data-Set’과 같은 모델 검증 세트가 확대되면서, AI가 특정 질문에 응답하지 않도록 통제하는 연구도 활발히 진행되고 있다. 비즈니스 확장과 함께 취약점 점검의 대상도 점점 늘어나고 있는 것이다.

특히, 인공지능을 직접 타깃으로 한 적대적 공격(Adversarial Attack) 기법도 다양해지고 있다. 대표적인 공격 방식으로는 △포이즈닝(Poisoning)– 최소한의 오류 데이터를 주입하여 AI의 오작동을 유도하는 기법 △이베이전(Evasion)– 입력 데이터를 미세하게 변조하여 다른 클래스로 인식하게 만드는 기법 △모델 익스트랙션(Model Extraction)– 공개된 모델을 모방하여 유사한 모델을 만들어내는 공격 △데이터 인버전(Inversion)– 모델에 쿼리를 전송한 후 응답값을 분석해 학습 데이터를 유추하는 방식 등이 있다. 이처럼 AI 자체를 대상으로 한 보안 위협이 점점 더 정교해지고 있으며, 이에 대한 대응 전략이 필수적으로 요구되고 있다.

우리는 이미 보안 문제가 발생한 인공지능 서비스를 경험한 바 있다. 바로 딥시크(DeepSeek) 사례다.

딥시크는 강력한 추론 능력을 갖춘 인공지능 서비스로 출시됐지만, 보안 조치가 미흡한 상태에서 시장에 공개됐다. 결국 2025년 1월, AI 데이터베이스가 노출되면서 사용자 채팅 기록, 비밀 키, 백엔드 시스템 정보, API 인증 키 등 다양한 데이터가 유출됐다. 또한, 개인정보 상세한 검토 없이 데이터를 무차별적 수집한 사실이 밝혀지면서 미국을 비롯한 국내 공공 및 금융 기관 등 여러 기관에서 해당 서비스에 대한 차단 조치를 내렸다.

이후 개인정보보호위원회의 분석 결과, 2025년 2월 15일부로 딥시크의 국내 신규 서비스가 잠정 중단됐으며, 현재는 애플 앱스토어와 구글 플레이스토어를 포함한 국내 모든 앱 마켓에서 딥시크 앱의 신규 다운로드가 불가능한 상태다.

이처럼 아무리 뛰어난 성능을 가진 인공지능이라 하더라도, 보안이 취약한 서비스는 더 이상 시장에서 살아남을 수 없다.

이제 보안담당자들은 단순히 보안정책을 운영하는 역할을 넘어 인공지능을 도입하려는 CEO들에게 안전한 활용 방안을 제시해야 하며, 인공지능 모델의 강건성(Robustness) 확보와 개인정보보호 이슈에 대한 대응책을 마련하고, 이를 명확하게 설명할 수 있어야 하는 시대가 된 것이다.


▲문광석 기술사
최근 AI 기본법이 국회 본회의를 통과하면서, 인공지능을 위한 법적 체계가 마련되기 시작했다. 특히, ‘고영향 인공지능’의 개념이 정의되면서, 이에 대한 안전성과 신뢰성 확보가 중요한 이슈로 떠오르고 있다. 법안에서는 위험 관리 방안, 인공지능 설명 가능성, 이용자 보호 방안 등 필수적으로 수행해야 하는 보호 조치를 명시하고 있다. 이는 AI의 사용을 금지하는 것이 아니라, 영향도에 따라 더욱 강력한 모니터링과 위험 관리 체계를 구축해야 한다는 의미다.

이제 무조건적인 금지가 아닌, 신뢰할 수 있는 활용 방안을 마련해야 하는 시대가 도래했다. 이러한 변화 속에서 보안담당자들은 더 이상 무조건적인 통제만으로 대응할 수 없다. 중요한 것은 ‘사용하지 말라’가 아니라, ‘어떻게 안전하게 사용할 것인가’다.

인공지능 시대의 보안담당자는 AI의 도입과 활용을 안전하게 관리하는 정보보안 거버넌스의 역할을 수행해야 하며, 단순히 ‘No’라고 외치는 것이 아니라 ‘How’를 고민해야 하는 시대에 살아가야 하는 것이다.
[글_ 문광석 기술사/코리안리 IT보안파트장]

필자 소개_
- 과학기술정보통신부 사이버보안전문단
- 한국정보공학기술사회 미래융합기술원장
- 차세대 보안리더 양성프로그램(Best of Best) 보안컨설팅 멘토
- 국가직무능력표준(NCS) 학습모듈 정보보호분야 개발진
- 금융보안원 & 한국인터넷진흥원(KISA) 정보보안 강사, 교육과정 자문위원, 제안평가위원
- 키워드로 정리하는 정보보안 119, 삐뽀삐뽀 보안 119 저자
- 정보관리기술사, 정보시스템 수석감리원, ISMS-P 인증심사원, ISO27001 인증심사원, 개인정보영향평가원, K-Shield(최정예 사이버보안 전문가), AWS Security Specialty, CISSP, CEH, CPPG 등

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>