머신러닝도 공격 받을 수 있는데, 법적 보호 장치가 부족하다

2020-03-02 15:56
  • 카카오톡
  • 네이버 블로그
  • url
회피 공격, 모델 탈취 공격, 중독 공격...법적 시스템 부족으로 방어가 애매
입법 절차의 가속화는 아직 바라기에 일러...머신러닝에 대한 법계의 관심 필요


[보안뉴스 문가용 기자] 기업들 사이에서 머신러닝 시스템의 도입이 빠르게 증가하고 있다. 사이버 범죄자들은 이 머신러닝마저 침해하기 위한 노력에 박차를 가하고 있다. 그런데 머신러닝 시스템의 침해를 가능케 하는 건 머신러닝과 관련된 규정과 정책이라는 지적이 지난 주 열린 RSAC에서 나왔다. 보다 정확히 말하자면, 머신러닝과 관련된 규정과 정책이 부족한 게 가장 큰 문제라고 한다.


[이미지 = iclickart]

RSAC 컨퍼런스에서 패널 토론회 방식으로 진행된 ‘머신러닝의 규정 부족’ 문제 관련 세션에서 마이크로소프트의 AGC인 크리스틴 구드윈(Cristin Goodwin)은 “머신러닝과 관련된 판례는 미국 사법 시스템 기준으로 52개이 불과하다”며 “그나마도 대부분은 특허 분쟁과 관련된 것”이었다고 말했다. “판례가 너무 적어 사실상 머신러닝에 대한 사이버 공격에 법적으로 대응할 준비가 갖춰져 있지 않다고 봐도 무방합니다. 그것이 지금 머신러닝 공격 대응책에 있어서 가장 부족한 부분입니다.”

고소와 재판의 나라라는 미국에서조차 판례가 적은 건 왜일까? “사이버 보안과 관련된 규정 중 가장 중요한 건 ‘컴퓨터 사기 및 남용에 관한 법’과 ‘전자 통신 프라이버시 법’입니다. 그런데 이 두 가지에는 머신러닝 공격에 관한 내용이 거의 없습니다. 즉 법적 사건이 이뤄질 근간이 부족했던 것이죠. 법적 형벌이 갖는 억제력이 머신러닝이라는 분야에서는 발휘되지 않는다는 듯입니다. 겨우 저작권과 같은 특허 문제에나 조금 법적 장치가 있을 뿐입니다.”

그렇다는 건 머신러닝을 도입하는 조직들을 위한 법적 보호 장치가 없다는 뜻도 된다. 아이러니한 현상이다. 점점 더 많은 기업들이 머신러닝에 의존해 서비스를 출시하고 있기 때문이다. 무인 자동차, 무인 보안, 무인 매장 등 혁신이라고 손꼽히는 기술들의 대부분 머신러닝을 기반으로 하고 있다. 그런데 법적 장치가 없다시피 하니, 전문가들의 걱정이 클 수밖에 없다.

패널 중 한 명이었던 아스펜 테크 폴리시 허브(Aspen Tech Policy Hub)의 국장인 벳시 쿠퍼(Betsy Cooper)는 “정책 매커니즘 자체가 새로워져야 한다”고 주장했다. “법이 통과되는 절차가 좀 더 유연해져야 합니다. 현재의 입법 과정은 새로운 기술의 등장을 크게 고려치 않은 상태에서 만들어졌습니다. 게다가 오늘날처럼 무서운 속도로 등장하는 새로운 기술이라면 수용할 수가 없지요. 지금은 머신러닝에 대한 규정이 부족하다는 게 문제가 되고 있지만, 앞으로 각종 신기술들에서도 같은 소리가 나올 겁니다. 지금 여기 회의에서 논의되고 있는 건 빙산의 일각일 뿐입니다.”

패널들은 머신 러닝을 겨냥한 공격의 세 가지 종류를 분석하기도 했다. 이 세 가지 모두 법적인 장치를 마련하기 힘들다는 특징을 가지고 있다. 첫 번째는 ‘회피 공격(evasion attack)’이다. 공격자가 그림을 업로드 하기 전에 픽셀 일부를 조작하고, 그럼으로써 얼굴 인식 알고리즘이 결과를 낼 수 없도록 하는 것이다. 이는 스팸 이메일의 콘텐츠를 검사하는 머신러닝 알고리즘을 농락하는 데 활용될 수 있다고 한다.

그 다음은 모델 탈취 공격(model stealing attack)이다. 구글 번역기와 같은 머신러닝 모델에 요청을 보내 그 작동 방식을 추론한 후, 그 정보를 사용해 자신만의 모델을 구축하는 것이다. 이는 중대 사이버 범죄보다는 저작권 혹은 특허 쪽 분쟁을 일으킬 소지가 큰 요소가 된다. 사이버 범죄자들의 경우, 공략하려는 머신러닝을 분석할 때 이러한 공격 기법을 사용할 수 있게 된다.

세 번째는 ‘중독 공격(poisoning attack)’이다. 이 역시 흔히 나타나는 머신러닝 관련 위협으로, 알고리즘이 데이터를 계속해서 주입 받아 훈련을 받고 있는 과정 중에 입력값을 조작함으로써 결과를 망쳐놓는 방식이다. 머신러닝이 뭔가를 잘못 배우도록 유도할 수 있게 된다.

이 세 가지 공격에 대한 법적 보호 장치가 없는 상황이라서 보안에는 어떤 어려움이 생길까? 예를 들어 회피 공격의 경우, 누군가 픽셀 일부를 장난스럽게 편집한 것인지 악의적으로 조작한 것인지 판단할 수 없게 된다. 픽셀 수정에 대한 법적 기준이 없기 때문에 악성 의도를 가진 자도 장난이었다고 주장하면 된다. 구글 브레인(Google Brain) 소속 니콜라스 칼리니(Nicholas Carlini)는 토론회에서 “심지어 조작 여부를 판단하는 것부터가 어려운 일”이라고 덧붙였다.

또한 해커가 악성 공격을 한 것인지 아닌지를 구분하는 것도 문제가 된다. 예를 들어 모델 탈취 공격의 경우, 공격자는 여러 가지 요청을 알고리즘으로 보내 작동 방식을 추측한다. 그러나 요청을 보내는 것 자체는 악성 행위가 아니다. 즉, 어떤 요청은 악성이고, 어떤 요청은 악성이 아닌지 구분할 기준이 없다는 것이다. “구글 번역기에 요청을 보내는 것만으로 그 사람에게 벌을 내리거나 할 수 없죠. 그 사람이 악의적인 의도를 가지고 있다고 하더라도요.”

결국 법률 전문가들은 “행위자의 진정한 의도를 법적으로 규정할 수 있는 장치가 필요하고, 더 나아가 그 의도란 것이 범죄성과 연관이 있는지도 파악할 수 있어야 한다”고 말한다. “행위의 배경에 있는 요소들을 파악하는 게 중요해질 것으로 보입니다. 예를 들어 악성 행위를 한 번 해본 전적이 있는 자라면, 애매한 행위를 했다고 하더라도 그 의도를 어느 정도 파악할 수 있겠죠.”

구드윈은 “머신러닝 알고리즘을 서비스로 고객에게 제공하는 기업이라면 약관 등을 개정할 필요가 있다”고 강조했다. “특히 리스크 프로파일링을 하는 방향으로 전환하는 것이 도움이 될 것입니다. 그렇게 되면 지금 당장 규정이 없는 상태에서도 최소한의 근거는 완성되는 것이니까요.”

패널들은 “아직 규정이 없다는 부분에서 활용 가능한 머신러닝 공격 기술을 법적으로 차단하거나 와해하려면 아직 먼 길을 가야 할 거 같다”는 데에 동의했다. 정부가 특히 중요한 역할을 해야 한다는 데에도 입을 모았다. 쿠퍼는 “의회에서의 움직임은 너무나 느리다”며 “앞으로도 속도에 있어서는 개선을 기대하기 힘들 것”이라고 말했다. “금융 기술 분야에서 사용하는 것과 비슷한 규제 샌드박스라는 것이 법률 시스템에도 마련되어야 합니다.”

구드윈은 “머신러닝에 대한 관심이 법률 전문가와 입법자들 사이에서 더 높아지길 기대한다”며 “앞으로 갈 길이 멀겠지만, 지금은 그 길을 하나하나 밟아가는 게 가장 빠른 길”이라고 강조했다. “법은 사회의 가장 아래쪽에서 모든 것을 떠받들고 있는 기반입니다. 머신러닝도 사회 현상의 일부이고요. 법률 전문가들의 관심이 필요합니다.”

3줄 요약
1. 머신러닝, 공격할 방법은 계속 생기는데 법적 보호 장치는 없는 수준.
2. 법적 보호 장치 마련의 핵심은 행위에 대한 의도를 파악하는 것.
3. 머신러닝도 사회 현상...법률 전문가들과 입법자들의 관심 필요.

[국제부 문가용 기자(globoan@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>

헤드라인 뉴스

TOP 뉴스

이전 스크랩하기


과월호 eBook List 정기구독 신청하기

    • 씨프로

    • 인콘

    • 엔텍디바이스코리아

    • 핀텔

    • 아이비젼

    • 아이디스

    • 씨프로

    • 웹게이트

    • 엔토스정보통신

    • 하이크비전

    • 한화비전

    • ZKTeco

    • 비엔에스테크

    • 지오멕스소프트

    • 원우이엔지

    • 지인테크

    • 홍석

    • 이화트론

    • 다누시스

    • 테크스피어

    • TVT코리아

    • 슈프리마

    • 인텔리빅스

    • 시큐인포

    • 미래정보기술(주)

    • 세연테크

    • 비전정보통신

    • 트루엔

    • 경인씨엔에스

    • 한국씨텍

    • 성현시스템

    • 아이원코리아

    • 프로브디지털

    • 위트콘

    • 다후아테크놀로지코리아

    • 한결피아이에프

    • 스피어AX

    • 동양유니텍

    • 포엠아이텍

    • 넥스트림

    • 펜타시큐리티

    • 에프에스네트워크

    • 신우테크
      팬틸드 / 하우징

    • 옥타코

    • 네이즈

    • 케이제이테크

    • 셀링스시스템

    • 네티마시스템

    • 아이엔아이

    • 미래시그널

    • 엣지디엑스

    • 인빅

    • 유투에스알

    • 제네텍

    • 주식회사 에스카

    • 솔디아

    • 지에스티엔지니어링
      게이트 / 스피드게이트

    • 새눈

    • 에이앤티글로벌

    • 케비스전자

    • 한국아이티에스

    • 이엘피케이뉴

    • (주)일산정밀

    • 구네보코리아주식회사

    • 레이어스

    • 창성에이스산업

    • 엘림광통신

    • 에이앤티코리아

    • 엔에스티정보통신

    • 와이즈콘

    • 현대틸스
      팬틸트 / 카메라

    • 엔시드

    • 포커스에이아이

    • 넥스텝

    • 인더스비젼

    • 메트로게이트
      시큐리티 게이트

    • 엠스톤

    • 글로넥스

    • 유진시스템코리아

    • 카티스

    • 세환엠에스(주)

Copyright thebn Co., Ltd. All Rights Reserved.

시큐리티월드

IP NEWS

회원가입

Passwordless 설정

PC버전

닫기