검색 엔진의 용도로서나 데이터의 빠른 수집 위해 합법적으로 사용되는 봇들
현재 온라인 경제에 큰 손실을 일으키는 중...산업에 따라 80% 손해를 보는 곳도 있어

[보안뉴스 문가용 기자] 웹사이트들을 돌아다니면서 각종 콘텐츠와 정보를 수집하는 자동화 봇들이 있다. 이들은 사람들이 신문 기사 스크랩하듯이, 웹사이트를 통해 대중적으로 공개된 정보들을 빠르고 간편하게 모아준다. 악성 봇 혹은 불법 봇들과 달리, 정상적이며 합법적인 존재들이다. 하지만 이 봇들 역시 상상 이상의 악영향을 끼칠 수 있다는 내용이 발표됐다.


[이미지 = utoimage]

보안 업체 페리미터엑스(PerimeterX)가 조사한 바에 따르면 전 세계 인터넷 트래픽의 40~60%는 봇이 차지하고 있다고 한다(산업별로 이 수치는 조금씩 달라진다고 한다). 이 때문에 다양한 현상이 나타나는데, 이는 대표적으로 다음과 같다.
1) 기업들의 IT 인프라 과부하
2) 데이터 분석 결과의 왜곡
3) IP, 온라인 마케팅, SEO 관련 투자 효용성의 축소

페리미터엑스는 “이 요인들은 실질적 수익에 커다란 타격을 준다”고 주장했다. 이곳의 보안 전문가인 디팍 파텔(Deepak Patel)은 “웹 스크래핑 자체는 불법 행위가 절대 아니지만, 많은 기업들의 수익을 저해하는 요인인 것은 맞다”며, “특히 온라인 상거래를 위주로 하는 산업에서는 웹사이트의 수익성이 80%나 떨어지는 경우도 있다”고 설명했다. “온라인 미디어 산업은 연간 27%까지 악영향을 받는 것으로 조사됐습니다.”

파텔의 말처럼 웹 스크래핑을 위한 봇들은 정상적인 사업 도구이기 때문에 보안 위협으로 간주되지도 않고, 사업 운영의 저해 요소로도 인식되지 않는다. 당연히 그 봇들이 취약점을 익스플로잇 하거나 숨겨둔 정보를 굳이 찾아내는 것도 아니다. 다만 그냥 넘기기에는 중대한 부작용이 존재한다는 것이다. 악성 봇은 말할 것도 없고 말이다.

웹 스크래핑 봇들의 사용 목적은 무엇일까? 주로 사업상 필요한 정보를 빠르게, 다량으로 수집하고, 이를 통해 새로운 서비스를 기획하기 위해서다. 물론 그 외에도 수많은 용도들이 있다. 봇은 웹사이트들을 샅샅이 뒤지며 정보들을 수집하는데, 검색 엔진의 크롤러들과 비슷하게 작동한다. 이 때 웹사이트 운영자가 공개적으로 게시해둔 것들만 수집하지 그 이상의 것을 가져가지는 않는다.

사실 웹 스크래핑 봇의 합법성에 대해서는 아직 논란의 여지가 있다. 그러나 미국에서는 법원이 ‘공개된 정보를 자동으로 스크래핑하는 것은 법에 저촉되지 않는다’는 판결을 내린 바 있다. 전자프런티어재단도 이 판결을 반기며 “자동 봇은 사람이 일반적으로 웹에서 할 수 있는 일을 더 빠르게 해주는 것일 뿐”이라고 설명했다.

악성 봇의 현황은 어떨까? 페리미터엑스가 조사한 바에 의하면 온라인 상거래 웹사이트에서 발생하는 모든 트래픽의 17%가 악성 봇이라고 한다. 여행 산업에서의 경우 사태는 더욱 심각해 악성 봇이 전체 트래픽의 31%를 차지하기도 한다. 미디어 산업에서 활동하는 악성 봇은 9.5%인 것으로 나타났다.

파텔은 악성 봇은 일반 봇들과 달리 계정 탈취, 콘텐츠 무단 복제 등의 불법적 행위를 하기 위해 웹사이트들을 돌아다닌다고 설명한다. 악성 봇일수록 사람인 것처럼 보이도록 하는 장치를 많이 가지고 있으며 탐지와 추적을 피하기 위해 여러 가지 IP를 사용하기도 한다.

봇은 악성이든 아니든, 웹 인프라에 과부하를 초래한다는 점에서도 부정적으로 볼 여지가 있다. 파텔은 “이 때문에 사용자들은 의도치 않게 느린 사용자 경험을 할 수 있다”고 말한다. “실제 계정 로그인 시도의 80%는 악성 봇들에서부터 나옵니다. 이 트래픽만 해도 어마어마 한 비율을 차지하죠.”

악성 봇만이 문제는 아니다. “스크래핑을 위한 봇들도 웹사이트 속도에 큰 영향을 미칩니다. 존재 이유 자체가 많은 정보를 빠르게 수집하는 건데, 그 행위 자체가 많은 트래픽을 소모시키는 것이기 때문이지요. 예를 들어 경쟁사가 이 봇을 상주시켜 놓고 가격이나 제품이 업데이트 될 때마다 스크랩한다고 해보죠. 실제 이는 흔히 일어나는 일이기도 합니다. 이 ‘상주하면서 모니터링’한다는 것 자체가 사이트를 느리게 만드는 요인이 됩니다.”

이런 봇들은 누구나 쉽게 구할 수 있다. 시중에 각종 이름과 서비스의 모습을 가지고 널리 판매되고 있기 때문이다. 파텔은 “이제 봇들도 꽤나 복잡한 기능을 탑재하기 시작했다”며 “그러면서 악성 봇과 정상 봇에 대한 경계가 애매해지고 있다”고 경고했다. 그러면서 “지금 우리가 가지고 있는 봇의 합법성에 대한 기준을 다시 한 번 생각해볼 필요가 있다”고 권고했다.

3줄 요약
1. 웹 트래픽의 상당 부분 차지하는 자동화 봇, 웹 전체를 조금씩 느리게 만들고 있음.
2. 이 때문에 웹사이트의 가치와 수익성이 예상보다 크게 떨어지고 있는 상황.
3. 악성 봇은 당연히 불법이라 논외. 정상 봇의 기능과 사용 범위에 대한 논의 필요.
Copyrighted 2015. UBM-Tech. 117153:0515BC
[국제부 문가용 기자(globoan@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>