‘이니그마’ 탄생부터 APT 공격 대응까지...해킹의 역사와 함께 해오다고도화·지능화된 표적공격, 따라가기 벅찬 현재 보안 현실 직시해야   
[보안뉴스=이규형·최이주 객원기자] 보안이란 알 수 없는 외부의 침입으로부터 자신이나 자신의 것을 안전하게 지키는 것을 의미한다. 즉, 해킹과 보안은 떼려야 뗄 수 없는 동전의 양면 사이다. 역사 역시 예외는 아니다. 보안과 해킹의 역사는 마치 두 개의 펜을 함께 잡고 쓰인 듯하다. 

보안의 역사(전기) : 이니그마 vs. 콜로셔스 
해킹의 역사와 마찬가지로 보안의 역사는 제2차 세계대전을 배경으로 막이 열린다. 1918년 폴란드의 암호 보안전문가들이 개발한 이니그마(Enigma)는 보안 역사의 첫 주인공으로 등장한다.

이니그마는 처음에는 은행에서 통신보안 강화를 위한 목적으로 개발됐지만, 제2차 세계대전에서 독일군에 의해 군사통신 보안용으로 사용됐다. 이니그마는 평문 메시지를 암호화된 메시지로 변환하는 기능을 하는 전기·기계 장치로, 타자기와 모양이 비슷하며 알파벳이 새겨진 원판 3개와 문자판으로 구성되어 얼핏 보면 형태가 매우 단순해 보인다. 하지만 그 단순해 보이는 껍데기 안에는 체계적이고 복잡한 알맹이들로 가득 차 있다.

문자키를 하나씩 누를 때마다 나란히 놓인 3개의 원판이 회전하면서 매우 복잡한 체계로 암호를 만들게 된다. 전쟁이 시작되기 전에는 지침서를 매월 변경하며 사용했고 그러다가 전쟁 직전에는 하루에 3번씩 바꾸기도 했다. 독일군은 이니그마를 사용한 통신문의 암호화에 있어 실수를 방지하려고 한 사람이 통신문을 입력하고 한 사람이 암호화된 코드를 읽으며 한 사람이 기록하는 방식으로 사용한 것으로 알려졌다. 독일의 동맹국인 일본도 독일 이니그마 암호기의 일본어판을 만들어 사용한 기록이 있다.

이런 복잡한 암호체계로 무장한 독일은 자신들의 암호체계가 완벽하므로 연합국에서는 도저히 해독할 수 없으리라는 절대적인 믿음을 가지고 있었다. 외부인이 이니그마를 손에 넣었다고 한들 암호해독 체계가 너무 복잡해서 해독하기는 힘들다고 판단했던 것.

이렇게 해독이 불가능해 보이는 이니그마는 컴퓨터 역사와 아주 깊은 관련이 있다. 최초의 컴퓨터는 이니그마의 암호문을 해독하기 위해 만들어졌다. 2차 세계대전에서 해독이 불가능한 것으로 알려져 있던 이니그마를 해독한 것은 ‘콜로셔스’였다. 일반적으로 최초의 컴퓨터를 1942년에 공개된 애니악으로 알고 있는 경우가 많은데, 사실 최초의 컴퓨터는 수학자이자 과학자인 알란튜링이 1943년에 개발한 영국의 콜로셔스다. 알란튜링은 최초의 해커로 알려져 있으며 인공지능의 개념을 최초로 생각해낸 사람이다.

제2차 세계대전이 발발하기 6주전인 1939년 6월 25일에 폴란드는 영국에 자신들이 입수하는 이니그마와 작동법을 넘겨주었다. 영국은 이니그마의 암호체계를 해독하기 위해 블레츨리 파크의 한 농촌저택에 당시 최고 브레인들을 비밀리에 소집하고, 이 프로젝트의 암호명을 ‘울트라’라고 정했다. 이 프로젝트에서 튜링은 2,400개의 진공관을 이용한 높이 3m의 콜로셔스를 만들어냈다. 콜로셔스는 해석된 메시지를 종이테이프에 천공했을 때 1초에 약 5,000자를 천공할 수 있었으며, 천공된 암호문이 이니그마의 암호와 일치할 때까지 비교하는 방식으로 암호를 해독했다.

보안의 역사가 그렇듯이 인터넷 보안의 역사도 마찬가지로 당시 사회적·정치적 상황에 따라 발전을 거듭해 왔다.

보안의 역사(중기) : ‘인터넷 웜’의 등장, 그리고 인터넷의 대중화
IBM의 상업용 메인프레임이 최초로 등장했을 때에는 물리적으로 안전한 ‘온실’ 같은 곳에 설치됐다. 기업의 중요한 정보와 자원을 그런 안전하고 통제된 곳에 설치하는 것은 이상한 일이 아니었다. 요즘의 지능형 워크스테이션(workstation)이 아닌 크기만 큰 더미 터미널(Dummy Terminal)을 사용자의 대부분이 사용하고 있었기 때문에 컴퓨팅 환경은 중앙 집중화되어 제어가 간단했으며, 보안관리는 비교적 쉬우면서도 더욱 안전했다.

메인프레임에 대한 액세스도 가장 단순한 방법을 사용해 사용자 ID와 암호를 조합하여 인증하는 형태가 거의 대부분이었다. 이것은 암호가 로그인의 기초가 되는 것에 큰 계기가 됐다. 암호의 길이, 암호사용 기한, 문자와 숫자의 조합 방식 등을 규정하는 규칙이 채택된 환경에서 메인프레임에 접속을 지원하기 위한 액세스제어 소프트웨어 프로그램이 도입됐기 때문에 보안관리자는 시스템 보안에 대해 더욱 안심할 수 있게 됐다.

그 후, 하드웨어가 빠른 속도로 발전하고, 그 중 프로세서 관련 기술의 발달로 컴퓨터의 크기가 점차 줄어드는 동시에 성능이 빠른 속도로 향상됐기 때문에 메인프레임 중심 모델에 많은 변화를 가져왔다.

소형 컴퓨터가 부서별 컴퓨터로써 널리 사용되기 시작하고 각 부서가 자체 컴퓨터를 두게 되면서 각 부서의 소프트웨어 애플리케이션을 더욱 효율적으로 관리할 수 있게 됐다. IBM이 데스크톱 PC를 도입한 1981년부터는 컴퓨팅 모델이 더욱 개방된 분산 네트워크로 급속하게 변화하게 된다.

각 부서는 부서별 도메인을 갖게 되었고 보안을 위해 자체적인 보안 컴퓨팅을 설정했지만 대부분의 경우 보안기능은 거의 갖추지 못했을 뿐만 아니라 기술적으로도 발전이 진전되지 못한 상황이었다. 또한, 이런 상황에서 네트워크를 보호하는 보안기능들이 여기 저기 분산되어 있거나 기껏해야 단편적으로 운영되고 있었다. 컴퓨터 보안 문제가 상호 운용 가능한 클라이언트-서버 방식으로 전환되면서 네트워크 연결 고리 중 가장 취약한 부분이 되었는데도 불구하고 어떤 기업도 차세대 네트워크 기술, 인터넷에 대해 적절한 대비하지 못하는 상황이었다.
그 후, 네트워크 기술 발전과 함께 새로운 개방 네트워크를 형성하는 기술과 강력한 기능을 가진 소형 PC가 확산되고, 이 두 기술이 결합되면서 여러 종류의 컴퓨터와 네트워크가 서로 통신이 가능한 인터넷으로 발전된다. 네트워킹을 가능하게 해주는 프로토콜로써 TCP/IP가 1980년대 초 인터넷의 표준 프로토콜로 자리를 잡아가고 있었다. 일례로, 1987년 호스트의 수가 10,000대로 늘어났고, 몇년 동안 호스트 숫자가 기하급수적인 속도로 늘어나면서 인터넷의 대중화가 시작된 것이다.

그러나 OS나 여러 응용 프로그램에 존재하는 보안의 문제와 서로 다른 네트워크가 연결되어 있는 인터넷 통신을 위한 프로토콜의 특성상 높은 수준의 보안을 유지하기란 쉬운 일이 아니었다. 보안 프로그램이나 보안을 위한 여러 가지 도구들은 이러한 보안위협을 인식하게 되면서 발전하기 시작했다.

1980년 후반에 들어서는 새로운 통신을 위한 보안수단이 요구되고, 개인의 생활에 대한 보호를 우려하는 목소리가 점점 커지기 시작했다. 이런 상황에서 1988년 11월 3일 ‘인터넷 웜’이라 불리는, 자기 자신을 계속 복제함으로써 컴퓨터의 자원을 독차지해 버리는 악의적인 프로그램이 유포됐으며, 인증과정 없이 접근할 수 있는 네트워크를 통하여 다른 컴퓨터나 네트워크로 옮겨지면서 당시 6만대의 인터넷 호스트 중 6천대의 기능이 마비되는 어마어마한 사태가 일어났다. 그러나 이러한 보안의 위험성이 인터넷의 급속한 성장과 그 인기를 막지는 못했다.


월드 와이드 웹(World Wide Web)의 등장과 그래픽 인터페이스(Graphic Interface)를 지원하는 여러 웹 브라우저(Mosaic, Netscape Communicator, Microsoft Internet Explorer)의 등장으로 인터넷 사용은 연간 거의 40만 %의 트래픽 증가라는 놀랄만한 속도로 성장했다. 게다가 초고속 정보통신망이 속속 등장했고 유선 인터넷뿐만 아니라 무선 인터넷까지 빠른 속도로 보급이 확산됐다.

보안의 역사(후기) : 고도화·지능화된 표적공격, 따라가기 숨 가쁜 보안 
인터넷의 발전이 계속되면서 여러 분야의 정보가 웹에 게시하게 되자 인터넷은 인류를 번영시킬 수 있는 하나의 도구로 생각됐지만, 인터넷의 긍정적인 면 뒤에 숨어 있던 부정적인 면들이 급속히 부각되기 시작했다.

부정적인 측면에서 볼 때, 부정직한 목적을 위한 사용과 증오와 편견, 속임수가 있는 곳에서의 인터넷은 악용과 파괴의 도구가 될 수도 있다. 이러한 이중적인 모습은 현재까지 이어지면서 새로운 보안의 역사를 써내려가고 있다. 특히, 현재 보안의 역사는 APT 공격 등 고도의 지능화된 표적공격을 일삼는 사이버범죄자들에게 대응하는 일이 벅찰 정도로 숨 가쁘게 돌아가고 있다.  

이제는 컴퓨터가 인간의 역사에서 차지하는 비중이 갈수록 커져 컴퓨터, 그리고 보안의 역사가 바로 인간의 역사가 되고 있다. 해킹의 역사를 고스란히 뒤따라온 보안의 역사에서 내 자신이 주인공이 될 수 있는 길은 무엇인지 곰곰이 성찰해 볼 필요가 있다.  
[이규형(ttuu44@naver.com)·최이주(eju94@naver.com) 객원기자]  
<저작권자: 보안뉴스(http://www.boannews.com/) 무단전재-재배포금지>