12.3 때 계엄군들, 지자체 CCTV 시스템에 무제한 접속 ‘공권력 횡포’
AI 알고리즘 편향되게 악용, 사회적 약자 감시와 통제 수단 활용 가능성
AI기본법 있지만 감시 통제에 대한 구체적 기준점은 공론화로 풀어나가야

이재명 정부는 AI 정부를 자처한다. 이재명 대통령은 취임 전부터 AI 분야에 깊은 관심을 보였고 경제 재도약과 국가대전환의 계기를 AI를 통해 실현해보려는 의지를 강력하게 드러내고 있다. 이 대통령은 ‘AI 3대 강국 도약’을 기치로 내걸고 100조 원 규모의 인공지능 산업 투자를 선언했다. 대통령실에는 전담 AI미래기획수석실이 신설되었고, 대규모 언어모델 개발을 주도한 민간 기업 출신 인사들이 과학기술분야 관련 부처에 배치돼 기대를 모으고 있다. 하지만 이재명 정부의 이 화려한 AI 드라이브의 이면에는, 우리가 간과하고 있거나 아무도 이야기하지 않는 그림자가 있다. ‘사람과 보안’은 앞으로 6주 동안 참여연대와 시민사회가 이재명 정부에 제안한 ‘AI 정책에 반드시 포함되어야 할 6대 제안’을 바탕으로 ‘이재명 정부 AI 전략을 다시 묻다’ 시리즈를 연재한다. [편집자주]


[자료: gettyimagesbank]

[보안뉴스 성기노 기자] AI의 시대가 성큼 다가왔지만 AI가 만사형통 도깨비 방망이는 아니다. AI는 모든 사람에게 공평한 기회의 장을 열어주는 기술로 여겨질까? 아니면 권력과 자원을 독점한 소수가 더 큰 혜택을 누리며 불평등과 양극화를 심화시키는 도구로 전락할까?

AI는 이론적으로 누구나 접근 가능한 혁신의 상징이지만 현실에서는 자본과 권력을 쥔 집단이 AI를 통제와 감시의 강력한 무기로 활용할 가능성을 배제할 수 없다. 여기서 AI 기술 발전의 근본적인 딜레마가 드러난다. AI는 개인의 창의성과 생산성을 증대시킬 수 있는 잠재력을 지녔지만 동시에 데이터와 알고리즘을 장악한 특정 세력이 시민의 자유를 억압하고 사회적 통제를 강화하는 데 악용될 위험성도 크다.

인류는 이미 20세기 산업혁명과 21세기 인터넷, 빅데이터 혁명을 통해 과학기술의 진보가 인간의 소외와 권력 불균형을 초래할 수 있다는 딜레마의 쓴맛을 본 바 있다. 그리고 이제 인류는, AI라는 문명사적 ‘도깨비 방망이’를 앞에 두고 또 다시 고민에 빠지고 있다.

AI가 20세기 초 산업혁명에 몇 곱절 버금가는 인류의 ‘퀀텀 점프’가 될 것이지만 그 도약의 한 켠에서는 어두운 그림자가 스멀거린다. AI라는 문명의 이기를 특정 세력이 시민들을 감시하고 통제하는 ‘공권력’으로 악용하는 딜레마가 등장하고 있는 것이다.

참여연대를 비롯한 시민단체들은 AI의 공권력 ‘남용’ 이슈를 개인정보보호와 인권 침해 차원에서 문제를 제기하고 있다. 지난 2024년 12월 3일 비상계엄 때 계엄군이 지방자치단체 CCTV 시스템에 무제한으로 접속한 사례는 통제 없는 AI 기반 공권력이 시민의 자유와 개인정보를 얼마나 쉽게 침해할 수 있는지를 극명하게 보여준다.

그 후로도 군을 비롯한 국가기관의 무제한적인 CCTV 접속 및 열람 권한은 시정되지 않은 채로 AI에 기반한 CCTV 지능화가 계속 추진되고 있다. 특히 윤석열 정부에서 경찰이 수립한 치안과학기술계획, 즉 ‘제2차 치안 분야 과학기술 진흥 종합계획(2024~28)’은 공공장소를 실시간으로 감시하고 동작을 예측하는 인공지능 시스템의 도입을 추진해 왔다. 시민단체들은 “국가가 일방적으로 이러한 AI 감시 기술을 도입하는 것은 시민을 감시한다는 우려와 불신으로 이어질 수 있다”라고 주장한다.

이에 보안업계에서도 “AI 알고리즘이 CCTV와 결합하고 여기에 민감한 위치, 행적, 얼굴, 대화 로그 등의 개인정보가 실시간으로 연동되면서 감시는 이제 예측하고 조작하며 ‘선별적 감시’라는 새로운 권력을 생성한다”는 우려의 목소리가 나오고 있다.


▲지난해 12월 26일 국회 본회의에서 ‘인공지능(AI) 기본법 제정안’이 통과됐다. [자료:연합]

얼굴인식 AI는 CCTV 화면 속 시민을 자동 식별할 수 있고 이는 주민등록 DB, 출입 기록, 심지어 병력 기록이나 재판 이력 등과 연동될 수도 있다. 그런데 문제는 이 AI가 ‘의심 인물’을 판별하는 기준이 대부분 비공개이며 그 기준을 결정하는 학습데이터나 입력 알고리즘조차 투명하게 공개되지 않는다는 점이다.

예를 들어보자. 지방자치단체들은 치안을 위해 다양한 CCTV를 현재 운용 중이다. 이때 초기 알고리즘을 설계할 때 공무원이나 기술 담당자의 지역, 계층, 고정관념, 성향에 따라 편향적인 기준이 설정될 수 있다.

“밤에 공원 벤치에 오래 앉아 있는 사람” “모자와 후드티를 동시에 착용한 사람” “20대 남성 단독 보행자” “특정 지역(범죄 다발 지역)에서 반복 포착되는 사람” 등이 통계적으로 ‘위험인물’로 설정될 수 있다. 그 결과 노숙인, 청소년, 배달노동자, 외국인 주민 등 사회적 약자 계층이 AI에 의해 반복적으로 감시 대상이 될 수 있고 공권력에 의한 피해에도 더 쉽게 노출될 수 있다.

이는 마치 과거 전두환 군사독재 정권 때 삼청교육대의 ‘악몽’과도 유사하다. 당시 군과 경찰 등의 공권력은 몸에 문신이 있는 사람은 무조건 잡아들이기도 했다. ‘문신=깡패’라는 공권력의 자의적인 기준이 빚은 참사였다. AI도 특정 공무원을 ‘기분 나쁘게’ 하는 기준이 곧 감시 대상이 될 수 있음을 의미한다.

AI라는 문명의 이기를 사용하는 데 있어서 현재의 공권력에는 시민을 보호하고 개인의 정보를 보호하고 인권을 침해하지 않는 구체적인 기준점이 없거나 미비한 편이다. 현재 우리나라는 AI 기반 공권력 감시(특히 얼굴 인식 AI와 CCTV 활용)에 대한 명확한 법적, 제도적 통제 체계는 매우 미흡한 상황이다.

하지만 관련 법률이 존재하기는 한다. 대표적인 법률은 개인정보보호법이 있는데 AI 기반 얼굴인식 기술이나 실시간 감시 시스템에 특화된 조항은 부족한 실정이다. 공공기관의 개인정보 처리에 대해서는 일부 제한이 있지만 ‘공공안전’을 명분으로 한 예외 조항이 남용될 여지가 크다고 한다.

정보통신망법 및 CCTV 관련 지침은 CCTV 설치 및 운영에 대한 기본 가이드라인은 존재하지만 AI와 연동된 얼굴 인식이나 행동 예측 등의 데이터 분석이나 학습데이터의 편향성 문제에 대한 구체적 규제는 없다.

행정안전부의 CCTV 통합관제센터 운영 지침도 지방자치단체 CCTV의 관리와 접근 권한에 대한 일부 규정이 있지만 2024년 비상계엄 사례에서 드러났듯 군·경찰·국가정보원 등 국가기관의 무제한 접근을 통제할 실효성 있는 장치는 부재한 실정이다.


[자료: gettyimagesbank]

마지막으로 AI 기본법이 그나마 AI 공권력의 ‘폭주’에 대한 제동장치를 마련해두고 있다. 우리나라는 2024년 12월 26일 국회에서 ‘인공지능 산업 진흥 및 신뢰 기반 조성에 관한 기본법’(약칭: AI 기본법)을 통과시켜 2025년 1월 21일 공포됐고, 2026년 1월 22일부터 시행될 예정이다.

그런데 AI 기본법은 얼굴 인식 AI, CCTV 기반 감시 등의 공공 감시 시스템을 포함한 ‘고영향 AI(High-Impact AI)’에 대한 규제를 일부 포함하고 있지만 구체적이고 명시적인 통제 조항은 미흡하다는 평가가 많다.

법에서는 고영향 AI를 “인간의 생명, 신체 안전, 기본권에 중대한 영향을 미치는 AI 시스템”으로 정의하며, 이를 의료, 에너지, 공공 의사결정, 생체 데이터 분석 등 특정 분야에서 사용되는 시스템으로 지정한다.

그러나 공공 감시 시스템에 특화된 세부 규제, 즉 얼굴 인식 AI의 판별 기준 공개, 학습 데이터 편향성 감사, 시민의 이의제기 절차 등은 법 본문에 명시적으로 포함되지 않았다. AI 기본법은 주로 원칙적 가이드라인과 행정적 의무를 설정하며 구체적인 실행 방안인 공공 감시 AI의 알고리즘 투명성, 차별 방지 기준, 사전 인권영향평가 등은 하위 법령(시행령, 시행규칙)에 위임된 상태라고 한다.

이 하위 법령은 2025년 상반기 중 마련될 예정이지만 현재로서는 공공 감시 시스템의 오남용을 방지할 세부 규정이 없는 상황이다. 물론 앞으로 구체적인 감시 시스템이 만들어질 것이기 때문에 걱정할 필요가 없다는 의견도 나올 수 있지만 그런 하위 법령 제정도 사회적 공론화를 충분히 거친 뒤 이뤄져야 한다. 일부 전문가이나 정치인들의 편향되고 왜곡된 기준점으로 하위 법령이 만들어진다면 더 큰 문제가 발생할 수 있다.

이에 참여연대 등 시민단체들은 “군, 경찰, 국가정보원, 대통령경호처 등 주요국가기관의 인공지능 기반 감시 및 집행 체계에 대하여 제한하고 통제하는 법률을 추진해야 한다”고 주장한다. 공권력이 도입하는 인공지능 기술이 인권과 민주주의 원칙에 부합하도록 보장하고 독립적이고 전문적인 제 3자가 사전 인권영향평가 및 사후적으로 감독하는 체계도 마련해야 한다는 것이다.

결론적으로, 현재 우리나라에는 얼굴인식 AI의 ‘의심 인물’ 판별 기준, 학습데이터의 편향성, 알고리즘 투명성을 강제하거나 이를 감독할 법적, 제도적 장치가 사실상 존재하지 않는다. 이는 공권력이 AI를 활용해 사회적 약자를 차별적으로 감시하더라도 시민이 이의를 제기하거나 해명을 요구할 공식적 절차가 없다는 뜻이기도 하다. 이재명 정부의 AI 예산 100조원 시대의 이면에 드리워진 기술 발전과 인간 소외 딜레마의 씁쓸한 한 단면이다.

[성기노 기자(kino@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>