공공 AI 시민에 투명하게 공개하고 의견 수렴해야...인권영향평가도 의무화해야
AI 기술 진보가 시민의 권리 후퇴로 이어진다면 AI는 인류 삶에 피해만 줄 뿐
이재명 정부는 AI 정부를 자처한다. 이재명 대통령은 취임 전부터 AI 분야에 깊은 관심을 보였고 경제 재도약과 국가대전환의 계기를 AI를 통해 실현해보려는 의지를 강력하게 드러내고 있다. 이 대통령은 ‘AI 3대 강국 도약’을 기치로 내걸고 100조 원 규모의 인공지능 산업 투자를 선언했다. 대통령실에는 전담 AI미래기획수석실이 신설되었고, 대규모 언어모델 개발을 주도한 민간 기업 출신 인사들이 과학기술분야 관련 부처에 배치돼 기대를 모으고 있다. 하지만 이재명 정부의 이 화려한 AI 드라이브의 이면에는, 우리가 간과하고 있거나 아무도 이야기하지 않는 그림자가 있다. ‘사람과 보안’은 6주 동안 참여연대와 시민사회가 이재명 정부에 제안한 ‘AI 정책에 반드시 포함되어야 할 6대 제안’을 바탕으로 ‘이재명 정부 AI 전략을 다시 묻다’ 시리즈를 연재한다. [편집자주]
[보안뉴스 성기노 기자] AI의 발전은 인류의 삶을 더 풍족하고 효율적으로 바꾸고 있다. 하지만 그 획기적 도약의 이면에는 발전의 과실을 제대로 향유하지 못하고 오히려 뒤처지는 사회적 약자들이 있다. 참여연대 등의 시민단체는 AI의 발전을 가로막자는 게 아니라 AI 시대의 달콤한 열매들을 보다 많은 사람들이 공유할 수 있어야 한다고 주장한다.

[이미지=gettyimagesbank]
AI의 급속한 발전은 공공분야에서도 예외가 아니다. 윤석열 전 대통령이 2023년 2월 15일 “챗GPT를 정부 업무에 활용하라”고 지시한 이후 많은 공공기관에서 인공지능을 ‘무턱대고’ 도입하고 있다.
대통령 지시에 따라 교육부를 포함한 여러 부처가 인공지능 활용 방안을 모색하기 시작했고 이는 부처별 ‘도입 경쟁’마저 낳았다. 정부 부처들은 대통령의 ‘불호령’에 충분한 대책 수립과 숙의 과정 없이 서둘러 AI를 정부청사로 끌어왔다.
그 대표적인 졸속 추진 사례가 바로 AI 디지털교과서다. 교육부는 2025년 초반에 이미 일부 학교에 AI 디지털교과서를 도입했다. 이주호 당시 부총리 겸 교육부 장관은 윤 전 대통령에 대해 “입시에 대해 수도 없이 연구하고 깊이 있게 고민하는 것을 보고 놀랐다. 제가 진짜 많이 배우는 상황”이라는 아부성 발언을 한 장본인이다. 이런 천박한 생각을 가진 장관이니 대통령 한 마디에 AI를 무슨 교육의 ‘도깨비 방망이’라도 되는 것처럼 무턱대고 도입부터 한 것이다.
교육부는 윤석열 전 대통령 탄핵 등 어수선한 상황에서 2025년 1학기부터 초등 3·4학년, 중학교 1학년, 고등학교 1학년의 영어·수학·정보 과목에 AI 디지털교과서(총 76종)를 순차적으로 배포, 도입했다. 하지만 AI 교과서의 법적 지위 논란이 여전하다.
교육부는 AI 디지털교과서를 ‘정식 교과서’로 간주해 검정·배포 절차를 그대로 진행했다. 하지만 이재명 대통령은 지난 대선 과정에서 AI 디지털교과서를 정식 교과서로 인정하지 않고 ┖교육 자료┖로 규정하겠다고 공약한 바 있다. 그리고 지난 7월 22일 AI 디지털교과서를 ┖교과서┖가 아닌 ┖교육 자료┖로 변경하는 법안이 국회 법제사법위원회 전체회의를 통과했다.
만약 법안이 조만간 국회 본회의를 통과하면 AI 디지털교과는 모든 학교가 의무적으로 채택해야 하는 교과서가 아니라 학교장 재량으로 도입 여부를 결정되는 교육자료로 격하된다. 이는 AI 공공영역 적용의 대표적 실패 사례로 기록될 전망이다. 윤석열 정부가 충분한 시범 기간 적용 없이 전면 도입을 추진하려 한 것이 정책 실패로 이어졌기 때문이다. 대통령의 ┖AI┖ 한마디에 교육부의 정책이 널뛰기를 하는 웃지 못할 해프닝이었던 셈이다.
AI 디지털교과서는 교육 불평등을 심화시킬 가능성이 있다. 디지털 격차로 인해 저소득층과 지방 학생이 소외될 위험성이 상존하는 것이다. 이밖에 학생들의 문해력 저하, 과도한 디지털 의존, 개인정보 유출 위험을 개선 없이 시행하는 것은 무책임하다는 지적도 나온다. 이 과정에서 AI 디지털 교과서가 만들어지지도 않았는데 교사 연수 비용으로 3818억원을 배정하여 올해 예산만 총 1조 2797억원이 지출되는 것으로 알려진다. 정책의 혼선과 함께 예산도 엄청나게 낭비될 위기에 처한 셈이다.

[이미지=gettyimagesbank]
이렇게 AI 교과서는 도입됐지만 법적 지위, 의무 배포, 예산 책임 등 핵심 사안이 중간에 붕 떠 있는 불안정한 상황이 이어지고 있다. 시민단체 등은 “도입 연기나 폐기하라는 게 아니라 법·제도 정비 후 안정적으로 운영하라”고 요구한다.
AI 디지털교과서는 알고리즘에 의해 학습자에게 맞춤형 콘텐츠를 제공한다는 명분 아래 학생 개개인의 학습 이력과 반응 데이터를 수집·분석하는 방식으로 설계됐다. 그러나 해당 알고리즘이 어떤 기준으로 학습자의 성취도를 판단하고 어떤 근거로 진로 또는 성향을 제안하는지에 대해 명확한 설명은 존재하지 않는다. ‘누가, 무엇을, 어떻게’ 결정했는가에 대한 정보 없이 결과만 사용자에게 주어지는 구조는 공공영역의 AI에 요구되는 최소한의 민주성과 적법절차를 위반한 것이라는 지적이 제기되고 있다.
이렇듯 AI 디지털교과서는 학생, 학부모, 교사를 비롯한 교육 주체의 의견을 충분히 반영하지 않고 졸속으로 추진되면서 많은 사회적 비용 낭비를 초래하고 있다. 참여연대 등의 시민단체들은 “공공분야 인공지능이 빠른 속도로 확산되고 있으나 그 적용을 받게 될 시민들에게 미치는 영향과 위험을 사전에 검토하거나 방지하는 조치가 제도적으로 보장되어 있지 않다”고 지적한다.
AI의 공공영역 도입은 디지털교과서 문제에만 국한된 게 아니다. 행정기본법 제20조의 제정 시행 이후로 경찰의 도로교통 단속 등 일부 행정처분이 완전자동화된 방식으로 시행되고 있지만 공공분야 인공지능에 대한 설명요구권이나 이의제기권 등 적법절차를 구체적으로 보장하는 제도가 충분히 마련되어 있다고 보기 어렵다는 의견도 있다. 인공지능 사업자가 기록이나 문서를 마련하지 않았을 경우 설명을 보장하거나 이의제기의 근거를 확인하기 어려울 수 있기 때문이다(‘이재명 정부 AI 정책에 반드시 포함해야 할 6대 정책과제’ 참여연대 등 시민단체 5개 공동 참여).
이렇게 공공분야의 AI 이용에 대한 부작용 가능성이 제기되면서 “모든 공공 AI는 국가에 등록되어 시민 앞에 투명하게 공개하고 시민 의견을 수렴해야 한다”는 요구가 이어지고 있다. 또한 시민단체들은 공공 AI 조달에서 인권영향평가가 의무화돼야 하며 인권영향평가 제도 마련 및 시행에 국가인권위원회가 참여해야 한다고 주장한다. 그리고 자동화된 행정처분 등 공공기관 의사결정의 대상이 된 사람에게는 적법절차의 권리 등 기본권 행사를 보장하고 공공분야 인공지능의 민주성이 보장돼야 한다는 의견도 대두된다.

▲이주호 사회부총리 겸 교육부 장관이 2023년 2월 22일 세종시에서 열린 디지털 교육 비전 선포식에 참석해 디지털 교육 비전 및 핵심가치를 발표하고 있다. [자료:연합]
우리는 AI 디지털교과서의 도입 과정에서 빚어진 민주적 통제 부재와 절차적 정당성 부족으로 인해 사회적 갈등과 예산 낭비를 경험하고 있다. 문제의 핵심은 ‘책임의 부재’다. 공공기관이 사용하는 AI 시스템이 도입 과정에서 어떤 영향을 검토했는지, 설계 당시 누구의 참여와 검증을 거쳤는지, 현재 어떻게 작동하고 있는지를 시민이 알 수 있는 방법이 없다.
공공의 권한이 위임된 인공지능이 시민의 삶을 판단하고 통제하는 도구로 작동하고 있지만 그 결과에 대해 책임을 지는 사람도, 항의할 수 있는 통로도 명확하지 않다는 것은 AI 시대를 맞이하는 우리 모두에게 불행이다.
이제는 공공분야 인공지능에 ‘적법절차’를 명시적으로 새겨 넣어야 한다. 정부와 공공기관이 ‘공익’을 위한다는 점을 명분으로 제멋대로 AI를 활용하고 통제하는 것은 무면허 운전자에게 AI 자율주행장치를 맡기는 것과 같다.
공공기관의 AI 도입에 대한 ‘민관’의 공동 감시체제 운영은 단지 기술의 통제가 아니라 공공의 권한이 남용되지 않도록 막는 민주적 통제의 최소한의 장치다. ‘자동화된 결과이므로 변경할 수 없다’는 식의 AI 면책 논리는 민주사회에서 용납되어서는 안 된다. 행정의 효율성보다 우선 돼야 할 것은 시민의 존엄과 권리다.
인공지능이 공공기관에서 쓰일수록 민주주의는 더욱 더 정밀하고 견고하게 설계돼야 한다. 우리도 모르는 사이에 기술의 진보가 시민의 권리 후퇴로 이어진다면 AI는 인류의 삶에 피해만 줄 뿐이다. 지금 이 순간에도 ‘효율적인 AI 행정’이라는 이름으로 누구도 모르게 ‘위험한 자동화’가 작동 중일지도 모른다.
[성기노 기자(kino@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>