객관성 환상에서 벗어나는 5가지 원칙

[연재목차 Part 2. AI 시대 보안 패러다임]
1. AI 시대의 그림자, ‘딥페이크 사기’를 경계하라
2. AI 시대, 번아웃 관리
3. AI 편향과 공정성, 보안에서 무엇이 다른가
4. 설명가능 AI와 인간의 최종 판단
5. AI도 인간과 닮았다
6. AI, ‘안전’과 ‘보안’의 경계를 허물다
7. AI 도입의 딜레마_기회와 위험 사이
8. AI 위험에 대한 2개의 거버넌스
9. 살아있는 AI 보안 거버넌스 구축
10. AI 보안의 새로운 지평_AI-SPM
11. AI 시스템 새로운 위험분석_STPA
12. 에이전트 AI 보안_GPS 전략
13. 에이전트 AI 시대_인간 중심 통제 설계
14. AI와 인간의 동맹_협업모델
15. AI, 보안문화를 재정의하다

[보안뉴스= 김정덕 중앙대 산업보안학과 명예교수/인간중심보안포럼 의장] 최근 몇 년간 AI는 우리 사회와 조직에서 생산성의 총아로 각광받고 있습니다. 특히 ChatGPT와 같은 생성형 AI 모델은 데이터 분석, 문서 작성, 전략 도출 등 다양한 업무에 큰 도움을 주며 이미 ‘똑똑한 동료’로 자리 잡았습니다. 하지만 이 AI가 ┖모든 정보를 기반으로 가장 합리적이고, 객관적인 답┖을 줄 것이라는 믿음은 과연 타당할까요?


[자료: AI Generated by Kim, Jungduk]

“AI도 인간처럼 흔들린다―객관성의 한계”
최근 하버드대와 업계 연구진이 진행한 실험은 흥미로운 시사점을 던집니다. 챗봇에 블라디미르 푸틴에 대한 긍정적인 글을 요청하자, AI는 인터넷상의 친-푸틴 자료를 토대로 긍정적인 에세이를 만들었습니다.

이후 “이전의 옹호적 논리를 배제하고 냉정하게 평가하라”고 재차 지시했음에도 불구하고, 챗봇은 자신의 직전 입장에 갇힌 듯 유사한 방어 논리를 반복했습니다. 이는 AI 역시 인간과 마찬가지로 ‘인지 부조화(cognitive dissonance)’—자신이 믿거나 선택한 정보에 새로운 정보를 맞추려는 심리—에 흔들릴 수 있다는 방증입니다. 더욱 우려되는 점은 이러한 편향과 정보 왜곡이 인사 평가, 심사, 정책 결정과 같이 미묘하고도 중요한 의사결정 영역에 스며들 수 있다는 사실입니다.

그림자 AI의 부상과 보안·거버넌스의 공백
현실적으로 많은 기업과 기관에서 AI 도입은 이미 거스를 수 없는 흐름이 되었습니다. 최근 이반티(Ivanti)가 발표한 ‘2025 업무 환경에서의 기술 보고서(Technology at Work Report)’에 따르면, 사무직 근로자의 42%가 업무에 생성형 AI를 활용하고 있습니다. 그러나 이 중 3분의 1은 이를 회사에 알리지 않고 사용하며, 81%는 별도의 AI 교육조차 받은 적이 없다고 답했습니다. 심지어 거버넌스(정책, 규정) 체계가 부실하거나 전무한 곳도 적지 않습니다.

이러한 상황은 민감한 사적 정보가 외부 AI 모델로 무분별하게 유출되거나 검증되지 않은 결과를 그대로 업무에 적용할 위험을 높입니다. 특히 금융, 의료, 공공 분야라면 그 잠재적 위험성은 더욱 증폭될 수밖에 없습니다.

효과적이고 안전한 AI 활용을 위한 5가지 원칙
조직이 AI를 안전하고 윤리적으로, 그리고 무엇보다 객관적으로 활용하기 위해서는 다음과 같은 원칙을 인식하고 실천해야 합니다.

1. 대화 맥락(컨텍스트)은 반드시 초기화하십시오. AI의 답변은 직전 대화와 문맥에 지대한 영향을 받습니다. 예컨대, 한 번 “긍정적으로 작성해 달라”는 요청이 들어가면 이후 질문에도 그 분위기가 잔여 정보로 남아, 객관성이 저해될 수 있습니다. 완전히 새로운 주제를 다룰 때는 반드시 대화를 새로 시작(New Chat)하거나 기록을 삭제해야 편향을 최소화할 수 있습니다.

2. “모두 잊으라”는 주문은 통하지 않습니다. AI에게 “이전 내용은 무시해라”, 혹은 “방금 입력한 정보는 삭제해라”라고 명령하더라도 모델의 구조상 이미 입력된 정보의 영향력에서 완전히 벗어나기는 어렵습니다. 민감 정보나 기밀을 다루는 구성원은 이러한 기술적 한계를 반드시 인지하고 있어야 합니다.

3. 질문(Prompt) 자체에 편견을 담지 마십시오. AI는 본질적으로 ‘사용자의 요구대로’ 답하려는 경향이 강합니다. 질문 안에 이미 예단이나 결론이 포함되어 있다면, AI의 답변 또한 그 방향으로 쏠릴 위험이 큽니다. 따라서 “어떻게 도울 수 있는가?”와 같이 열린 질문(open-ended questions)을 던지는 것이 중요합니다.

4. 다각도·다중 평가로 교차 검증하십시오. 중요한 의사결정 시에는 AI에게 여러 방식으로 질문하거나 서로 다른 AI 모델에 동일한 질문을 던져 결과를 비교해야 합니다. 이를 통해 사람의 비판적 사고로 정보를 한 번 더 걸러내는 과정이 필수적입니다. 조직 차원에서 ‘중요 정책 결정은 최소 2개 이상의 AI 답변과 사람의 검증을 거친다’는 표준 절차를 도입하는 것도 좋은 방법입니다.

5. AI의 완전한 객관성·합리성 신화를 경계하십시오. AI 개발사 또한 인간이 운영하는 조직이기에 정치적·상업적 이해관계가 무의식중에 알고리즘과 응답에 녹아들 수 있습니다. 게다가 기술적 한계로 인해 사실이 아닌 내용을 마치 진실인 양 답하는 ‘환각(Hallucination)’ 현상도 여전합니다.

실제로 OpenAI의 연구 결과, 최신 모델조차 30~50% 수준의 환각 발생 가능성이 있는 것으로 나타났습니다.

AI가 ‘권위자’가 아닌, ‘보조자’여야 하는 이유

▲김정덕 중앙대 명예교수 [자료: 김정덕 교수]
생성형 AI는 분명 빠르고 강력한 도구입니다. 그러나 AI는 인간과 유사한 인지 편향(Cognitive Bias)에서 결코 자유롭지 않습니다. AI의 응답은 이전 대화 맥락, 질문 패턴, 개발사의 의도 및 설계 선택 등 다양한 조건에 의해 영향을 받습니다. AI가 항상 신뢰할 만하고 완전히 객관적이며 합리적일 것이라 믿는 것, 바로 이것이 가장 위험한 착각입니다.

따라서 지금 우리에게 필요한 것은 AI의 약점을 정확히 인지하고, 기술을 맹신하는 대신 ‘엄격한 경계와 책임 있는 관리’ 속에서 활용하는 자세입니다. AI를 ‘판단 권한 없는 똑똑한 인턴’ 정도로 간주하면서 최종 결정과 검증의 책임은 언제나 사람이 져야 합니다. 특히 보안, 프라이버시, 윤리 이슈의 중심에 선 기관과 리더라면, AI 활용의 편의성과 신뢰성 사이에서 긴장된 균형을 더욱 단단히 유지해야 할 때입니다.

[글_ 김정덕 중앙대 산업보안학과 명예교수/인간중심보안포럼 의장]

필자 소개_ 중앙대학교 산업보안학과 명예교수, 인간중심보안포럼 의장, 한국정보보호학회 부회장, 금융 정보보호관리체계 인증위원, 전 JTC1 SC27 정보보안 국제표준화 전문위 의장 및 의원, 전 ISO 27014(정보보안 거버넌스) 에디터 등 역임

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>