“법조인, 업무 관련 AI 생성물 반드시 직접 확인해야”... 법안 발의
AI에 대한 인간 감독 법적 의무화 추진

[보안뉴스 김형근 기자] 미국 캘리포니아주 의회에서 법조인들의 무분별한 AI 활용을 막는 법안이 발의돼 주목된다.

미국 캘리포니아주 토마스 엄버그(Thomas Umberg) 상원의원은 최근 변호사와 중재인이 AI를 사용하는 방식을 제한하는 ‘법안 574’(SB 574)를 발의했다.

이 법안은 AI가 존재하지 않는 허위 정보를 만들어내는 이른바 ‘환각’ 현상을 막고 데이터 보안을 강화하는 데 목적을 두고 있다.


[출처: gettyimagesbank]

법안에 따르면 법조인들은 기밀 정보를 공용 AI 시스템에 입력해서는 안 되며, AI가 생성한 모든 결과물을 직접 검토해야 한다. AI가 제공한 모든 인용 문구와 판례를 변호사가 직접 읽고 확인하지 않은 채 법정에 제출하는 행위가 금지된다.

또 판결이나 중재 과정에서 AI에 의사결정 권한을 위임하는 행위도 금지한다. AI가 법조계 전반에 퍼져 있지만 여전히 심각한 오류를 범하고 있어, 인간의 책임과 공개 의무가 필수적이라고 엄버그 의원은 밝혔다.

이 법안이 통과되면 기업 변호사들은 더욱 철저한 내부 통제와 보안 정책을 수립해야 하는 과제를 안게 된다. 현재 AI에 대한 ‘인간의 감독’을 전문가 윤리에 맡기고 있는 반면, 앞으론 법적 의무로 명문화된다는 점이 이번 법안의 핵심이다.

이미 법원이 허위 서류 제출을 징계하고 있는 상황에서 이 법안이 실질적 보호를 더하기보단 실익 없이 업무 부담만 늘릴 것이란 비판도 나온다. 또 AI가 차별을 하거나 나쁜 내용을 만들지 못하게 막으라는 규정은 기준이 너무 포괄적이고 애매해 나중에 기업들이 소송에 휘말릴 수 있다는 걱정도 있다.

이번 SB 574 법안은 캘리포니아주가 AI 규제를 연방 정부나 기업 자율에 맡기지 않고 주 차원에서 주도하겠다는 의지를 보여준다. 실제로 캘리포니아는 2025년 이미 대형 AI 개발사들에 안전 프레임워크 공개를 의무화하는 ‘프런티어 AI 투명성법(SB 53)’을 통과시킨 바 있다. 또 반려용 챗봇(Companion Chatbot)을 규제하는 법안(SB 243) 등 AI의 특정 용도별로 정밀한 규칙들을 계속 만들어가고 있다.

규제 당국은 이제 AI 개발 단계뿐만 아니라 법률과 같은 전문직 실무 영역까지 AI의 책임을 신중하게 확장하고 있는 추세다. 따라서 기업에서 법률 자문과 전략을 총괄하는 법무 부서들은 이제 AI를 어떻게 사용하고, 공개하며, 검증하고 감사할지에 대한 복잡한 규칙들을 파악하고 있어야 한다.

[김형근 기자(editor@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>