3줄 요약
1. R1을 추가로 훈련해 R1 1776 탄생.
2. 검열에 걸릴 프롬프트 솎아내고 전문가들과 객관적 데이터 수집.
3. 중국에 민감한 내용도 술술 답변.

[보안뉴스 문가용 기자] 보안 업체 퍼플렉시티(Perplexity)가 새로운 AI 모델인 R1 1776을 공개했다. 기존 딥시크(DeepSeek) R1을 기반으로 한 것으로, 그간 R1에서 문제가 됐던 ‘중국식 검열’ 특성이 제거됐다. 중국에 편향되거나 지나치게 우호적인 답변을 더이상 내지 않게 됐다.


[자료: gettyimagesbank]

검열 문제를 해결하기 위해 퍼플렉시티는 ‘사후 훈련’(post-training)이라는 기법을 사용했다. 중국식 검열이 개입되는 사안들과 관련된 데이터를 별도로 수집하여 R1을 따로 더 훈련시킨 것이다. 각종 사안에 대해 더 객관적이고 품질이 높은 데이터들을 찾아 모델에 주입하는 것이 이 작업의 핵심이었다.

퍼플렉시티가 공개한 사후 훈련의 세부 과정은 다음과 같았다.
1) 중국 공산당이 검열할 만한 주제 300개를 선정한다.
2) 각 주제별로 전문가들을 섭외한다.
3) 위 주제들을 바탕으로 다국어 검열 분류 장치를 개발한다.
4) 이 장치를 발동시키는(즉 중국 검열 기준에 걸리는) 사용자 프롬프트를 수집한다. 이 때 사용자의 동의를 얻고, 개인 식별 정보는 걸러낸다.
5) 총 4만개 이상의 프롬프트를 얻어내는 데 성공했다.

그 다음이 문제였다. 얻어낸 프롬프트들에 대한 ‘객관적 응답’을 R1이 출력하도록 유도해야 했기 때문이다. 그러려면 그 객관적 응답을 퍼플렉시가 먼저 확보해야 했다. 그냥 ‘팩트’를 읊어대도록 하는 게 아니라 사고 과정, 합당한 추론이 포함되는 것도 필수였다. 고용한 분야별 전문가들과 연구하여 이를 충족시킬 다양한 고품질 응답을 수집했다.

퍼플렉시티는 “이렇게 모든 데이터가 갖춰진 뒤 R1의 사후 훈련을 시작할 수 있었고, 훈련 과정을 통해 검열 장치를 효과적으로 해제할 수 있었으며, 학술 벤치마크와 내부 품질 평가 기준, 높은 성능을 유지할 수 있었다”고 그 결과에 대해 말한다.

사후 훈련 전과 후를 비교하면 다음과 같다(보안뉴스 역).

[자료: 보안뉴스]

[국제부 문가용 기자(globoan@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>