최초의 에이전트 자율 해킹대회 ‘HalCTF’
“거의 모든 해커 AI 활용”... CTF 예선서 제한 룰

[라스베이거스=보안뉴스 강현주 기자] 사람 없이 AI 에이전트들끼리 해킹대회에서 실력을 겨룬다. 인간 해커들의 경쟁에도 AI 활용이 확산됨에 따라 새로운 룰이 생기는 등 글로벌 최고 권위 해킹대회도 AI로 점점 짙게 물들고 있다.

6일(현지시간) 라스베이거스 컨벤션센터(LVCC)에서 개막한 데프콘34(DEF CON 34)에서는 전세계 해커들이 펼치는 해킹방어대회(CTF) 뿐 아니라 최초의 AI 에이전트 간 CTF인 ‘HalCTF’(Hostile Autonomous Layer CTF)가 펼쳐진다.


▲7일 현지시간 개박 전 데프콘34 현장 [출처: 보안뉴스]

AI 보안 대회 넘어 아예 에이전트들끼리 CTF
앞서 2025년 데프콘33에서는 2년에 걸쳐 예선을 진행한 ‘AI 사이버 챌린지’(AixCC) 미국 국방고등연구계획국(DARPA) 개최로 열린 바 있다. 윤인수 KAIST 교수가 이끄는 ‘아틀란타’ 팀이 우승한 AIxCC는 AI 기반 사이버 보안 경연대회로, CTF와는 다르다. AI가 스스로 취약점을 찾아 패치를 만들고 테스트까지 통과시키는 완전 자율형 사이버 추론 시스템을 만드는 대회다.

HalCTF는 AIxCC와 달리 사람 없이 AI 에이전트끼리 경쟁하는 CTF다. 에이전트들은 스스로 정보를 수집하고 취약점을 찾아 이를 이용한 공격을 시도해 플래그(Flag)를 스스로 탈취하는 형태다. 물론 에이전트를 개발해 놓은 것은 사람이다. 개인 또는 최대 5명까지 팀을 꾸려 참여할 수 있다.

특히 공격 타깃부터 에이전트, 모델까지 모든 것을 주최측에서 호스팅한다. 이는 서버, GPU 등 더 풍부한 AI 자원을 갖출수록 승산이 높아지는 ‘빈부의 차’를 방지하려는 의도로 해석된다.

이 대회를 개최하는 AI 보안 연구자 커뮤니티 AI빌리지는 “이번 HalCTF에서는 프론티어 모델이 아닌 대부분의 사람들이 사용할 수 있는 수준의 소형 로컬 모델의 한계를 어디까지 끌어올릴 수 있는지에 초점을 맞춘다”며 “과거와 현재의 기술이 다양하게 섞여 있으며, 더 작은 모델을 사용할수록 더 많은 점수를 획득할 수 있다”고 밝혔다.

CTF 룰도 AI 확산 의식... “무얼 얻을지 재고할 때”
한국 해커들이 대거 포함된 데프콘 CTF 본선은 현지시간 7일 시작되며 9일 결과가 발표된다. 인간 해커들의 CTF에서도 AI 활용이 확산됨에 따라, 이번 CTF 예선에서는 AI 사용에 일부 제한을 두는 새로운 룰도 생겼다. 100% AI만 사용해서 문제를 푸는 것은 인정되지 않았다.

현장에서 만난 한 해커는 “이미 거의 모든 해커들은 CTF에서 AI를 활용해왔으며 이용률이 점점 높아질 것”이라며 “AI는 인간 해커들 간 CTF 양상도 바꾸고 있다”고 말했다.

4년 연속 데프콘 CTF 우승팀 ‘MMM’을 이끈 박세준 티오리 대표는 지난 5월 데프콘 CTF 예선이 끝난 시점에 소셜미디어를 통해 ‘CTF 은퇴’를 선언했다.

박 대표는 “CTF는 수많은 시도 끝에 문제를 해결하고, 스스로의 실력을 증명했을 때 느끼는 성취감이 핵심인 ‘게임’이었다”며 “이제 프론티어 모델들은 어려운 문제까지도 풀어내고 있다고, 이 과정이 제게는 이전과 같은 형태의 즐거움을 주지는 못했다”고 이유를 밝혔다. 이어 “대회를 통해 무엇을 얻고 싶은 건지 다시 질문해 볼 시점이 온 것 같다”고 말했다.

박 대표가 이끌던 MMM 팀 일부는 올해 데프콘 CTF에서 문제 출제 연구진으로 활약하고, 일부는 ‘ABCD’라는 팀명으로 소규모로 CTF에 참가한다.

한편, 이번 데프콘34에서는 오펜시브 AI 보안, 에이전트에 대한 적대적 공격, 딥페이크 악용 등 AI 보안 관련 다양한 강연과 기술 시연들이 마련된다.

[라스베이거스=강현주 기자(jjoo@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>