대규모 에이전틱 AI 기반 구축 및 IT 팀과 AI 엔지니어 혁신 가속화

[보안뉴스 강현주 기자] 글로벌 오픈소스 솔루션 기업 레드햇이 엔터프라이즈 AI 플랫폼의 업그레이드 버전인 레드햇 AI 3를 출시했다고 15일 발표했다.

이 플랫폼은 레드햇 AI 인퍼런스 서버, 레드햇 엔터프라이즈 리눅스 AI(RHEL AI), 레드햇 오픈시프트 AI의 최신 혁신 기술을 통합해 대규모 고성능 AI 추론의 복잡성을 단순화한다. 기업이 기술검증(PoC)에서 프로덕션 단계로 워크로드를 쉽게 전환하고 AI 기반 애플리케이션 협업 개선을 지원한다.


[자료: 레드햇]

기업들이 AI 실험 단계를 넘어서면서 데이터 프라이버시, 비용 관리, 다양한 모델 관리 등 상당한 난관에 직면하고 있다. 매사추세츠 공과대학교 난다(NANDA) 프로젝트의 “생성형 AI 격차: 비즈니스 속 AI 현황” 보고서에 따르면 약 95%의 조직이 약 400억 달러 규모의 투자에도 불구하고 프로덕션 AI의 측정 가능한 재무적 성과를 얻지 못한다.

레드햇 AI 3는 이러한 과제를 직접 해결하는 데 초점을 맞추며 CIO와 IT 리더가 가속 컴퓨팅 기술 투자를 극대화할 수 있는 일관되고 통합된 경험을 제공한다. 이를 통해 기업은 하이브리드 및 멀티 벤더 환경 전반에서 AI 워크로드를 신속하게 확장하고 배포할 수 있도록 한다. 또한 공통 플랫폼 상에서 에이전트와 같은 차세대 AI 워크로드에 대한 팀 간 협업도 향상시킨다. 개방형 표준을 기반으로 구축된 레드햇 AI 3는 기업이 AI 여정의 어느 단계에 있든 그에 맞게 지원하며 데이터센터에서 퍼블릭 클라우드, 소버린 AI 환경, 엣지에 이르기까지 모든 하드웨어 가속기에서 어떤 모델이든 지원한다.

기업이 AI 이니셔티브를 프로덕션 단계로 전환할 때는 학습 및 모델 튜닝에서 엔터프라이즈 AI의 실질적인 실행 단계인 추론이 중점이 된다. 레드햇 AI 3는 vLLM 및 llm-d 커뮤니티 프로젝트와 레드햇의 모델 최적화 역량을 기반으로 대규모 언어 모델(LLM)의 프로덕션급 서빙을 제공함으로써 확장 가능하고 비용 효율적인 추론을 강조한다.

CIO가 고가의 하드웨어 가속을 최대한 활용할 수 있도록 레드햇 오픈시프트 AI 3.0은 쿠버네티스에서 LLM이 기본적으로 실행되는 방식을 재정의하는 llm-d을 정식 출시했다. llm-d는 검증된 쿠버네티스 오케스트레이션과 vLLM의 성능을 활용해 지능형 분산 추론을 가능하게 한다. 쿠버네티스 게이트웨이 API 추론 익스텐션, 엔비디아 다이나모 저지연 데이터 전송 라이브러리 (NIXL), 오픈소스 라이브러리 딥EP MoE(Mixture of Experts)와 같은 주요 오픈소스 기술을 함께 활용한다.

llm-d는 vLLM을 기반으로 구축되어 단일 노드 고성능 추론 엔진에서 쿠버네티스와 긴밀히 통합되고 예측 가능한 성능, 측정 가능한 ROI, 효과적인 인프라 계획을 가능하게 하도록 설계된 일관성 있고 확장 가능한 분산형 서빙 시스템으로 확장했다. 모든 개선 사항은 가변성이 높은 LLM 워크로드 처리 및 MoE 모델과 같은 대규모 모델 서빙의 과제를 직접적으로 해결한다.

레드햇 AI 3는 프로덕션 단계에서 사용 가능한 생성형 AI 솔루션 구축을 위한 협업 중심의 통합되고 유연한 경험을 제공한다. 이는 플랫폼 엔지니어와 AI 엔지니어가 AI 전략을 실행할 수 있는 단일 플랫폼을 통해 팀 간 협업을 촉진하고 워크플로우를 통합함으로써 실질적인 가치를 제공하도록 설계되었다. PoC에서 프로덕션 단계로 확장하는 데 필요한 생산성과 효율성을 지원한다.

AI 에이전트는 애플리케이션 구축 방식을 혁신할 전망이며 복잡하고 자율적인 워크플로우는 강력한 추론 성능을 요구한다. 레드햇 오픈시프트 AI 3.0은 확장 가능한 에이전트형 AI 시스템의 기반을 다지며, 추론 기능뿐만 아니라 에이전트 관리에 초점을 맞춤 새로운 기능과 개선 사항을 포함한다.

에이전트 생성 및 배포를 가속화하기 위해 레드햇은 라마 스택(Llama Stack)기반의 통합 API 레이어를 도입해 오픈AI 호환 LLM 인터페이스 프로토콜과 같은 업계 표준에 개발을 맞출 수 있도록 지원한다. 레드햇은 개방적이고 상호 운용 가능한 생태계를 지원하기 위해 AI 모델이 외부 도구와 상호작용하는 방식을 간소화하는 모델 컨텍스트 프로토콜 을 선도적으로 채택했으며 이는 최신 AI 에이전트의 핵심 기능이다.

레드햇 AI 3는 기존 인스트럭트랩 기능을 기반으로 구축된 모델 커스터마이징을 위한 새로운 모듈식 확장형 툴킷을 도입했다. 개발자에게 더 높은 유연성과 제어권을 제공하는 전용 파이썬 라이브러리를 제공한다. 이 툴킷은 데이터 처리를 위한 독클링(Docling)과 같은 오픈소스 프로젝트를 기반으로 하며 이는 비정형 문서를 AI가 읽을 수 있는 형식으로 간소화해서 변환한다. 합성 데이터 생성을 위한 유연한 프레임워크와 LLM 미세 조정을 위한 학습 허브가 포함되어 있다. 이를 통해 AI엔지니어는 결과를 모니터링 및 검증하고, 자체 데이터를 활용해 더 정확하고 관련성 높은 AI 결과를 도출할 수 있다.

조 페르난데스(Joe Fernandes) 레드햇 AI 사업부 부사장은 “레드햇은 llm-d를 통한 분산 추론과 에이전틱 AI를 위한 기반 등의 신규 기능을 제공함으로써 IT 팀이 어떤 인프라에서도 자신만의 방식으로 차세대 AI를 안정적으로 운영할 수 있도록 지원한다”라고 말했다.


[강현주 기자(jjoo@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>