기업들이 생성형 인공지능(AI) 도입을 위해 고성능 GPU 확보에 나서고 있지만, 실제 서비스를 운영하는 과정에서는 응답 지연과 낮은 자원 활용률, 인프라 비용 부담이 여전히 과제로 남아 있다. GPU를 추가로 확보하더라도 추론 과정에서 발생하는 병목을 해결하지 못하면 기대한 만큼의 성능을 얻기 어렵기 때문이다. AI 인프라 소프트웨어 전문 기업 오케스트로(대표 김범재, 김영광)가 동일한 GPU 자원으로 AI 추론 처리량을 62.8% 높인 성능 검증 결과를 공개하고, 하드웨어 증설보다 운영 효율에 초점을 맞춘 인프라 최적화 전략을 소개한다. 오케스트로는 오는 10월 27일 오후 2시 ‘AI 서비스 성능 개선, GPU부터 더 사야 할까?’를 주제로 온라인 웨비나를 개최한다.
생성형 AI 시장이 모델 개발과 학습 중심에서 실제 서비스 운영으로 확대되면서 추론(Inference) 인프라의 중요성도 커지고 있다. 특히 사용자의 요청을 이해하고 여러 작업을 수행하는 에이전틱 AI(Agentic AI)는 하나의 업무를 처리하는 과정에서 AI 모델을 반복적으로 호출하기 때문에 GPU 자원에 대한 부담이 크다. 여러 요청이 동시에 발생하는 환경에서는 모델의 입력 처리와 답변 생성 작업이 동일한 GPU 자원을 두고 경쟁하면서 처리 속도가 떨어질 수 있다.
오케스트로가 10월 27일 AI 추론 인프라 최적화 전략과 ‘콘체르토 AI’의 성능 검증 결과를 소개하는 온라인 웨비나를 개최한다. (자료 제공: 오케스트로)
오케스트로는 이러한 문제를 해결하기 위해 AI 추론 운영 플랫폼 ‘콘체르토 AI(CONCERTO A.I.)’에 분산 추론 기술을 적용했다. 대규모 언어모델(LLM)의 추론 과정은 입력된 정보를 분석하는 프리필(Prefill)과 실제 답변을 생성하는 디코드(Decode) 단계로 나뉜다. 콘체르토 AI는 두 작업을 분리해 GPU 자원을 할당함으로써 서로 다른 연산이 동일한 자원에서 충돌하는 상황을 줄이고, 전체 추론 처리 효율을 높이는 구조다.
플랫폼은 분산 추론 환경의 구축과 배포를 자동화하고, 서비스 운영 상태와 성능을 확인할 수 있는 모니터링 기능도 제공한다. 이를 통해 기업이 복잡한 추론 인프라를 직접 구성하고 관리하는 부담을 줄이면서 보유한 GPU 자원의 활용도를 높일 수 있도록 설계했다.
GPU 증설 대신 추론 구조 개선…스토리지 연계로 모델 구동 시간도 단축
오케스트로가 진행한 성능 검증에서는 기존 모델 서빙 방식과 동일한 GPU 자원을 사용하는 조건에서 고부하 처리량이 62.8% 증가했다. 토큰 생성 지연은 52.1% 감소해 다수의 요청이 동시에 발생하는 환경에서도 추론 효율을 개선할 수 있음을 확인했다. 다만 해당 수치는 특정 검증 환경에서 측정한 결과로, 실제 서비스의 모델 구성과 요청량, 인프라 조건에 따라 성능 차이가 발생할 수 있다.
이번 웨비나에서는 GPU 연산 최적화뿐 아니라 스토리지와 연계한 AI 인프라 개선 사례도 다룬다. 오케스트로는 넷앱(NetApp)의 스토리지 기술을 활용해 AI 모델 구동과 메모리 관리 과정에서 발생하는 병목을 줄이는 방안을 소개한다.
대표적인 기술은 GPU 다이렉트 스토리지(GPUDirect Storage, GDS) 기반의 KV 캐시 오프로딩이다. KV 캐시는 AI 모델이 이전 입력과 생성 과정에서 계산한 정보를 저장해 반복 연산을 줄이는 데 활용되지만, 요청이 늘어나거나 입력 문맥이 길어질수록 GPU 메모리 사용량이 증가한다. 오케스트로는 일부 캐시 데이터를 외부 스토리지로 분산해 GPU 메모리 부담을 완화하고 동시 사용자 처리 효율을 높이는 방식을 적용했다.
AI 모델을 서비스 환경에 불러오는 과정에서도 성능 개선이 이뤄졌다. 넷앱 스토리지와 연계한 최적화를 통해 모델 가중치 로딩 시간을 기존 71초에서 8초로 줄였으며, 신규 서버가 기동해 실제 서비스에 투입되기까지 걸리는 시간도 187초에서 80초로 단축했다. AI 서비스의 사용량이 급격하게 증가하거나 새로운 서버를 추가해야 하는 상황에서 자원을 신속하게 투입하는 데 활용할 수 있는 기술이다.
오케스트로는 콘체르토 AI를 중심으로 AI 서비스 개발 환경과 모델 운영·관리, 통합 모니터링 기능을 연결하고 있다. 추론 성능 개선을 기반으로 기업이 자체 AI 인프라를 구축하고 운영할 수 있도록 지원하는 한편, 엔비디아 GPU와 국산 신경망처리장치(NPU) 등 다양한 하드웨어를 활용할 수 있는 환경도 확대할 예정이다.
그룹 차원에서는 소버린 AI 인프라 구축을 위한 기술 협력도 진행하고 있다. 계열사 오케스트로 클라우드는 퓨리오사AI, 업스테이지 등 4개사와 업무협약을 체결하고 국산 NPU 기반 ‘소버린 AI 풀스택 어플라이언스’ 공동 개발을 추진하고 있다. AI 연산 하드웨어부터 소프트웨어 운영 환경까지 연결해 기업과 기관의 독립적인 AI 인프라 구축을 지원한다는 구상이다.
김범재 오케스트로 대표는 AI 서비스 운영에서 중요한 경쟁력이 GPU 확보 규모뿐 아니라 기존 자원의 성능을 얼마나 효율적으로 활용하는지에 달려 있다고 설명했다. 이번 웨비나에서는 콘체르토 AI의 분산 추론 기술과 성능 검증 결과를 중심으로 기업이 GPU 투자 효율을 높이고 안정적인 AI 서비스 운영 환경을 구축할 수 있는 방안을 공유한다.
웨비나는 10월 27일 오후 2시부터 올쇼TV를 통해 온라인으로 진행된다. 참가비는 무료이며, 사전 등록을 통해 참여할 수 있다.
The post 오케스트로, GPU 추가 없이 AI 추론 처리량 62.8% 높였다…인프라 최적화 기술 공개 appeared first on 벤처스퀘어.
