[비즈니스포스트] LG유플러스가 인공지능(AI) 모델 최적화 전문회사 옵트에이아이와 손잡고 생성형 AI 서비스 운영 효율을 높이는 토큰 최적화 기술 확보에 나선다.

LG유플러스는 옵트에이아이와 AI 모델을 가볍게 만들고 연산 효율을 높이는 토큰 최적화 기술 공동 연구를 진행한다고 2일 밝혔다.

토큰은 AI가 이용자의 질문을 이해하고 답변을 생성할 때 처리하는 데이터 기본 단위다. 토큰 최적화 기술은 AI 모델의 크기와 연산 과정을 효율화해 같은 자원으로 더 많은 요청을 처리할 수 있도록 하는 기술이다.

LG유플러스는 실제 AI 서비스 운영 경험을 바탕으로 기술 검증과 적용을 맡고, 옵트에이아이는 AI 모델 경량화와 고속 구동 기술 연구개발을 담당한다.

두 회사는 이를 통해 그래픽처리장치(GPU)와 전력 사용량을 줄이면서도 AI 서비스 응답 속도와 품질을 높이는 것을 목표로 한다.

두 회사는 스마트폰 등 기기 자체에서 AI를 구동하는 온디바이스 AI 분야에서도 협력해왔다. 엑사원 기반 소형언어모델(sLM)에 경량화 기술을 적용해 기존 CPU 방식과 동일한 수준의 성능을 유지하면서 전력 소모를 78%, 모델 크기를 82% 줄였다고 설명했다. 

협력을 계기로 서버 GPU 환경까지 공동 연구 범위를 확대한다. 두 회사는 대규모 AI 서비스 환경에서 같은 GPU 자원으로 더 많은 이용자의 요청을 처리할 수 있도록 AI 모델 연산 효율화 기술을 연구한다.

현재 진행 중인 GPU 기반 AI 모델 최적화 연구에서는 같은 GPU에서 처리할 수 있는 토큰량을 기존 대비 최대 4배 높이는 성과를 거뒀다고 밝혔다.

이상엽 LG유플러스 최고기술책임자(CTO)는 “AI 경쟁력은 단순히 성능을 높이는 것을 넘어 같은 자원으로 얼마나 많은 토큰을 효율적으로 처리할 수 있느냐에 달려 있다”며 “토큰 최적화 기술 연구를 확대하고 실제 서비스에 적용할 수 있는 성과를 만들어 나갈 것”이라고 말했다. 조승리 기자