생성형 AI 기술의 급속한 발전으로 인해 많은 기업이 AI를 활용한 수익화를 꿈꾸고 있다. 고객과의 상담을 자동화하고, 데이터를 기반으로 한 인사이트를 제공하는 등의 다양한 방식으로 AI가 비즈니스의 수익성을 높여줄 수 있을 것이라는 기대가 크다. 그러나 실제로 AI를 활용하여 수익화를 실현하는 과정에서는 예상치 못한 장애물이 등장하는데, 그중에서도 비용 문제가 가장 크다.
생성형 AI, 특히 대화형 AI는 그 이용자가 많아질수록 비용이 급격히 상승한다. 챗봇으로 고객과 1명당 약 5분에서 10분 정도 대화할 경우, 한 명의 대화 세션을 유지하는 데 약 천 원의 비용이 발생한다. 이는 비즈니스가 성장하면서 더 많은 고객이 AI 서비스와 상호작용할 때마다 그 비용이 천문학적으로 증가할 가능성을 내포하고 있다. 결국 고품질 AI 서비스를 제공하는 것은 곧 높은 비용 부담을 감수해야 한다는 의미로, 이는 AI 기반 수익화의 지속 가능성을 위협하는 주요 요소로 작용한다.
비용 문제 해결을 위해 현재 업계에서는 소형화된 LLM(sLLM)의 필요성이 점점 더 커지고 있다. 대규모 AI 모델을 실시간으로 활용하는 대신, 소형화된 모델을 사용하여 운용 비용을 절감하고, 필요에 따라 설치형으로 운영하는 방식이 주목받고 있다. 예를 들어 챗봇을 운영하는 기업이라면 직원 한 명당 60만 원 정도의 GPU를 활용해 소형화 모델을 운영할 수 있다. 4060 Ti 16GB 모델을 기준으로 산정한 금액으로, 이는 직원 인건비와 비교할 때 상당한 비용 절감 효과를 제공할 수 있다. 1년 동안 챗봇을 운용하더라도 이 비용은 1개월치 인건비보다도 저렴하기 때문에 의미가 있다.
결국 기업은 각자의 데이터베이스를 활용해 3B나 7B 정도의 모델을 자체적으로 운영하며 비용을 절감하고 수익화 가능성을 높이는 방향으로 나아가야 할 것이다. 이렇게 하면 고품질의 맞춤형 AI 서비스를 유지하면서도 비용 문제를 줄일 수 있어, 기업의 데이터에 최적화된 모델로 서비스의 차별성을 확보할 수 있다.
뿐만 아니라 비전 처리나 멀티모달을 사용하는 다른 유형의 AI 서비스에서도 동일하게 비용 문제가 발생할 수 있다. 이러한 경우에도 비용 부담이 매우 크기 때문에, 온디바이스 AI가 주류로 자리 잡을 가능성이 높아 보인다. 온디바이스 AI는 서버에 의존하지 않고 장치 자체에서 AI 모델을 구동하는 방식으로, 처리 속도를 빠르게 하고 데이터 전송에 따른 비용을 절감할 수 있다는 장점이 있다. 따라서 앞으로는 AI 기반 업무 자동화에도 온디바이스 AI가 핵심 역할을 할 것으로 예상된다.
결론적으로 AI의 수익화를 위해서는 비용 문제를 해결하는 것이 필수적이며, 이를 위해 소형화된 LLM을 사용하거나 온디바이스 AI를 도입하는 것이 중요한 전략이 될 것이다.
다양한 기업들이 AI 모델을 활용해 비용 문제를 해결하려는 시도를 하고 있으며, 성공적으로 비용 효율화를 이룬 사례들이 등장하고 있다. 이러한 사례들은 특히 소형화된 LLM이나 온디바이스 AI가 비용 절감과 효율성을 높이는 데 큰 도움이 된다는 점에서 주목할 만하다. 몇 가지 실제 사례와 유망한 사례를 소개하면 다음과 같다.
1. 콜센터 자동화를 통한 비용 절감: ㅇㅇㅇ 콜센터 기업의 사례
콜센터에서 챗봇을 활용해 고객 문의를 처리하는 기업 ㅇㅇㅇ는 최근 온디바이스 AI를 도입하여 큰 비용 절감 효과를 거두었다. 기존에는 대형 AI 모델을 서버 기반으로 운영하여 많은 비용이 발생했으나, 고객 응대 패턴 분석을 통해 3B 규모의 소형화된 LLM으로 전환하면서 비용 절감 효과를 보았다. 고객이 자주 문의하는 반복적인 질문을 이 소형화된 모델로 자동 응대하고, 복잡한 질문만 콜센터 직원에게 전달하는 구조로 전환한 것이다. 이에 따라 매달 수천만 원에 달했던 AI 운영 비용이 절반 이상 줄어들었으며, 고객 응대 속도도 크게 향상되었다.
2. 물류 자동화와 소형 AI: ㅇㅇ물류 회사의 맞춤형 AI 모델 적용
물류 회사 ㅇㅇ는 자체 물류 네트워크에 맞춤화된 AI 모델을 구축하고 있다. ㅇㅇ는 소형화된 7B LLM을 기반으로 물류 데이터베이스와 연동하여 실시간 경로 최적화를 수행하는 AI 모델을 개발하였다. 이 AI는 택배 기사들이 운송 경로를 효율적으로 설정하도록 돕고 있으며, 이는 배송 시간을 단축시키고, 유류비 절감 효과까지 거두게 했다. 기존 서버 기반의 모델을 사용할 때와 비교해 AI 운영비가 30% 이상 절감되었고, 경로 최적화를 통해 회사의 연간 물류 비용이 크게 절감되었다.
3. 소비자 분석 AI: ㅁㅁ전자상거래 플랫폼의 사례
ㅁㅁ라는 전자상거래 플랫폼은 고객 데이터 분석과 추천 시스템에 소형화된 AI 모델을 활용하여 비용 절감을 실현하고 있다. ㅁㅁ는 개별 고객의 구매 패턴과 선호를 분석해 맞춤형 상품을 추천하는 시스템을 운영 중인데, 처음에는 대규모 AI 모델을 서버에서 사용하여 비용 부담이 컸다. 그러나 최근 3B 크기의 소형화 모델을 구축해 이 작업을 온디바이스로 전환했고, 전반적인 운영 비용이 절반 이상 감소했다. 이로 인해 고객 개인화 추천 시스템을 더욱 효율적으로 운영할 수 있었으며, 성능도 개선되었다.
이처럼 다양한 사례에서 볼 수 있듯이, AI의 소형화와 온디바이스화를 통해 비용 문제를 해결하고 수익화를 극대화하는 것이 앞으로의 핵심 전략이 될 것이다.