[더테크=전수연 기자] SK텔레콤(이하 SKT)이 통신사의 서비스, 상품, 멤버십 혜택, 상담 패턴 등 방대한 양의 데이터를 수집하고 정형·비정형 데이터를 선별해 이를 학습시키는 LLM을 개발하고 있다. 이 LLM은 오는 6월 개발이 완료되며 통신사들이 AI컨택센터, 유통망, 네트워크 운용, 사내 업무 등에 활용할 수 있을 것으로 보인다.
SKT는 서울 중구 SKT타워에서 자사 텔코 LLM 설명회를 30일 진행했다.
이날 설명회는 텔코 LLM의 의미와 개발 과정을 공유하는 시간으로 마련됐다. 우선 에릭 데이비스 SKT AI Tech Collaboration 담당은 텔코 LLM의 정의부터 언급했다.
텔코 LLM은 5G 요금제, T멤버십, 공시지원금 등 우리나라 통신 전문 용어와 AI 윤리가치 등 통신사의 내부 지침을 학습한 모델이다. 특히 GPT, 클로드와 같은 범용 LLM이 아닌 통신업에 특화된 LLM이라고 볼 수 있다.
텔코 LLM의 3가지 특징에 대해 데이비스 담당은 “개체(Entity) 인식은 특정 요금제의 혜택을 이해한다. 또 상품 선택은 제품 검색어(query)와 가장 일치하는 문서를 찾는다”며 “의도 감지는 문장에서 사용자 의도를 분류해 파악한다”고 설명했다.
그러면서 데이비스 담당은 “예를 들어 로밍 요금제를 물어본다면 고객의 예약을 살펴보고 관련 히스토리를 알아야 한다. 이는 기존 LLM이 할 수 없었던 것”이라며 “텔코 LLM은 맞춤으로 정보를 제공하고 데이터를 추출한 후 상품을 추천하기 때문에 만족도를 높일 수 있다”고 말했다.
또한 범용 파운데이션 모델인 A.X LLM, GPT, 클로드 등의 생성 데이터와 피드백 데이터를 기반으로 학습 후 상담사 보조, C/S 인사이트, 고객 셀프서비스 봇, 세일즈/마케팅 봇, 상담사 코칭 등으로 활용될 수 있다.
멀티 LLM과 텔코 LLM은 각 유즈케이스(Usecase)에서 요구하는 LLM 관련 기능, 성능, 비용이 상이한 점을 완화하기 위해 다양한 LLM 활용을 검토한다. 이 때문에 고객센터 상담·마케팅·인프라 어시스턴트, 스팸 필터링 법무 등의 멀티 LLM 게이트웨이를 확장할 수 있다. 또 LLM의 종류, 파인 튜닝 정도에 따라 각 업무의 수행 능력 차이도 존재한다.
이러한 텔코 LLM은 특정 튜닝 과정으로 학습 데이터 △구축 △파인 튜닝 △RLHF(Reinforcement Learning from Human Feedback, 휴먼 피드백 기반의 강화학습) △모델 평가를 진행한다. 데이비스 담당은 “유즈케이스 파악, 데이터 개요 이해, 데이터 추출, 파인 튜닝뿐만 아니라 커스텀 모델까지 튜닝한다”며 “가령 상담사 데이터를 피드백 받고 텔코 LLM을 적절하게 튜닝한다. 이후 응답 만족도와 보안이 고려되고 LLM이 큰 폭으로 개선됐다”고 전했다.
고객센터를 예로 들면 텔코 LLM은 △상담 대화 내용 △고객 자연어 발화 △상담 대화 내용 등의 내용을 입력 후 상담 요약문·정형화된 형태의 의도(Intent), 대화 중 3~4개의 핵심 주제(명사), 다음 이어질 대화 내용, 상담 처리 중 상담사 조회 문서, 질문에 대한 답변을 출력한다.
또한 텔코 LLM은 통신 분야 업무 수행 능력과 서비스 적용 측면에서 정량적인 지표(Capacity Index)를 측정한다. 전문성 측면에서는 범용 모델 대비 통신 서비스 관련 주요 과제를 전문적으로 수행한다. 효율성 면에서는 과제 처리 속도, 비용 측면에서 범용 LLM 대비 우수성을 보이며 원하는 서비스를 출시하는 데까지의 소요 시간을 단축할 수도 있다.
다음 발표는 정민영 SKT AI플랫폼 담당의 기술 소개로 이어졌다. SKT는 LLM만으로 애플리케이션을 개발하기 어렵다고 분석했다. 특히 제어가능성(Controllability)면에서 같은 질문에 대해 일관되지 않은 답변을 생성하고 답변 품질이 천차만별인 점을 문제점으로 판단했다.
이 외에도 정확성(Accuracy)은 환각, 모호성, 불일치, 비상식적인 답변 생성 등의 문제가 존재하고 과제 수행 능력(Actionability)은 업무를 계획하고 수행할 수 있는 LLM 프레임워크에 대한 연구가 아직 초기 상태이기도 했다.
정 담당은 “SKT는 텔코 LLM을 포함해 업무마다 다양한 LLM을 활용할 전략이다. 현재 여러 유즈케이스에서 관찰해보면 외부에서도 LLM이 확대되고 있다”며 “이러한 부분을 예상하고 자체 LLM을 포함해 타 기업의 모델도 활용하기 쉽도록 준비했다”고 말했다.
현재 고객센터에서 상담 전화 한 건을 처리하는데 고객 상담에 약 3분, 상담 후 업무를 처리하는데 30초 이상이 소요된다. 반면 텔코 LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주는 등 상담 후 처리까지 소요되는 시간을 단축시켜 줄 수 있을 것으로 기대된다.
또한 텔코 LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 철저하게 학습하고 있고 우리나라에서 빠르게 생겨나고 있는 신조어, 한국어 욕설, 위협 폭언 식의 문맥 뉘앙스를 정확하게 파악할 수 있다는 장점이 있다.
정 담당은 “LLM을 활용할 때 필요한 공통 요소를 파악하고 그런 부분을 반복 개발하는 게 아닌 공통화를 준비했다”며 “이를 통해 상정한 유즈케이스는 고객센터, 챗봇, 오퍼레이션 효율성 등이었으며 적용 사례들도 나오고 있다”고 전했다.
아울러 SKT는 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축, 개발할 수 있는 인텔리전스 플랫폼도 공개했다. 멀티 LLM부터 멀티모달, 오케스트레이션, RAG(Retrieval Augmented Generation, 검색증강생성)까지 이르는 일종의 기업용 AI 개발·운용 패키지다.
인텔리전스 플랫폼은 단일 LLM에 의존하지 않으며 범용 LLM은 성능에 비례해 추론 비용이 높고 특정 영역에 대한 이해도는 낮을 수 있다. 이를 통신사 서비스에 적용하면 비효율적인 만큼 상대적으로 통신업에 특화된 멀티 LLM을 한다는 것이 SKT의 계획이다.
이와 관련 정 담당은 “LLM은 학습 시점까지의 데이터만을 알고 있기 때문에 지속 업데이트되는 내용에 대해 시차가 존재한다”며 “이를 보완하기 위해 실제 데이터베이스를 참고하도록 사내에 쌓인 문서를 인덱싱해 저장하고 답변을 생성하도록 이해도를 가졌다”고 말했다.
