AI멀티엔진 썼더니 비용↓ 속도↑…SKT 텔코LLM, 6월 출격 > IT/과학기사 | it/science

뉴스 기사

- GPT-4, 클로드3, A.X 사용 - GPT-4 기준 성능 35% 향상 - 멀티엔진쓰면 연동비 상승? - 모두 돌리는 것 아냐..비용 통제 - SKT 글로벌 AI 전략은 투트랙 [이데일리 김현아 기자]SK텔레콤이 통신 서비스를 잘 이해하는 똑똑한 ‘텔코LLM’을 이르면 오는 6월 선보인다. ‘텔코LLM’은 GPT-4, 클로드3, A.X 같은 여러 개의 파운데이션 모델LLM에 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 학습시켜 미세조정파인튜닝해 만든다. 일단 한국향 서비스를 내놓은 뒤, 글로벌 텔코 AI 얼라이언스GTAA에 참가한 4개 통신사와 협력해 글로벌향으로 확대한다는 계획이다. SKT는 여러 LLM을 썼더니 품질과 속도가 좋아지고 비용은 줄일 수 있었다고 소개했다. 텔코LLM 구축 과정

에릭 데이비스는 SKT AI Tech Collaboration 담당부사장


바뀐 멤버십 제도 이해 못하는 범용엔진, 똑똑한 텔코LLM

오픈AI의 GPT-4나 앤트로픽의 클로드3 같은 범용 LLM은 통신사의 최근 바뀐 멤버십 제도를 알지 못한다. 5G 프라임요금제 같은 통신 전문용어도 답하지 못한다.

고객이 상담봇으로 ‘영화 혜택이 올해 달라진 점이 있나요?’라고 물으면 적절한 답을 할 수 없다. LLM은 학습시점까지의 데이터로만 답하기 때문이다.

하지만 ‘텔코LLM’은 다르다. 통신 요금제 종류, 공시지원금·선택약정 등 통신 전문 용어, AI 윤리 등을 학습해 적절한 답을 할 수 있다.

‘학습데이터 구축→범용 LLM에 학습시켜 파인튜닝→휴먼 피드백 기반 강화학습RLHF·사람이 개입해 점수를 내긴 뒤 강화학습시키는 것→텔코 LLM 모델평가’를 반복하면서 정확성을 높인 덕분이다.

에릭 데이비스는 SKT AI Tech Collaboration 담당부사장은 “파인튜닝을 통해 텔코LLM의 성능이 GPT-4 기준으로 35% 향상됐다”고 소개했다. 오픈AI는 지난 5일 기업의 특정 도메인에 맞춰 AI 모델을 학습시키고 최적화할 수 있는 커스텀 모델을 공개하면서 “SKT와 협력하여 GPT-4를 파인튜닝하고 한국어로 된 통신 관련 대화의 성능을 향상시켰다”고 소개했다.

SKT는 기업들이 생성형 AI를 쉽게 활용할 수 있도록 ‘인텔리전스 플랫폼’도 공개했다. 이는 멀티 LLM부터 멀티모달, 오케스트레이션, 검색 증강 생성RAG·LLM이 응답하기 전에 외부의 신뢰할 수 있는 지식 데이터를 참조하는 방식까지 다양한 기능을 포함한 일종의 ‘기업용 AI 개발 및 운용 패키지’다.

멀티 LLM의 추론 비용 최적화 방법

멀티엔진이 비용도 줄인다는데…어떻게?

SKT는 GPT-4오픈AI, 클로드3앤트로픽, A.XSKT뿐 아니라 제미나이구글의 범용 LLM도 도입을 검토하고 있다. 여러개의 엔진을 쓴다는 것인데, 이를테면 한 줄 요약은 GPT-4, 상담 요약은 A.X, 고객 감정은 클로드3를 쓰는 식이다. 1개 엔진범용 LLM으로는 다양한 서비스와 문제를 해결하기 어렵다는 생각인데, SKT는 속도와 품질 향상은 물론 연동비도 줄어든다고 했다.

여러 엔진을 쓰면 LLM 서버까지 갔다오는 시간이 줄어 속도는 개선될 수 있지만, 연동비토큰 입출력 비용는 올라가지 않을까 하는 의문이 있다.

이에 대해 정민영 SKT AI플랫폼 담당부사장은 “멀티LLM을 쓰니 적게 입력해도 좋은 답변을 얻을 수 있어 속도가 향상된다”면서 “모든 LLM을 돌려 실시간 결정하는 게 아니라 개발팀에서 이 엔진이 우수할 것이라고 판단하면 평가를 거쳐 태스크작업별로 모델을 사용해 비용을 관리한다”고 답했다. 작업마다 엔진 여러 개를 동시에 돌리는게 아니라 속도와 품질, 비용간 균형을 맞춘다는 의미다.

인텔리전스 플랫폼 개념도 정민영 SKT AI플랫폼 담당부사장 겸 글로벌 AI플랫폼 코퍼레이션 코리아 CTO

SKT AI 글로벌 진출을 투트랙

한편 SKT의 인공지능AI 글로벌 진출 전략은 두가지 방향에서 진행되고 있다.

우선 ‘텔코LLM’의 글로벌화다. 일단 한국 시장에 맞는 서비스를 시작한 뒤, 글로벌 텔코 AI 얼라이언스GTAA로 확산한다. GTAA는 △SK텔레콤 △도이치텔레콤 △이앤eamp;△싱텔 △소프트뱅크 5개사가 참여했다. 지난 2월 글로벌 텔코 LLM 개발을 위한 합작사 설립을 발표했다. 각 통신사의 데이터를 모아 파인튜닝하게 된다. 전세계 통신사들은 유사한 기술 기준와 용어를 쓰기에 글로벌로 확장이 가능하다고 보고 있다. 에릭 데이비스 부사장이 관여하고 있다.

두번 째는 개인형 AI 비서PAA 사업이다. SKT 자회사인 ‘글로벌 AI 플랫폼’과 ‘글로벌 AI 플랫폼 코퍼레이션 코리아’를 통해서다. 정석근 최고AI글로벌책임자CAGO가 한국법인 대표이사CEO를 맡고 있다. 정민영 부사장은 “글로벌 시장에 개인형 AI비서를 론칭하기 위해 법인을 만들었고, 한국법인에서는 주로 개발을 한다. 저도 CTO로 활동 중이다”라고 전했다.

▶ 관련기사 ◀
☞ "끼니 걱정 없겠네".. 경로당서 주5일 식사 제공
☞ 한전, 입사 4년차부터 희망퇴직…위로금 최대 1억1000만원
☞ "술값·빵값 의심되면 신고하세요"…포상금 최대 30억
☞ 주 1회 불닭볶음면 1개씩…응급실 간 여성 “극심한 경련”
☞ 부산 남포동서 인공장기 꺼내 상인·손님 위협한 50대 구속

[바이오 성공 투자 1%를 위한 길라잡이 팜이데일리]
[새로워진 이데일리 연재 시리즈 취향대로 PICK하기]
[뉴땡 Shorts 아직 못봤어? 뉴스가 땡길 때, 1분 순삭!]
[10대의 뉴스는 다르다. 하이스쿨 커뮤니티 하이니티]
[다양한 미국 주식정보! 꿀 떨어지는 이유TV에서 확인!]
[빅데이터 AI트레이딩 솔루션 매직차트]

＜ⓒ종합 경제정보 미디어 이데일리 - 무단전재 amp; 재배포 금지＞

김현아 chaos@