네이버 LLM 기술 보고서 들여다보니…"정보 부족 아쉽네" > 경제기사 | economics

네이버가 지난 4월 3일 자사 거대언어모델LLM 하이퍼클로바X의 ‘기술 보고서Technical Report’를 공개했다. 총 44페이지 분량의 보고서로 요약하면 ‘한국어’ 분야에서 다른 언어모델 등과 비교했을 때 우위라는 것이다. 다만 일각에서는 보고서로 공개된 내용이 한정적인 데다 대부분의 벤치마크 비교 대상이 파라미터매개변수 700억개70B 미만의 ‘오픈소스’라는 점에서 아쉽다는 평가를 내놓는다.

기술 보고서는 LLM의 학습 방법이나 성능 등 AI 모델의 세부 정보를 소개하는 논문이다. 앞서 오픈AI ‘GPT’와 구글 ‘팜PaLM’ 등도 기술 보고서를 냈다. 네이버는 기술 보고서에서 다양한 벤치마크 결과들을 제시하며 한국어 경쟁력을 수치로 입증했다. 성낙호 네이버클라우드 하이퍼스케일 AI 기술 총괄은 “테크니컬 리포트를 통해 하이퍼클로바X의 성능 경쟁력을 다시 한 번 확인했다”고 말했다.



실제 주목할 만한 결과들이 많다. 가장 눈에 띄는 건 3, 4번 도표다. 14개 언어모델과 하이퍼클로바X의 종합 벤치마크 결과를 수치화한 내용이다. 하이퍼클로바X는 한국어 부문뿐 아니라 전반적인 성능일반상식, 수학, 코딩 등에서도 다른 언어모델들의 성능을 크게 앞섰다. 한국어 부문의 경우 2위도 하이퍼클로바X가 차지했다. 네이버는 하이퍼클로바X를 학습 규모에 따라 두 가지HCX-L, HCX-S로 구분했다. 1위는 HCX-L평균 72.07, 2위는 HCX-S평균 61.73다.

다만 해당 건은 매개변수파라미터가 700억개70B 미만인 오픈소스 모델들과의 비교 내용이다. 익명을 요구한 IT업계 관계자는 “명확한 정보를 표기 안 한 탓에 대형과 소형의 대략적인 매개변수를 확인할 수 없지만, 대형의 경우 적어도 70B 이상일 텐데 이를 70B 미만 오픈소스들과 맞붙이는 건 다소 공정하지 못한 것 아닌가 싶다”며 “대부분의 벤치마크 비교 건들이 오픈소스를 대상으로 한 건이라 아쉬움이 있다”고 설명했다. 앞서 네이버클라우드는 자사 논문 ‘What Changes Can Large-scale Language Models Bring?’ 등에서 “하이퍼클로바는 82B 파라미터를 가진 대규모 한국어 문맥 언어모델”이라고 밝힌 바 있다.



상대적으로 폐쇄형 모델GPT-3.5, GPT-4, SOLAR API들과의 직접 비교는 적었다. 11번 도표에 따르면 한국어 부문에선 하이퍼클로바X가 앞섰지만, 영어의 경우 GPT-4에 밀린 것으로 나타났다. 네이버는 기술 보고서에 “하이퍼클로바X의 대형 모델HCX-L이 한국어와 문화적 섬세함을 이해하는 데 상당한 수준의 경쟁력을 갖고 있음을 확인했다”고 설명했다.

일각에선 예상보다 공개된 정보가 한정적이라는 평가도 나왔다. IT업계 관계자는 “벤치마크 사례는 그래도 풍부한 편인데, 데이터 수집 방법이나 Tokenizer토큰화, 매개변수 등의 경우 일반적인 얘기들만 반복된 느낌”이라며 “기밀을 지키겠다는 회사 입장을 이해는 하지만 이 리포트만 보고 네이버의 LLM 기술력이 대단하다고 평가하기에는 무리가 아닐까 싶다”고 설명했다.

[ⓒ 매일경제 amp; mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]