업스테이지, NIA와 한국어 LLM 성능평가·비교 리더보드 만든다 > IT/과학기사 | it/science

"허깅페이스 오픈LLM 보다 더 적합한 평가 기준 마련"

Open Ko-LLM 리더보드.ⓒ업스테이

국내 인공지능AI 기업 업스테이지와 한국지능정보사회진흥원NIA이 손잡고 한국 AI 경쟁력 증진을 위해 한국어 LLM의 성능을 평가하고 비교할 수 있는 리더보드를 만든다.

25일 업스테이지에 따르면, 이 회사는 NIA와 공동 주최로 한국어 LLM 리더보드인 ‘Open Ko-LLM 리더보드’를 구축해 이달 27일 개설한다. 이는 지난 4일 업스테이지와 NIA의 협력 이후 실현된 결과로, 업스테이지는 1T클럽에 이어 오픈LLM 리더보드까지 더해 한국 AI 생태계 외연을 지속 확대할 계획이다.

Open Ko-LLM 리더보드는 누구나 자신이 개발한 한국어 LLM 모델을 등록하고 다른 모델과 경쟁할 수 있는 공개 플랫폼이다. Open Ko-LLM 리더보드에 관심이 있는 연구자들은 27일 이후 허깅페이스의 Open Ko-LLM 리더보드 스페이스에서 자세한 정보를 확인하고 참여할 수 있다.

업스테이지와 NIA의 Open Ko-LLM 리더보드는 허깅페이스가 운영하는 오픈LLM 리더보드의 기존 데이터를 단순히 번역한 것이 아니라 한국어의 특성과 문화를 반영한 고품질의 데이터를 자체 구축해 한국어 특화 리더보드로서의 강점을 갖는다.

또 상식을 생성하는 능력을 살펴보는 ‘상식생성’ 기준을 추가해 한국어 LLM 모델의 높은 성능과 다양성을 평가할 수 있도록 했다. 상식생성은 업스테이지가 고려대 임희석 교수 연구진과 협업으로 구축한 데이터셋으로 역사 왜곡, 환각 오류, 형태소 오류, 불규칙 활용 오류, 혐오 표현 등에 대한 광범위한 유형을 포함한 질문지로 구성했다. 이를 통해 AI가 주어진 조건에 대해서 만들어 낸 결과물이 한국어 사용자라면 지닐 수 있는 일반 상식에 부합할 수 있는지를 측정한다.

해당 상식생성 기준을 통해 국내에서 가장 대표적인 할루시네이션의 예시로 평가되는 세종대왕의 맥북던짐 사건 등의 사례들도 크게 방지할 수 있어 한국어와 역사에 대해 더 적합한 모델을 평가할 수 있다는 평가다.

Open Ko-LLM 리더보드는 한국어 LLM 연구의 수준과 경쟁력을 높이고, 한국어 데이터의 양과 질을 개선하며, 한국어 LLM의 국제적 인지도를 제고할 것으로 기대를 모으고 있다. 오픈LLM 리더보드를 기반으로 다양한 연구자들의 결과를 공유하고 공동 연구 및 협력을 촉진할 수 있으며 이를 통한 성능 수준의 향상과 산업 분야 확대에도 기여할 것으로 예상된다.

뿐만 아니라 한국어 데이터를 기반으로 리더보드가 개설됨으로써 공개 연구결과의 투명성과 신뢰성을 확보함은 물론 국제적 인지도를 제고, 다양한 언어 연구 활성화의 시작점으로 글로벌 차원의 주목도도 높아질 것으로 보인다.

이번 Open Ko-LLM 리더보드 개설에는 최근 발표된 업스테이지와 KT의 협업도 한몫했다. AI 생태계 확대에 양사가 힘을 합쳐 KT 클라우드의 인프라 지원을 통해 리더보드가 안정적으로 운영될 예정이다.

업스테이지의 LLM 모델 솔라는 지난 8월 허깅페이스가 운영하는 오픈 LLM 리더보드에서 챗GPT의 벤치마크 점수를 넘는 결과로 세계 1위를 차지했다. 최근에는 오픈AI 챗GPT, 구글 팜, 메타 라마, 엔트로픽 클로드 등 4개사의 LLM만 기존에 리스트에 올라 고성능 모델의 기준이 된 Poe의 메인모델로도 솔라가 등록돼 또 한번 글로벌 시장을 놀라게 했다.

업스테이지는 한국어 리더보드를 구축, 업스테이지는 1T클럽을 기반으로 한 한국어 데이터를 바탕으로 한국문화 정서를 담아낼 수 있는 고품질의 LLM을 개발하는 것을 넘어 이를 국내 LLM 독립을 위한 생태계 조성에 기여할 계획이다.

김성훈 업스테이지 대표는 “업스테이지가 NIA와 함께 한국어 LLM의 경쟁력을 증진하고 연구 수준을 더욱 높일 수 있는 Open Ko-LLM 리더보드를 개설해 무척 기쁘다”며 “앞으로도 1T클럽을 포함한 고품질 한국어 데이터 공유는 물론, 리더보드를 통한 협업 촉진과 빠른 기술 전파 등을 통해 한국 AI 생태계를 넓히고 발전을 증진시킬 수 있도록 더욱 노력할 것”이라고 말했다.

데일리안 남궁경 기자 nkk0208@dailian.co.kr
- Copyrights ⓒ 주데일리안, 무단 전재-재배포 금지 -

관련기사
☞‘나솔사계’ 13기 현숙, 11기 영철 아닌 9기 영식과 ‘솔로민박’ 입성?
☞"불륜남과 해외서 즐긴 아내, 처남과 처제도 함께였습니다"
☞소개팅앱에 중독된 현직경찰…女 26명 만나 몰카찍고 여친에 삭제요구
☞3주된 신생아, 파울볼 맞고 두개골 골절…부모는 경악
☞서로 따귀 쳐댄 男女공무원…그 보건소에서 무슨 일이