이미지 인식해 텍스트로 답한다…카카오, AI 언어모델 허니비 첫 공... > IT/과학기사 | it/science

카카오의 첫 멀티모달 언어모델 허니비. 카카오브레인 제공

[파이낸셜뉴스] 네이버의 하이퍼클로바X에 맞설 카카오의 첫 멀티모달 언어모델 허니비가 공개됐다.

카카오브레인은 멀티모달 언어모델 오픈소스 허니비를 깃허브에 공개했다고 19일 밝혔다.

현재 멀티모달 언어모델에 대한 연구는 공개된 모델의 수가 적고, 학습 방법 역시 자세히 공개되지 않아 개발이 어려운 상황이다. 카카오브레인은 허니비 소스코드를 공개해 멀티모달 언어모델MLLM 발전에 기여하겠다는 계획이다.

MLLM은 이미지와 명령어프롬프트를 입력하면, 텍스트로 답변하는 모델로 텍스트로만 입?출력하는 대규모 언어모델LLM에서 확장된 형태라고 할 수 있다.

이미지와 텍스트를 모두 입력할 수 있기에 이미지에 담긴 장면을 묘사하거나 이미지와 텍스트가 혼합된 콘텐츠에 관한 질문을 이해하고 답변할 수 있는 능력을 가지게 된 것이다. 예를 들어 ‘허니비’에 ‘농구 경기 중인 두 명의 선수’ 이미지와 함께 ‘왼쪽 선수는 몇 번 우승했나요?’라는 질문을 영어로 입력하면, ‘허니비’가 입력된 이미지 내용과 질문을 종합적으로 이해하고 답변을 생성해낸다.

그 결과 ‘MME’, ‘MMBench’, ‘SEED-Bench’ 등의 벤치마크성능 실험에서 모델이 공개된 타사 MLLM 대비 최고 성능을 달성했다. 특히 지각 능력과 인지 능력을 평가하는 ‘MME’ 벤치마크에서는 2800점 만점 중 1977점을 받았다.

카카오브레인은 ‘허니비’의 MLLM 특성에 따라 이미지를 입력하고 텍스트로 질문하면 답변 생성 및 사용자와의 상호작용이 가능해 향후 효과적인 교육 및 학습 보조 도구로 사용될 것으로 전망하고 있다.

카카오브레인 김일두 각자 대표는 “허니비 모델의 추론을 가능하게 하는 코드도 깃허브에 공개했으며 ‘허니비’를 활용한 각종 서비스 확장을 고려 중”이라며 “더욱 발전된 AI 모델 확보를 위해 끊임없이 연구?개발할 것”이라고 전했다.

yjjoe@fnnews.com 조윤주 기자

Copyright? 파이낸셜뉴스. 무단전재 및 재배포 금지.

[파이낸셜뉴스 핫뉴스]

→ "항상 나를 벗겼다" 20대 시절 모델의 상처 고백
→ 홍석천과 유부남 배우 입술 뽀뽀... 논란된 상황이
→ 친정엄마 장례식 불참 시어머니와 대판 싸운 며느리
→ 임신 중 성병 걸린 아내 "해외출장 잦은 남편이..."
→ 다급히 가렸지만..미녀 비키니 끈 푼 음흉 갈매기