프렌들리AI, 오픈소스 생성형 AI 모델 서버리스 엔드포인트 출시 > IT/과학기사 | natenews rank

생성형 AI 추론 서빙 분야를 선도하고 있는 스타트업 ‘프렌들리AIFriendliAI’대표이사 전병곤가 생성형 AI 모델을 쉽게 활용할 수 있는 ‘프렌들리AI 서버리스 엔드포인트Friendli Serverless Endpoints’ 서비스를 출시했다고 4일 밝혔다.

프렌들리AI 서버리스 엔드포인트는 △연구자 △개발자 △머신러닝 엔지니어 △데이터 과학자가 서빙 인프라 관리를 신경 쓸 필요 없이 최신 생성형 AI 모델들을 쉽게 사용할 수 있도록 돕는 서비스다. 기존 생성형 AI 활용에 있어 많은 수의 인력과 시간을 투입하여 진행해야 했던 복잡한 인프라 설치 및 운영 과정과 모델 서빙의 GPU 최적화 등의 문제를 해결했다.

이를 통해 누구나 쉽게 낮은 비용과 빠른 속도로 라마2Llama 2, 스테이블 디퓨전Stable Diffusion, 코드 라마CodeLlama, 미스트랄Mistral 등의 인기 있는 생성형 AI 모델을 자사 서비스에 통합하여 텍스트 생성, 이미지 생성 등을 활용할 수 있다. 이는 챗봇, 코드 추천, 문서 요약, 썸네일 생성 등의 다양한 분야에서 활용이 가능하다.

또한 프렌들리AI 서버리스 엔드포인트는 오픈소스 프레임워크를 쓰는 다른 솔루션 대비 최대 4배 빠른 시간 내에 응답을 생성하고 있어 원활하고 빠른 생성형 AI 경험을 제공한다. 낮은 비용과 빠른 속도는 프렌들리AI만의 최적화된 서빙 엔진 ‘프렌들리AI 엔진Friendli Engine’으로 가능하다. 해당 엔진은 기존 솔루션에 비해 서빙에 필요한 GPU 수를 최대 7분의 1 수준으로 줄인다.

프렌들리AI에서는 사용자들이 직접 만들거나 튜닝한 생성 AI 모델이나 공유가 필요 없는 전용 GPU 자원을 쓰고 싶은 사용자들을 위해 클라우드 GPU를 선택해 직접 인스턴스를 활용할 수 있는 ‘프렌들리AI 전용 엔드포인트Friendli Dedicated Endpoints’와 사설 자원에서 직접 수행하는 도커Docker 이미지 형태로 제공되는 ‘프렌들리AI 컨테이너 Friendli Container’도 제공하고 있다.

프렌들리AI 전병곤 대표는 “생성형 AI의 미래는 해당 기술에 누구나 쉽게 접근해서 사용할 수 있도록 하는 것에 있다고 생각하며 오픈 소스 생성형 AI 모델을 더 빠르고 저렴하게 제공하기 위해 새로운 서비스를 개발했다”며, “프렌들리AI 엔진이 장착된 프렌들리AI 서버리스 엔드포인트는 AI 업계에 게임 체인처가 될 것으로 기대하고 있다. 해당 서비스를 통해 생성 AI를 누구나 쉽게 쓸 수 있도록 지속적으로 노력해 나갈 것”이라고 밝혔다.

▶ 세계 3위, 몸값 3조, 신입연봉 6200만원…‘이 기업’ 코스피 상장한다

▶ “한국말 유창한데 일머리도 좋아”…중국동포보다 우대받는 ‘이 사람들’

▶ 주차장 입구 차로 막고 해돋이 보러 간 민폐女…빼달라 전화하니 “그런데요?”

▶ “부잣집이라 문패부터 다르네”…삼성 이병철 회장 생가 가보니 [방영덕의 디테일]

▶ ‘168층’ 세계에서 가장 높은 빌딩…K건설사 “못 짓겠다” 손사래, 왜?

[ⓒ 매일경제 amp; mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]