애플 자체 온디바이스 및 서버 파운데이션 모델 평가 보고서 공개…신뢰...
페이지 정보
본문
|
자체 벤치마크, 구글·MS 제친 최고 성능 주장
평가 방식 불투명성 지적 등 논란 NPU 성능도 관심…삼성전자 경쟁 
애플 파운데이션 모델 인간 만족도 조사 결과 [애플 머신러닝 웹페이지 캡처.]
[이코노믹데일리] 애플이 자사 AI 시스템 성능을 자체 평가한 온디바이스 및 서버 파운데이션 모델 성능 보고서를 공개하면서 신뢰성 논란이 일고 있다. 이 보고서에서 애플은 자사 AI 모델이 인간 만족도 평가에서 구글, 오픈AI, 마이크로소프트MS 등 주요 기업의 AI보다 앞선 성능을 보였다고 밝혔다. 구체적으로 30억 개 매개변수를 가진 온디바이스 모델은 구글의 파이-3 미니, 미스트랄-7B, 젬마-7B 등 대형 모델보다 성능이 우수했다고 한다. 또 서버 기반 AI 모델 역시 데이터브릭스, 미스트랄, GPT-3.5 터보보다 효율적이라고 설명했다. 애플은 사람의 평가에 중점을 둔 이유는 사용자 경험과 높은 상관관계가 있기 때문이라며 750개의 신중히 선별된 응답 세트를 활용해 평가했다고 밝혔다. 그러나 이같은 주장에 대해 업계에서는 평가 방식의 불투명성을 지적하고 있다. 애플이 자체 개발한 비공개 AI 모델과 이미 공개된 타사 모델을 비교했기 때문에 외부에서 실험 결과를 재현하거나 검증하기 어렵다는 지적이다. 또한 모델 정확도를 사람의 주관적 평가로 판단했지만, 평가 참여자 수와 특징 분포, 구체적인 평가 방법 등을 공개하지 않았다는 점도 문제로 꼽혔다. 음성 AI를 연구하는 장준혁 한양대 교수는 "객관적 검증 없이 자기 벤치마크만 내세우는 것은 의미가 없다"며 "제3자 평가가 중요하다"고 지적했다. 그는 이어 "애플이 AI 인력과 데이터 투자가 부족했기 때문에 내세울 게 없는 것 아니냐"며 의구심을 제기했다. 한편 애플 측은 단순 AI 파운데이션 모델이 아닌, 요약·이모티콘 생성 등 사용처에 맞게 모듈화한 AI 성능을 평가한 것이라고 해명했다. 또 향후 알려지지 않은 피해를 파악하고 개선할 계획이라고 덧붙였다. AI 스마트폰의 두뇌 역할을 하는 신경망처리장치NPU 성능에서도 애플과 삼성전자의 경쟁이 주목된다. 애플 A16 바이오닉 NPU는 17TOPS초당 1조 번 연산 수준인 반면 퀄컴 헥사곤은 50TOPS, 삼성전자 엑시노스2400은 42TOPS로 알려졌다. 삼성전자는 최근 엣지퓨전 모델 개발을 완료하고 AP 탑재를 검토 중인 것으로 전해졌다. AI 기술 경쟁이 치열해지면서 주요 기업들의 AI 모델 성능을 둘러싼 다툼도 불가피해 보인다. 업계는 객관적이고 공정한 평가 기준 마련이 시급하다고 입을 모으고 있다. 선재관 seon@economidaily.com ★관련기사 애플 코리아 패싱 이번에도 또…비전프로·통화녹음 대상 제외 정신아 카카오 대표, AI 데이터센터로 미래 기술 선도 SK텔레콤, 한국 기업 최초로 세계 최대 오픈랜 기술 표준회의 개최 어메이즈VR·네오위즈, WWDC에서 두각...애플 생태계에서 인기 상승 애플, 아이폰에 17년 만에 통화 녹음 기능 도입…텍스트 변환 및 요약도 가능
전방위 손 뻗는 정용진·이재현, 경영 위기 속 신의 한 수 둘까 실적 저조 더네이쳐홀딩스, Mamp;A 강화로 턴어라운드 꾀한다 금감원, 2차 제재심서 김상희 전 의원 특혜성 환매 인정할까 4000만 대한민국이 온다…"AI로 일의 품격과 생산성 높일 때" 北 오물풍선에 車유리 박살…"실손·차 보험 처리 가능" - Copyright ⓒ [이코노믹데일리 economidaily.com] 무단전재 배포금지 - |
관련링크
- 이전글정신아 카카오 대표 "치고 간다고 승자 아냐…연내 차별된 AI 선보일 것" 24.06.12
- 다음글삼성전자, 신세계백화점 본점 초대형 LED 사이니지 공급 24.06.13
댓글목록
등록된 댓글이 없습니다.