KAIST, 차세대 새로운 패러다임 동영상 인식기술 개발 > IT/과학기사 | it/science

초고효율 모델 비디오맘바VideoMamba 개발

비디오맘바의 트랜스포머 기반 비디오 인식 모델 대비 낮은 메모리 사용량과 빠른 추론속도. ⓒ한국과학기술원

한국과학기술원KAIST은 김창익 전기및전자공학부 교수 연구팀이 초고효율 동영상 인식 모델 ‘비디오맘바VideoMamba’를 개발했다고 23일 밝혔다.

비디오맘바는 기존 트랜스포머 기반 모델들이 가지고 있는 높은 계산 복잡성을 해결하기 위해 설계된 새로운 동영상 인식 모델이다.

기존 트랜스포머 기반 모델들은 셀프-어텐션self-attention이라는 메커니즘에 의존해 계산 복잡도가 제곱으로 증가하는 문제를 가지고 있었다.

김창익 교수 연구팀의 비디오맘바는 선택적 상태 공간 모델Selective State Space Model, Selective SSM* 메커니즘을 활용해 선형 복잡도로 효율적인 처리가 가능하다. 이를 통해 비디오맘바는 동영상의 시공간적 정보를 효과적으로 포착해 긴 종속성을 가진 동영상 데이터도 효율적으로 처리할 수 있다.

김창익 교수 연구팀은 동영상 인식 모델의 효율성을 극대화하기 위해 비디오맘바에 1차원 데이터 처리에 국한된 기존 선택적 상태 공간 메커니즘을 3차원 시공간 데이터 분석이 가능하도록 고도화한 시공간적 전방 및 후방 선택적 상태 공간 모델spatio-temporal forward and backward SSM을 도입했다. 이 모델은 순서가 없는 공간 정보와 순차적인 시간 정보를 효과적으로 통합해 인식 성능을 향상한다. 연구팀은 다양한 동영상 인식 벤치마크에서 비디오맘바의 성능을 검증했다.

연구팀이 개발한 비디오맘바는 영상 분석이 필요한 다양한 응용 분야에서 효율적이고 실용적인 솔루션을 제공할 수 있다. 예를 들어, 자율주행에서는 주행 영상을 분석해 도로 상황을 정확하게 파악하고, 보행자와 장애물을 실시간으로 인식해 사고를 예방할 수 있다. 의료 분야에서는 수술 영상을 분석해 환자의 상태를 실시간으로 모니터링하고 긴급 상황 발생 시 신속히 대처할 수 있다. 스포츠 분야에서는 경기 중 선수들의 움직임과 전술을 분석해 전략을 개선하고, 훈련 중 피로도나 부상 가능성을 실시간으로 감지해 예방할 수 있다.

연구를 주도한 김창익 교수는 “비디오맘바의 빠른 처리 속도와 낮은 메모리 사용량, 그리고 뛰어난 성능은 우리 생활에서의 다양한 동영상 활용 분야에 큰 장점을 제공할 것”이라고 설명했다.

데일리안 김소희 기자 hee@dailian.co.kr
- Copyrights ⓒ 주데일리안, 무단 전재-재배포 금지 -

관련기사
☞24조 체코수주로 소폭 오른 尹지지율…김건희 여사 검찰조사로 흔들리나
☞"아내를 잃었습니다"…여고생 2명 탄 킥보드에 참변
☞[데일리 헬스] 40대 진서연, 완벽 몸매 비결…밥 대신 이것 먹었다
☞부채도사 코미디언 장두석, 지병으로 별세
☞"김연아로 인해 고통" 아사다 마오, 13년 만에 전한 심경