[사이테크] "마비환자의 생각을 즉시 말로…실시간 음성변환 장치 개발" > IT/과학기사 | it/science

美 연구팀 "생각-음성 시간차 0.08초 구현…언어상실 마비환자 의사소통 기여"

서울=연합뉴스 이주영 기자 = 뇌졸중으로 18년간 말을 못 한 사지마비 환자가 말하는 생각을 할 때 일어나는 뇌 활동 신호를 해석하고 이를 실시간으로 음성으로 변환해 자연스럽게 말하는 것처럼 의사소통을 할 수 있게 하는 장치가 개발됐다.

미국 버클리 캘리포니아대UC 버클리와 샌프란시스코 캘리포니아대UCSF 공동 연구팀은 1일 과학 저널 네이처 신경과학Nature Neuroscience에서 뇌의 언어활동 신호를 인공지능AI으로 해석하고 실시간으로 음성으로 변환, 사지마비 환자가 거의 시간지연 없이 의사소통을 할 수 있는 장치를 개발했다고 밝혔다.

논문 공동 교신저자인 고팔라 아누만치팔리 UC 버클리 교수는 "알렉사나 시리 같은 기기의 빠른 음성 디코딩과 유사한 알고리즘으로 신경 데이터 해독과 거의 동시에 음성 스트리밍을 구현, 자연스럽고 유창한 음성 합성이 가능해졌다"고 말했다.

뇌 신호를 해석해 말하려는 내용을 파악하고 이를 음성으로 변환하는 뇌-컴퓨터 인터페이스BCI는 현재 활발히 연구되고 있으나 현재의 BCI는 사용자 생각과 컴퓨터 음성 출력 사이에 보통 수 초간의 지연이 발생, 자연스러운 의사소통이 어렵다.

연구팀은 이 연구에서 뇌졸중 후 18년 동안 말을 할 수 없었던 사지마비 여성 환자47세의 뇌 언어 감각 운동 피질speech sensorimotor cortex 표면에 253채널의 고밀도 피질 뇌파 측정 전극을 이식한 다음 1천24개 어휘로 구성된 문장을 말하는 생각을 하게 하고 신경 활동을 기록했다.

먼저 프롬프터로 안녕하세요?라는 문구를 보여주고 속으로 그 문장을 말하도록 한 다음 뇌에서 생각이 발음으로 변환되는 곳과 그 운동을 제어하는 곳 사이에서 발생하는 신호를 수집하고 이를 이용해 AI 알고리즘을 훈련했다.

이어 이 BCI 모델을 사용해 환자의 발성 의도로부터 0.08초 시간 차이를 두고 뇌 활동 신호를 음성으로 해독한 다음, 이 환자가 마비되기 전 녹음한 목소리를 모방해 그 내용을 음성으로 생성했다.

연구팀은 이 BCI가 환자가 훈련 중에 노출되지 않았던 단어도 인식해 음성을 만들어낼 수 있었고, 환자의 생각을 읽고 이를 음성으로 생성하는 것 사이에 수 초간의 지연 없이 연속적으로 작동할 수 있는 것으로 나타났다고 밝혔다.

이어 더 많은 참가자를 대상으로 한 추가 연구가 필요하지만 이 BCI 장치는 잠재적으로 언어 상실 마비 환자가 실시간으로 더 자연스럽게 말하고 삶의 질을 개선하는 데 도움이 될 수 있을 것이라고 말했다.

논문 공동 교신저자인 에드워드 창 UCSF 교수는 "최근 AI 발전으로 가까운 미래에 실제 사용할 수 있는 뇌-컴퓨터 인터페이스BCI 발전이 가속화하고 있는 것은 매우 고무적인 일"이라며 "이 기술은 언어에 영향을 미치는 중증 마비 환자의 삶의 질을 개선할 수 있는 엄청난 잠재력을 가지고 있다"고 강조했다.

◆ 출처 : Nature Neuroscience, Edward F. Chang et al., A streaming brain-to-voice neuroprosthesis to restore naturalistic communication, https://www.nature.com/articles/s41593-025-01905-6

scitech@yna.co.kr

끝

[이 시각 많이 본 기사]

☞ 김수현 "故김새론 미성년자 때 교제 안해…수사기관 통해 검증"

☞ 경찰, 故 김새론 명예훼손 유튜버 수사…유족에 접근금지도

☞ 장제원 고소인측, 경찰에 동영상 등 증거제출…오늘 기자회견

☞ 창원 NC파크 구조물 추락사고 머리 다친 20대 관중 끝내 숨져

☞ 임영웅, 산불 성금 4억원 기부…뷔 "군에서 접한 뉴스 마음쓰여"

☞ "서양 양아빠, 한국자매 6년간 성폭행…일부러 뚱뚱해진 소녀"

☞ 경쟁관계 이웃 청과물 가게 사장 흉기 살해한 40대 구속기소

☞ 법원, 수전증 의사 대신 수술한 간호조무사에 실형

☞ 경찰, BTS 진에 기습 입맞춤 일본 여성 수사 중지 결정

▶제보는 카카오톡 okjebo
▶연합뉴스 앱 지금 바로 다운받기~
lt;저작권자c 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지gt;