[Nature Neuroscience / Edward F. Chang et al. 제공. 재판매 및 DB 금지]
美 연구팀 “생각-음성 시간차 0.08초 구현…언어상실 마비환자 의사소통 기여”
뇌졸중으로 18년간 말을 못 한 사지마비 환자가 말하는 생각을 할 때 일어나는 뇌 활동 신호를 해석하고 이를 실시간으로 음성으로 변환해 자연스럽게 말하는 것처럼 의사소통을 할 수 있게 하는 장치가 개발됐다.
미국 버클리 캘리포니아대(UC 버클리)와 샌프란시스코 캘리포니아대(UCSF) 공동 연구팀은 1일 과학 저널 네이처 신경과학(Nature Neuroscience)에서 뇌의 언어활동 신호를 인공지능(AI)으로 해석하고 실시간으로 음성으로 변환, 사지마비 환자가 거의 시간지연 없이 의사소통을 할 수 있는 장치를 개발했다고 밝혔다.
논문 공동 교신저자인 고팔라 아누만치팔리 UC 버클리 교수는 “알렉사나 시리 같은 기기의 빠른 음성 디코딩과 유사한 알고리즘으로 신경 데이터 해독과 거의 동시에 음성 스트리밍을 구현, 자연스럽고 유창한 음성 합성이 가능해졌다”고 말했다.
뇌 신호를 해석해 말하려는 내용을 파악하고 이를 음성으로 변환하는 뇌-컴퓨터 인터페이스(BCI)는 현재 활발히 연구되고 있으나 현재의 BCI는 사용자 생각과 컴퓨터 음성 출력 사이에 보통 수 초간의 지연이 발생, 자연스러운 의사소통이 어렵다.
연구팀은 이 연구에서 뇌졸중 후 18년 동안 말을 할 수 없었던 사지마비 여성 환자(47세)의 뇌 언어 감각 운동 피질(speech sensorimotor cortex) 표면에 253채널의 고밀도 피질 뇌파 측정 전극을 이식한 다음 1천24개 어휘로 구성된 문장을 말하는 생각을 하게 하고 신경 활동을 기록했다.
먼저 프롬프터로 ‘안녕하세요?’라는 문구를 보여주고 속으로 그 문장을 말하도록 한 다음 뇌에서 생각이 발음으로 변환되는 곳과 그 운동을 제어하는 곳 사이에서 발생하는 신호를 수집하고 이를 이용해 AI 알고리즘을 훈련했다.
이어 이 BCI 모델을 사용해 환자의 발성 의도로부터 0.08초 시간 차이를 두고 뇌 활동 신호를 음성으로 해독한 다음, 이 환자가 마비되기 전 녹음한 목소리를 모방해 그 내용을 음성으로 생성했다.
연구팀은 이 BCI가 환자가 훈련 중에 노출되지 않았던 단어도 인식해 음성을 만들어낼 수 있었고, 환자의 생각을 읽고 이를 음성으로 생성하는 것 사이에 수 초간의 지연 없이 연속적으로 작동할 수 있는 것으로 나타났다고 밝혔다.
이어 더 많은 참가자를 대상으로 한 추가 연구가 필요하지만 이 BCI 장치는 잠재적으로 언어 상실 마비 환자가 실시간으로 더 자연스럽게 말하고 삶의 질을 개선하는 데 도움이 될 수 있을 것이라고 말했다.
논문 공동 교신저자인 에드워드 창 UCSF 교수는 “최근 AI 발전으로 가까운 미래에 실제 사용할 수 있는 뇌-컴퓨터 인터페이스(BCI) 발전이 가속화하고 있는 것은 매우 고무적인 일”이라며 “이 기술은 언어에 영향을 미치는 중증 마비 환자의 삶의 질을 개선할 수 있는 엄청난 잠재력을 가지고 있다”고 강조했다.
◆ 출처 : Nature Neuroscience, Edward F. Chang et al., ‘A streaming brain-to-voice neuroprosthesis to restore naturalistic communication’, https://www.nature.com/articles/s41593-025-01905-6
