마음을 말로 변환하는 AI가 뇌파를 음성으로 번역합니다

과학자들이 마비 환자들의 자연스러운 음성복원에 있어서 큰 돌파구를 이루었습니다. AI를 활용한 뇌 임플란트를 사용해 뇌파를 실시간으로 말로 변환하는 혁신적인 방법을 개발하였습니다.

라드바우드 대학의 과학자들이 UMC 유트레흐트와 함께 개발한 뇌 이식 기술은 AI를 이용하여 뇌 신호를 말로 변환해주는 기능을 가지고 있으며, 그 정확도는 92-100%에 이른다고 Neuroscience News에서 보도하였습니다. 이번 주에 발표된 Nature Neuroscience에서의 연구는 마비된 사람들을 위한 의사소통 도구 개발을 목표로 하고 있습니다.

이 연구는 단기간 뇌 이식을 받은 간질 환자를 대상으로 신경 신호와 언어 표현 사이의 연관성을 찾아내는데 사용되었습니다. 이 발전은 말장애인들의 의사소통을 어렵게 만들던 기존의 지연시간을 줄였습니다.

“우리의 스트리밍 방식은 알렉사나 시리 같은 기기가 가진 빠른 음성 해석 능력을 신경보조기기에도 적용시켰습니다.”라며 이 연구의 공동 책임자인 고팔라 아누만치팔리가 New Atlas에 보도했습니다. “비슷한 유형의 알고리즘을 사용하여, 우리는 신경 데이터를 해석하고, 처음으로 거의 동시적인 음성 스트리밍을 가능하게 할 수 있었습니다.”라고 그는 덧붙였습니다.

이 시스템은 뇌 표면에 배치된 고밀도 전극을 통해 뇌 활동을 캡처하는 방식으로 작동합니다. 그 후 AI가 이 신호들을 해독하여 놀라운 정확도로 단어와 문장을 재구성합니다.

또한, 환자의 사전 부상 목소리에 대해 훈련된 텍스트-투-스피치 모델은 생성된 음성이 자연스럽게 들리고, 원래의 목소리와 매우 유사하게 만듭니다.

이 연구의 저자 중 한 명인 철준 조는 이 시스템이 생각을 어떻게 말로 변환하는지 설명했습니다. “우리가 디코딩하는 것은 생각이 일어난 후, 무엇을 말할지 결정한 후, 어떤 단어를 사용하고 우리의 발성 근육을 어떻게 움직일지 결정한 후입니다.”라고 New Atlas에서 보도했습니다.

이번 돌파구는 과거의 기술들에 비해 크게 개선시켰습니다. 더욱이 이 인공지능 기반 시스템은 이제 1초 내에 발화를 시작할 수 있도록 해, 원활한 대화를 이어나갈 수 있게 합니다. 이 기술은 중증 마비, 갇힌 증후군, 혹은 ALS와 같은 상태의 사람들에게는 삶을 바꿔줄 수 있는 기술이 될 것입니다. 이를 통해 그들이 타인들과 자연스럽게 의사소통할 수 있게 됩니다.

그러나 이런 발전에도 불구하고, 이 기술은 여전히 도전 과제에 직면해 있습니다. Neuroscience News에서 설명한 바와 같이, 이 인공지능은 개인의 신경 데이터에 대한 광범위한 훈련을 필요로 하며, 이전에 발화 녹음이 없는 사람들에게는 효과적으로 작동하지 않을 수 있습니다.

시스템이 단어를 해독할 수는 있지만, 완전히 자연스러운 템포와 표현을 달성하는 것은 여전히 어렵습니다. 또한, 현재의 모델들은 전체 문장이나 문단을 예측하는 데 어려움을 겪으며, 주로 개별 단어에 집중하고 있습니다.

또한, 뇌파 측정 헬멧을 사용하는 비침습적인 버전은 부착된 전극에 비해 정확도가 약 60%로 떨어지는 것으로 New Scientist에서 지적하였습니다.

앞으로 연구자들은 시스템의 음성 속도를 향상시키고, 표현력을 높여 대화가 더욱 생동감 있게 느껴지도록 만드는 것을 목표로 하고 있습니다.