- Gerar link
- Outros aplicativos
Decodificar padrões de pesamentos
Tecnologia pode reconstruir as palavras
Os neuroengenheiros criaram um sistema que traduz o pensamento em fala inteligível e reconhecível.
Ao monitorar a atividade cerebral de alguém, a tecnologia pode reconstruir as palavras que uma pessoa ouve com clareza sem precedentes. Esse avanço, que aproveita o poder dos sintetizadores de fala e da inteligência artificial, poderia levar a novas formas de os computadores se comunicarem diretamente com o cérebro. Ele também estabelece as bases para ajudar as pessoas que não podem falar, como as que vivem com esclerose lateral amiotrófica (ELA) ou se recuperando de um derrame, recuperando sua capacidade de se comunicar com o mundo exterior.
Estes resultados foram publicados hoje em relatórios científicos .
"Nossas vozes ajudam a nos conectar aos nossos amigos, família e ao mundo ao nosso redor, e é por isso que perder o poder da voz de uma pessoa devido a ferimentos ou doenças é tão devastador", disse Nima Mesgarani, PhD, autora principal do estudo e pesquisadora principal. "Com o estudo de hoje, temos uma maneira potencial de restaurar esse poder. Mostramos que, com a tecnologia certa, os pensamentos dessas pessoas poderiam ser decodificados e entendidos por qualquer ouvinte".
Décadas de pesquisa mostraram que quando as pessoas falam - ou até imaginam falar - padrões de atividade reveladores aparecem em seus cérebros. Padrões de sinais distintos (mas reconhecíveis) também surgem quando ouvimos alguém falar ou imaginamos ouvir. Os especialistas, tentando registrar e decodificar esses padrões, vêem um futuro em que os pensamentos não precisam permanecer ocultos dentro do cérebro - mas, em vez disso, poderiam ser traduzidos para a fala verbal à vontade.
Mas realizar esse feito se mostrou desafiador. Os primeiros esforços para decodificar sinais cerebrais pelo Dr. Mesgarani e outros se concentraram em modelos computacionais simples que analisavam espectrogramas, que são representações visuais de freqüências sonoras.
Mas como essa abordagem não conseguiu produzir nada que se assemelhe à fala inteligível, a equipe do Dr. Mesgarani se voltou para um vocoder, um algoritmo de computador que pode sintetizar a fala depois de ser treinado em gravações de pessoas falando.
"Essa é a mesma tecnologia usada pelo Amazon Echo e pela Apple Siri para dar respostas verbais às nossas perguntas", disse o Dr. Mesgarani, que também é professor associado de engenharia elétrica na Escola de Engenharia e Ciências Aplicadas da Fundação Fu, na Colômbia.
Para ensinar o vocoder a interpretar a atividade cerebral, o Dr. Mesgarani se uniu a Ashesh Dinesh Mehta, MD, PhD, um neurocirurgião no Instituto de Neurociência da Northwell Health Physician Partners e co-autor do artigo de hoje. Dr. Mehta trata pacientes com epilepsia, alguns dos quais devem passar por cirurgias regulares.
"Trabalhando com o Dr. Mehta, pedimos aos pacientes com epilepsia que já estavam passando por uma cirurgia no cérebro para ouvir frases ditas por pessoas diferentes, enquanto medimos os padrões de atividade cerebral", disse o Dr. Mesgarani. "Esses padrões neurais treinaram o vocoder".
Em seguida, os pesquisadores pediram aos mesmos pacientes que escutassem os alto-falantes recitando dígitos entre 0 e 9, enquanto registravam os sinais cerebrais que poderiam ser transmitidos pelo vocoder. O som produzido pelo vocoder em resposta a esses sinais foi analisado e limpo por redes neurais, um tipo de inteligência artificial que imita a estrutura dos neurônios no cérebro biológico.
O resultado final foi uma voz com som robótico recitando uma sequência de números. Para testar a precisão da gravação, o Dr. Mesgarani e sua equipe encarregaram as pessoas de ouvir a gravação e relatar o que ouviram.
"Descobrimos que as pessoas podem entender e repetir os sons em cerca de 75% do tempo, o que está bem acima e além de qualquer tentativa anterior", disse o Dr. Mesgarani. A melhora na inteligibilidade foi especialmente evidente ao comparar os novos registros com as tentativas anteriores baseadas em espectrograma. "O vocoder sensível e as redes neurais poderosas representavam os sons que os pacientes originalmente ouviam com surpreendente precisão".
O Dr. Mesgarani e sua equipe planejam testar palavras e sentenças mais complicadas a seguir, e eles querem executar os mesmos testes em sinais cerebrais emitidos quando uma pessoa fala ou imagina a fala. Em última análise, eles esperam que seu sistema possa ser parte de um implante, semelhante aos usados por alguns pacientes com epilepsia, que traduz os pensamentos do usuário diretamente em palavras.
"Nesse cenário, se o usuário pensar 'eu preciso de um copo de água', nosso sistema pode pegar os sinais cerebrais gerados por esse pensamento e transformá-los em fala verbal sintetizada", disse o Dr. Mesgarani. "Isso seria uma virada de jogo. Isso daria a qualquer um que tenha perdido sua capacidade de falar, seja por lesão ou doença, a chance renovada de se conectar ao mundo ao seu redor."
Estes resultados foram publicados hoje em relatórios científicos .
"Nossas vozes ajudam a nos conectar aos nossos amigos, família e ao mundo ao nosso redor, e é por isso que perder o poder da voz de uma pessoa devido a ferimentos ou doenças é tão devastador", disse Nima Mesgarani, PhD, autora principal do estudo e pesquisadora principal. "Com o estudo de hoje, temos uma maneira potencial de restaurar esse poder. Mostramos que, com a tecnologia certa, os pensamentos dessas pessoas poderiam ser decodificados e entendidos por qualquer ouvinte".
Décadas de pesquisa mostraram que quando as pessoas falam - ou até imaginam falar - padrões de atividade reveladores aparecem em seus cérebros. Padrões de sinais distintos (mas reconhecíveis) também surgem quando ouvimos alguém falar ou imaginamos ouvir. Os especialistas, tentando registrar e decodificar esses padrões, vêem um futuro em que os pensamentos não precisam permanecer ocultos dentro do cérebro - mas, em vez disso, poderiam ser traduzidos para a fala verbal à vontade.
Mas realizar esse feito se mostrou desafiador. Os primeiros esforços para decodificar sinais cerebrais pelo Dr. Mesgarani e outros se concentraram em modelos computacionais simples que analisavam espectrogramas, que são representações visuais de freqüências sonoras.
Mas como essa abordagem não conseguiu produzir nada que se assemelhe à fala inteligível, a equipe do Dr. Mesgarani se voltou para um vocoder, um algoritmo de computador que pode sintetizar a fala depois de ser treinado em gravações de pessoas falando.
"Essa é a mesma tecnologia usada pelo Amazon Echo e pela Apple Siri para dar respostas verbais às nossas perguntas", disse o Dr. Mesgarani, que também é professor associado de engenharia elétrica na Escola de Engenharia e Ciências Aplicadas da Fundação Fu, na Colômbia.
Para ensinar o vocoder a interpretar a atividade cerebral, o Dr. Mesgarani se uniu a Ashesh Dinesh Mehta, MD, PhD, um neurocirurgião no Instituto de Neurociência da Northwell Health Physician Partners e co-autor do artigo de hoje. Dr. Mehta trata pacientes com epilepsia, alguns dos quais devem passar por cirurgias regulares.
"Trabalhando com o Dr. Mehta, pedimos aos pacientes com epilepsia que já estavam passando por uma cirurgia no cérebro para ouvir frases ditas por pessoas diferentes, enquanto medimos os padrões de atividade cerebral", disse o Dr. Mesgarani. "Esses padrões neurais treinaram o vocoder".
Em seguida, os pesquisadores pediram aos mesmos pacientes que escutassem os alto-falantes recitando dígitos entre 0 e 9, enquanto registravam os sinais cerebrais que poderiam ser transmitidos pelo vocoder. O som produzido pelo vocoder em resposta a esses sinais foi analisado e limpo por redes neurais, um tipo de inteligência artificial que imita a estrutura dos neurônios no cérebro biológico.
O resultado final foi uma voz com som robótico recitando uma sequência de números. Para testar a precisão da gravação, o Dr. Mesgarani e sua equipe encarregaram as pessoas de ouvir a gravação e relatar o que ouviram.
"Descobrimos que as pessoas podem entender e repetir os sons em cerca de 75% do tempo, o que está bem acima e além de qualquer tentativa anterior", disse o Dr. Mesgarani. A melhora na inteligibilidade foi especialmente evidente ao comparar os novos registros com as tentativas anteriores baseadas em espectrograma. "O vocoder sensível e as redes neurais poderosas representavam os sons que os pacientes originalmente ouviam com surpreendente precisão".
O Dr. Mesgarani e sua equipe planejam testar palavras e sentenças mais complicadas a seguir, e eles querem executar os mesmos testes em sinais cerebrais emitidos quando uma pessoa fala ou imagina a fala. Em última análise, eles esperam que seu sistema possa ser parte de um implante, semelhante aos usados por alguns pacientes com epilepsia, que traduz os pensamentos do usuário diretamente em palavras.
"Nesse cenário, se o usuário pensar 'eu preciso de um copo de água', nosso sistema pode pegar os sinais cerebrais gerados por esse pensamento e transformá-los em fala verbal sintetizada", disse o Dr. Mesgarani. "Isso seria uma virada de jogo. Isso daria a qualquer um que tenha perdido sua capacidade de falar, seja por lesão ou doença, a chance renovada de se conectar ao mundo ao seu redor."
Tag: Tumor cerebral; Sistema nervoso; Defeitos de nascença; Interfaces cérebro-computador; Aquisição de linguagem; Lesão cerebral; Interfaces Neurais; Comunicações; Inteligência artificial; Tecnologia de Inteligência Artificial; Biomédica Ambiental; Biotecnologia; Medicina Saúde
Decodificar padrões de pesamentos
Referência de informação
Article » English, Columbia Engineers Translate Brain Signals Directly into SpeechThe Zuckerman Institute, Columbia University
Blog está presente em redes sociais na página » CMistériosBlog » Google Plus
Referência do Jornal
Autores: Jonathan Drori, Yuval Rosenberg, David Bermudez, Yaron Silberberg, and Ulf Leonhardt
Artigo - "Towards reconstructing intelligible speech from the human auditory cortex"
Publicado: American Physical Society
Afiliações:
Mortimer B. Zuckerman Instituto de Behaviorismo Mental,
Universidade de Columbia, Nova Iorque, NY, Estados Unidos
Hassan AkbariBahar Khalighinejad; Nima Mesgarani
Departamento de Engenharia Elétrica, Columbia University,
Nova York, NY, Estados Unidos
Hassan AkbariBahar Khalighinejad & Nima Mesgarani
Escola de Medicina Hofstra Northwell, Manhasset, NY, Estados Unidos
Jose L. Herrero Ashesh D. Mehta
Instituto Feinstein de Pesquisa Médica, Manhasset, NY, Estados Unidos
Jose L. Herrero & Ashesh D. Mehta
DOI: s41598-018-37359-z
Afiliações:
Mortimer B. Zuckerman Instituto de Behaviorismo Mental,
Universidade de Columbia, Nova Iorque, NY, Estados Unidos
Hassan AkbariBahar Khalighinejad; Nima Mesgarani
Departamento de Engenharia Elétrica, Columbia University,
Nova York, NY, Estados Unidos
Hassan AkbariBahar Khalighinejad & Nima Mesgarani
Escola de Medicina Hofstra Northwell, Manhasset, NY, Estados Unidos
Jose L. Herrero Ashesh D. Mehta
Instituto Feinstein de Pesquisa Médica, Manhasset, NY, Estados Unidos
Jose L. Herrero & Ashesh D. Mehta
DOI: s41598-018-37359-z