Мозъчен-компютърен интерфейс може да преведе мислите в речта

Невроинженерите са създали нова система, която може да преведе прости мисли в разпознаваема реч, използвайки изкуствен интелект и синтезатор на реч, според проучване, публикувано във вторник.

Екип от изследователи, базирани в Ню Йорк, успяха да реконструират думи, използвайки само мозъчна дейност, иновация, която може да проправи пътя за контролирани от мозъка технологии като например смартфон, който може да преведе вашите мисли в текстови съобщения.

Д-р Нима Месгарани, доцент в Колумбийския университет, ръководи проучването и разказва обратен че той вижда голям потенциал за възстановяване на речта на хората, които се възстановяват от инсулт или живеят с амиотрофична латерална склероза (ALS). По-нататък този тип технологии също може да отвори врати към свързаните с мозъка смартфони, които могат да позволят на потребителите да използват текстовете, въпреки че това все още е далеч. Работата му е публикувана в списанието Научни доклади.

"Една от мотивите на тази работа … е за алтернативни методи за взаимодействие човек-компютър, като например възможен интерфейс между потребител и смартфон", казва той. "Все пак, това все още е далеч от реалността и в момента информацията, която може да бъде извлечена с неинвазивни методи, не е достатъчно добра за приложение на интерфейс за мозъчно-компютърна реч."

Слушайте речта, генерирана от интерфейса на мозъка и компютъра.

За да развият новата техника, Mesgarani и неговият колега, д-р Ashesh Dinesh Mehta от института по здравна медицина на Northwell Health Partners, започнаха с изследване на мозъчната активност на пациентите с епилепсия за тяхното изследване. Тези пациенти вече са имали електродни импланти в мозъка си, за да наблюдават припадъци, които Месгарани и Мехта са могли да използват за събиране на данни за своите изследвания.

Дуото поиска от желаещите участници да чуят говорителите да кажат числата между нула и девет и след това да записват мозъчните сигнали от това взаимодействие. След това те обучиха невронна мрежа - програма, която имитира невронна структура в човешкия мозък - да разпознава моделите в сигналите и да ги превежда в роботизирани думи, използвайки синтезатор на реч, известен като вокодер.

Резултатът беше кратък гласов клип на това, което звучи като Microsoft Sam, броени от нула до девет. Впечатляващата част е колко ясно се сравнява речта с други методи, които изследователите са тествали. Все още обаче предстои много работа.

“Може да отнеме десетилетие, преди тази технология да стане достъпна”, казва Месгарани. „Нуждаем се от по-голям напредък както в дългосрочни, био-съвместими имплантируеми електроди, така и в пробивните технологии в неинвазивните методи за невронни записи. Също така се нуждаем от по-добро разбиране за това как мозъкът представлява реч, така че да можем да прецизираме нашите методи за декодиране."

Пациентите, които са били част от това проучване, например, са имали операция на мозъка, за да имплантират монитори за електрокортикография. Това е изключително инвазивен процес, който изисква открита операция на мозъка, нещо, което повечето хора не биха желали да претърпят, дори и да има възможност за възстановяване на някои от техните говорни способности.

За сега това изследване въвежда метод за декодиране на мозъчните сигнали в речта. Ако разберем как точно да открием мозъчната активност без операция, ще бъдем една стъпка по-близо до не само революционизирането на логопедната терапия, но и потенциално към въвеждането на свързани с мозъка смартфони.

Изследванията на интерфейса на мозъка и компютрите получават нов интерес през последните няколко години. През април 2017 г. Facebook обяви, че работи по BCI по време на годишната си конференция F8. През ноември 2018 г. Елон Муск обяви, че Неуралинк, неговият стартирал BCI, наема.

абстрактен

Възстановяването на слуховия стимул е техника, която намира най-доброто приближение на акустичния стимул от популацията на предизвиканата невронна активност. Реконструирането на речта от човешкия слухов корен създава възможност за невропротезиране на речта, за да се установи директна комуникация с мозъка и е доказано, че е възможно както в открити, така и в скрити условия. Въпреки това ниското качество на реконструираната реч ограничава в значителна степен полезността на този метод за приложения на интерфейс на мозъка и компютъра (BCI). За да усъвършенстваме състоянието на най-съвременните речеви невропротези, ние съчетахме последните постижения в дълбокото учене с най-новите иновации в технологиите за синтез на реч, за да реконструираме затворена разбираема реч от човешкия слухов кортекс. Изследвахме зависимостта на точността на реконструкция от линейни и нелинейни (дълбоки невронни мрежи) регресионни методи и акустичното представяне, което се използва като цел на реконструкцията, включително слухови спектрограми и параметри на синтеза на речта. Освен това сравнихме точността на реконструкцията от ниските и високите нервни честотни диапазони. Нашите резултати показват, че дълбокият модел на невронни мрежи, който директно оценява параметрите на синтезатора на речта от всички нервни честоти, постига най-високите субективни и обективни оценки на задачата за разпознаване на цифри, подобрявайки разбираемостта от 65% спрямо основния метод, който използва линейна регресия реконструирайте слуховата спектрограма. Тези резултати демонстрират ефикасността на алгоритмите за дълбоко обучение и синтез на реч за проектиране на следващото поколение реч BCI системи, които не само могат да възстановят комуникациите за парализирани пациенти, но също така имат потенциала да трансформират технологиите за взаимодействие човек-компютър.

Свързано видео: Роботите на Brain Wave Sensing могат да служат като разширения на човешкото тяло