Нейрокомпьютерная речь
Извлечь нужный нейронный сигнал из шума других нейронных сигналов, определить, насколько он соответствует конкретной букве, или слову, или образу – всё это проделать чрезвычайно сложно, если работать напрямую с речевыми центрами. Поэтому тут обычно идут на хитрость: считывают не только собственно языковые-речевые сигналы, а ещё и двигательные импульсы, которые мозг посылает в руку, когда хочет написать какую-нибудь букву. То есть нейрокомпьютерный интерфейс расшифровывает не только речь, но и письменные движения. Другой вариант – считывать импульсы, которые идут к мышцам лица и гортани: человек представляет, что он говорит вслух, а алгоритм расшифровывает нейронные сигналы и подбирает языковые символы. (Кстати, в таких случаях подобранные буквы и слова не озвучиваются, а выводятся на экран, то есть человек общается посредством нейрокомпьютерной печатной машинки.)
Но может быть так, что есть проблемы с двигательными сигналами, будь то сигналы, которые идут к пишущей руке или к голосовым связкам. В таком случае хорошо бы, чтобы интерфейс умел читать из мозга внутреннюю речь – когда мы представляем, как мы что-то говорим, но не пытаемся это написать или произнести вслух. Такой задачу попытались решить сотрудники Калифорнийского технологического института с двумя добровольцами, которым электроды вводили в надкраевую извилину коры. Среди разных функций у надкраевой извилины есть и языковые – в частности, про неё известно, что её нейроны активируются как раз во время выбора слов и их внутреннего проговаривания.
Сначала участники эксперимента должны были представить-проговорить про себя несколько осмысленных слов и бессмысленных слов – бессмысленные слова были нужны, чтобы понять, учитывает ли надкраевая извилина значение того, что говорится. Затем наступал следующий этап: на экране появлялись разные слова, которые нужно было проговорить про себя несколько раз. Электроды всё это время считывали сигналы отдельных нейронов, а алгоритм учился связывать сигналы со словами. В статье в Nature Human Behaviour говорится, что нейрокомпьютерный интерфейс смог научиться распознавать слова правильно в 79% случаев – но только для одного из двух добровольцев. У другого точность распознавания осталась низкой, около 23%. Научиться распознавать слова у второго добровольца интерфейс не смог во многом потому, что большая доля нейронов у того реагировала сразу на два слова – а обучение строилось на том, что на каждое слово из обучающего списка реагирует только один нейрон. Одновременно удалось выяснить, что большая часть нейронов надкраевой извилины (82–85%) активируется как при внутренней речи, так и при попытке произнести слово вслух. Остальные нейроны работают только с внутренним представлением, или же по-разному реагируют на одно и то же слово в разных контекстах.
В принципе исследователям удалось показать, что внутреннюю речь можно вывести наружу. Однако тут есть определённые сложности, связанные с индивидуальными особенностями: если у одного человека нейроинтерфейс удалось обучить на одном списке слов, то в другом случае может понадобиться другой список. Есть ещё вариант считывать из мозга целые сложные идеи, но и там точность считывания пока остаётся довольно приблизительной.