Найден способ превращать сигналы мозга в речь: говорим без звуков

Слово, произнесенное вслух — мощное орудие, однако у нас не всегда есть возможность использовать речевой аппарат. В таком случае на помощь приходят технологии и машинные алгоритмы. Один из таких, к примеру, позволяет преобразовывать сигналы, которые мозг посылает мышцам, в разборчивые звуки!

Преобразовать поток сложных сигналов, с помощью которых мозг управляет системами организма, очень и очень непросто. К примеру, для внятной речи губы, язык, горло, челюсти, гортань и диафрагма должны работать синхронно и слаженно, а мозг выступает в качестве их координатора. Исследователи из Калифорнийского университета в Сан-Франциско (UCSF) уже пытались создать устройство, преобразующее мозговые импульсы в речь, но отказались от своей затеи.

На сегодняшний день есть несколько способов все-таки осуществить эту задумку. Так, команда из Колумбийского университета, успешно использовала весьма оригинальный подход. Их метод реконструировал однослоговые слова, основанные непосредственно на восприятии мозгом произнесенных звуков, извлеченных из слуховой коры человека. Синтетическая речь, созданная таким образом, могла быть понята примерно в 70% попыток — неплохой результат.

Однако на практике попытка сложить из этих слов полноценную речь лишь усложняет восприятие. Поэтому команда USCF предложила логическое развитие этого метода — перевод в речь непосредственно мышечных движений, а не просто одностадийных мозговых сигналов. Для этого пяти добровольцам были имплантированы электроды непосредственно на поверхность мозговой коры, и ряд датчиков был прикреплен к языку, зубам и губам, чтобы лучше отслеживать их движения.

Результаты оказались впечатляющими. В результате проговаривания отдельных слов, фраз и даже отрывков из литературных произведений получилась звуковая «карта», которую синтезатор речи мог без особых проблем перевести непосредственно в звук. Просто послушайте это сами:

Источник

31.03	37-й IT talk »
17.11	MBLTdev #2 »
16.11	GeekWeek-2015 »