Нейронная сеть восстанавливает изображения из мыслей человека в режиме реального времени

Исследователи из российской корпорации Neurobotics и Московского физико-технического института нашли способ визуализировать мозговую деятельность человека в виде реальных изображений, имитирующих то, что он наблюдает в реальном времени.

Команда опубликовала свое исследование в виде препринта на bioRxiv и опубликовала в Интернете видео, демонстрирующее их систему «чтения мыслей» на работе.

Существующие решения для извлечения наблюдаемых изображений из сигналов головного мозга либо используют функциональную МРТ, либо анализируют сигналы, полученные с помощью имплантатов, непосредственно от нейронов. Оба метода имеют довольно ограниченное применение в клинической практике и повседневной жизни.

Интерфейс мозг-компьютер, разработанный МФТИ и Neurobotics, основан на искусственных нейронных сетях и электроэнцефалографии (ЭЭГ), методе регистрации мозговых волн с помощью электродов, неинвазивно расположенных на коже головы. Анализируя мозговую активность, система восстанавливает изображения, видимые человеку, в режиме реального времени.

В первой части эксперимента нейробиологи попросили здоровых людей посмотреть 20-минутные видео из 10-секундных фрагментов с изображениями абстрактных форм, водопадов, человеческих лиц, движущихся механизмов и автоспорта. Последняя категория содержала записи от первого лица езды на снегоходах, водных скутерах, мотоциклах и автомобильных гонок.

Анализируя данные ЭЭГ, исследователи показали, что паттерны мозговых волн различны для каждой категории видео. Это позволило команде проанализировать реакцию мозга на видео в режиме реального времени.

На втором этапе эксперимента из исходных пяти были выбраны три случайных категории. Исследователи разработали две нейронные сети: одну для генерации специфичного для каждой категории видео «шума» из ЭЭГ, а другую для генерации изображений из «шума». Затем команда обучила сети работать вместе таким образом, чтобы преобразовать сигнал ЭЭГ в реальные изображения, аналогичные тем, которые наблюдали испытуемые.

Чтобы проверить способность системы визуализировать мозговую деятельность , испытуемым были показаны другие, ранее не демонстрировавшиеся, видеоролики из тех же категорий. В процессе просмотра сигналы ЭЭГ передавались в нейронные сети. Система прошла тест, генерируя убедительные изображения, которые можно легко классифицировать в 90% случаев.

Технология может получить применение в контролируемых мозгом устройствах для лечения неврологических заболеваний, когнитивных расстройств и постинсультной реабилитации.

https://techxplore.com/news/2019-10-neural-network-reconstructs-human-thoughts.html