Революционная система искусственного интеллекта читает мысли и создает текст без имплантов

Новый интерфейс мозг-компьютер отличается от других технологий «чтения мыслей», поскольку его не нужно имплантировать в мозг. Исследователи из Университета Остина сделали неинвазивные записи мозга, используя функциональную магнитно-резонансную томографию (фМРТ), чтобы реконструировать воспринимаемые или воображаемые стимулы с использованием непрерывного естественного языка.

ФМРТ дает изображения отличного качества, но измеряемый ею сигнал, который зависит от уровня кислорода в крови, очень медленный, поскольку импульс нейронной активности вызывает повышение и понижение уровня кислорода в крови в течение примерно 10 секунд. Поскольку в естественном разговорном английском языке используется более двух слов в секунду, на каждое изображение мозга может повлиять более 20 слов.

Вот где в дело вступает семантический декодер. Он использует модель кодирования, аналогичную той, что используется в ChatGPT от Open AI и Bard от Google, которые могут предсказать, как мозг человека будет реагировать на естественный язык. Чтобы «обучить» декодер, исследователи записали реакции мозга трех человек, когда они слушали 16 часов устных историй. Декодер мог с достаточной точностью предсказать, как мозг человека отреагирует на последовательность слов.

«Для неинвазивного метода это настоящий скачок вперед по сравнению с тем, что делалось раньше, когда обычно использовались отдельные слова или короткие предложения», — сказал Александр Хут, корреспондент исследования.

Результат не воссоздает слово в слово. Скорее, декодер улавливает суть сказанного. Он не идеален, но примерно в половине случаев он создавал текст, который был близко, а иногда и точно, к оригиналу.

Когда участники активно слушали историю и игнорировали другую историю, воспроизводимую одновременно, декодер смог уловить суть истории, которую активно слушали.

Помимо того, что участников просили слушать и думать над историями, их попросили посмотреть четыре коротких видео без звука, пока их мозг сканировался с помощью фМРТ. Семантический декодер переводил активность их мозга в точные описания определенных событий из просмотренных видео.

Исследователи обнаружили, что ключом к процессу является добровольное участие. Те, кто оказывал сопротивление во время обучения кодировщика, например, намеренно думали о других мыслях, давали бесполезные результаты. Точно так же, когда исследователи протестировали ИИ на людях, которые не обучали декодер, результаты были непонятными.

Команда осознает возможность злонамеренного неправомерного использования неточных результатов и важность защиты неприкосновенности частной жизни людей.

«Мы очень серьезно относимся к опасениям, что это может быть использовано в плохих целях, и работаем над тем, чтобы этого избежать», — сказал Джерри Танг, ведущий автор исследования. «Мы хотим убедиться, что люди используют эти типы технологий только тогда, когда они этого хотят, и что это помогает им».

В настоящее время декодер нельзя использовать за пределами лабораторной среды из-за его зависимости от фМРТ. Есть надежда, что эту технологию можно будет адаптировать для использования с более портативными системами визуализации мозга, такими как функциональная спектроскопия ближнего инфракрасного диапазона (fNIRS).

«fNIRS измеряет, где больше или меньше кровотока в мозгу в разные моменты времени, что, как оказывается, является точно таким же сигналом, который измеряет фМРТ», — сказал Хут. «То есть наш подход должен соответствовать fNIRS».

Исследование было опубликовано в журнале Nature Neuroscience, а видео ниже показывает, как семантический декодер использует записи активности мозга, чтобы уловить суть сцены немого фильма.