Исследователи Института науки Вейцмана в Реховоте, Израиль, создали инструмент искусственного интеллекта (ИИ), который по скану мозга человека восстанавливает то, на что он смотрит, с поразительной точностью. Система под названием Brain-IT восстанавливает увиденное изображение по высокоразрешённым сканам функциональной магнитно-резонансной томографии (фМРТ) — а в обратном направлении способна предсказывать активность мозга человека по изображению. Результаты работы были представлены на конференции Cognitive Computational Neuroscience в Нью-Йорке.
Двухветвевой «декодер мозга»
В основе системы — двухветвевой «декодер мозга». Первая ветвь предсказывает структуру изображения, то есть где расположены цвета и как распределены формы; вторая ветвь определяет содержание изображения — что на нём запечатлено. Оба предсказания передаются диффузионной модели. Диффузионные модели — это разновидность ИИ, известная тем, что пошагово очищает набор зашумлённых пикселей, получая из него чёткое изображение. В Brain-IT эта модель объединяет предсказания двух ветвей и создаёт значительно более точную копию увиденного человеком.
На практике это означает, что система не ограничивается поиском объекта на изображении — она пытается восстановить его местоположение, размер и цвета. Если прежние инструменты приходили к общему выводу «человек что-то видел», то Brain-IT стремится реконструировать структуру увиденной сцены.
Для обучения системы учёные использовали сканы мозга восьми человек, каждый из которых просмотрел около 9000 изображений в сканерах фМРТ высокого разрешения. Но объёма имеющихся сканов было недостаточно — поэтому команда создала парную модель, выполняющую обратную задачу: «кодер», предсказывающий активность мозга по изображению. Кодер и декодер обучались совместно: кодер создаёт предполагаемый скан мозга для нового изображения, декодер превращает его обратно в изображение — а ошибки улучшают обе модели. В итоге около 70 процентов обучающих данных фактически составили изображения, которые человек в сканере никогда не видел.
Суть этого подхода в том, что кодер предсказывает по изображению «ожидаемый» скан мозга, а декодер восстанавливает по этому предсказанию изображение. Обе модели учатся на ошибках друг друга и постепенно совершенствуются — так ограниченный набор реальных сканов искусственно расширяется.
Калибровка за один час
В официальном сообщении института говорится, что Brain-IT способен выявлять паттерны активности мозга, общие для всех людей: объединение данных разных исследований показало, что некоторые области мозга у всех людей выполняют схожие задачи. Именно эта общность даёт системе её главное преимущество: если прежним инструментам декодирования мозга для работы с новым человеком требовалось около 40 часов данных фМРТ, то для Brain-IT достаточно всего часа калибровочных данных.
На практике эта разница имеет большое значение: вместо десятков часов сканирования для нового участника достаточно часа калибровки — значит, исследователи тратят меньше времени и могут тестировать систему на большем числе людей. Таким образом, для «чтения» мозга нового человека системе не нужна длительная индивидуальная подготовка. Сам институт описал этот результат как «беспрецедентные скорость и точность» в чтении нового человека.
По заявлению института, технология в будущем может позволить полностью парализованным пациентам с «синдромом запертого человека» (locked-in) общаться только через активность мозга, а также раскрыть, как работает мозг.
Предупреждения о ментальной приватности
Однако независимые учёные обращают внимание на обратную сторону этого прорыва: тот же подход может раскрывать внутренние мысли и ментальные образы людей — возможно, без их согласия. Нейробиолог Томми Спраг из Калифорнийского университета в Санта-Барбаре, независимый эксперт, не участвовавший в исследовании, сказал изданию MIT Technology Review:
«Результаты выглядят действительно впечатляюще. Но если бы существовал способ скрытно извлекать информацию о том, о чём вы думаете, 150 лет научной фантастики могли бы стать реальностью в любой момент — и это вызывает серьёзное беспокойство по многим причинам.»
Тревогу усиливает ещё один фактор: сейчас команда работает над расширением аналогичного подхода на декодирование на основе ЭЭГ — электрическая активность мозга регистрируется с помощью шапочек с электродами или даже наушников. ЭЭГ — метод регистрации электрической активности мозга с помощью электродов, установленных на коже головы.
В то же время институт Вейцмана называет главной целью технологии помощь полностью парализованным пациентам и раскрытие механизмов работы мозга — то есть исследователи изначально создавали этот инструмент для медицины и фундаментальной науки. Так по одну сторону оказываются большие перспективы, такие как возможность общения для парализованных пациентов, а по другую — серьёзные вопросы о ментальной приватности, и обе они проистекают из одного и того же исследования.
