Интерфейс мозг – компьютер (ИМК) – это технология, в которой определенные параметры или события в электрической активности головного мозга человека становятся командами для внешних устройств, например компьютера. Она возможна, прежде всего, потому, что произвольные и непроизвольные мысленные акты, такие как удержание произвольного образа, выполнение какой-либо задачи, концентрация внимания на внешних и внутренних объектах, процессы восприятия стимулов различной модальности, так или иначе отражаются в характеристиках электрической активности мозга человека, в ее пространственно-временных паттернах. Через процесс оперантного обусловливания эти комплексы становятся управляющими командами для внешних устройств, а человек-оператор при этом получает возможность управлять этими устройствами без помощи периферических нервов и мышц, «напрямую» от мозга. Одной из разновидностей подобного рода систем является ИМК на волне P300, где основным управляющим сигналом является так называемый когнитивный потенциал (волна) P300. Этот потенциал появляется в условиях, когда от человека требуется отслеживание «выходящего из ряда» (odd-ball) стимула. В ИМК на волне P300 процедура происходит следующим образом: оператору демонстрируется набор букв в определенных позициях на экране компьютера, буквы в случайном порядке подсвечиваются, и если оператор сконцентрирован на какой-либо букве и ожидает ее подсветки, то подсветка этой буквы вызовет у него появление потенциала P300. Этот потенциал будет распознан специальным алгоритмом, входящим в систему ИМК, после чего станет возможным определить букву, на которой был сконцентрирован оператор. Для более надежного выделения волны P300 из фоновой электроэнцефалограммы и более точного определения элемента, на котором сконцентрирован оператор, подсветка элементов проводится в несколько циклов.
В вызванном потенциале, возникающем в ответ на подсветку целевого символа, присутствуют и другие компоненты помимо P300, часть из которых (например, компонент N1) также помогает определению целевого элемента из набора предъявленных. При этом эти дополнительные компоненты зависят уже не только от того, на каком элементе сконцентрирован оператор, но и от направления его взгляда (Brunner et al., 2010). Если направление взгляда оператора совпадает с целевым символом, эти дополнительные компоненты, как правило, более ранние, чем волна P300, оказываются более ярко выражены и вносят больший вклад в детекцию целевого стимула, чем в случае, когда направление взгляда оператора не совпадает с целевым стимулом. При этом если по отношению к когнитивному потенциалу P300 известна определенная взаимосвязь его параметров (амплитуда, латентность) с характером выполняемой человеком задачи, то по отношению к более ранним компонентам вызванного потенциала таких данных на сегодняшний момент существенно меньше. Характеристики ранних компонентов недостаточно хорошо исследованы, характер связей этих характеристик с сопутствующими изменениями в процессах восприятия изучены относительно слабо (Басюл, Каплан, 2014). В связи с этим весьма актуальными являются следующие вопросы: как связаны особенности зрительного восприятия с электрической активностью мозга в ИМК на волне P300? Как зависят эти особенности от характеристик стимульной среды и типа выполняемой человеком задачи, как они изменяются при оперантном обусловливании? Возможно ли, и если возможно, то как, использовать специфические характеристики процесса зрительного восприятия в условиях ИМК на волне P300 для оптимизации данного ИМК, ускорения обучения работе и формированию более устойчивого навыка?
Научная новизна предлагаемого исследования связана с получением новых данных об особенностях динамики зрительного восприятия, его опосредующих факторах в среде ИМК на волне P300, динамике процессов зрительного восприятия при оперантном обусловливании и формировании навыка работы с ИМК. Методологическая новизна заключается в объединении психофизиологической парадигмы интерфейса мозг-компьютер и методик регистрации направленности взора человека (Барабанщиков, Жегалло, 2013, 2014) как подхода к изучению процессов восприятия (Барабанщиков, 1997).
Методика. Для решения поставленных задач разработана методика и программно-аппаратный комплекс синхронной регистрации ЭЭГ и направленности взора человека в процессе работы с ИМК на волне Р300. Регистрация ЭЭГ осуществляется при помощи 8-канального электроэнцефалографа производства компании «МОВИКОМ», частота оцифровки сигнала – 500 Гц. Регистрация направленности взора осуществляется при помощи установки SMIHiSpeed, обеспечивающей скорость видеорегистрации направленности взора до 1250 кадров в секунду при пространственном разрешении 0,25–0,5°. Программной платформа послужила среда Python 2.5 с набором модулей для обеспечений высокоточного предъявления стимулов на экране монитора и скоростной онлайн-обработки ЭЭГ-данных для обеспечения надлежащей скорости работы ИМК. Особое внимание было уделено стабильности временных характеристик предъявляемых стимулов, высокой степени синхронизации регистрируемых потоков данных (ЭЭГ и траектории движений глаз), а также формированию логов работы стимуляционного модуля программно-аппаратного комплекса, позволяющих полностью восстановить стимуляционную среду, с которой было предложено работать испытуемому. Последний пункт представляет особую важность для детального анализа данных офлайн.
В результате были достигнуты следующие характеристики работы исследовательского программно-аппаратного комплекса. Использование высокоэффективной библиотеки OpenGL позволило обеспечить стабильность временных характеристик предъявляемых стимулов, фактически, предельно возможную в условиях работы с типовым ЖК-монитором: на тестовых записях длительностью 30–60 мин временные характеристики стимулов совпадают с точностью до длительности 1 кадра тестового монитора. Минимизация размера синхрометок, а также использование протокола UDP для обмена данными между компьютерами, осуществляющими регистрацию ЭЭГ и движений глаз, позволило обеспечить стабильность доставки с точностью ±1 сэмпл данных айтрекера на частоте 500 кадров в секунду. Лог процедуры стимуляции формируется также с предельно возможной точностью: для каждого кадра в процессе предъявления стимулов сохраняется позиция всех элементов на экране и их состояние (подсвечен/неподсвечен). Формирование лога с еще большей точностью представляется избыточным, поскольку не даст никакой новой информации. Меньшая частота сохранения состояния стимуляционной картины приведет к потере информации о происходящем на экране, что может негативным образом сказать на дальнейшем анализе данных.
Таким образом, разработанный программно-аппаратный комплекс отвечает требованиям предполагаемого исследования, обеспечивая высокую точность и стабильность характеристик стимуляции, достаточную степень синхронизации между ЭЭГ-данными и траекториями движений глаз, а также сохраняя достаточное количество информации для последующего глубокого анализа данных.
Барабанщиков В. А. Окуломоторные структуры восприятия. М.: Изд-во «Институт психологии РАН», 1997.
Барабанщиков В. А., Жегалло А. В. Айтрекинг: методы регистрации движений глаз в психологических исследованиях и практике. М.: Когито-Центр, 2014.
Барабанщиков В. А., Жегалло А. В. Регистрация и анализ направленности взора человека. М.: Изд-во «Институт психологии РАН», 2013.
Басюл И. А., Каплан А. Я. Изменения N200 и P300 компонентов потенциалов, связанных с событиями, при варьировании условий внимания в системе Brain Computer Interface // Журнал высшей нервной деятельности им. И. П. Павлова. 2014. № 2 (64). С. 159–166.
Brunner P., Joshi S., Briskin S., Wolpaw J. R., Bischof H., Schalk G. Does the “P300” Speller Depend on Eye Gaze? // Journal of neural engineering. 2010. V. 7. № 5. URL: http://iopscience.iop.org/1741–2552/7/5/056013 (дата обращения: 26.06.2015).