Федеральное государственное автономное образовательное учреждение

высшего образования

«Национальный исследовательский Томский государственный университет»

На правах рукописи

Некрасова Елена Дмитриевна

КОГНИТИВНАЯ ОБРАБОТКА ЯЗЫКОВЫХ СТИМУЛОВ В УСЛОВИЯХ

БИМОДАЛЬНОГО АУДИОВИЗУАЛЬНОГО ВОСПРИЯТИЯ

10.02.19 – Теория языка

Диссертация

на соискание ученой степени

кандидата филологических наук

Научный руководитель

доктор филологических наук, профессор

Резанова Зоя Ивановна

Томск – 2016

2

ОГЛАВЛЕНИЕ

Введение………………………………………………………………………………...5 Глава 1. АСПЕКТЫ И МЕТОДЫ ИССЛЕДОВАНИЯ ЯВЛЕНИЯ ПОЛИМОДАЛЬНОСТИ В ГУМАНИТАРНЫХ НАУКАХ ..................................... 24

1.1 Термин «модальность» в логических и лингвистических грамматических исследованиях ............................................................................................................ 25 1.2 Термин «модальность» и смежные термины в лингвокогнитивных исследованиях ............................................................................................................ 26

1.2.1 «Модальность» как семиотическая характеристика текста ...................... 27 1.2.2 Поликодовый текст ....................................................................................... 29

1.3 Термин «модальность» и смежные термины в психологии ......................... 32 1.3.1 «Модальность» как характеристика сенсорного канала восприятия ... 32 1.3.2 Полимодальный текст ................................................................................ 34 1.3.3 Соотношение понятий полимодальный текст и поликодовый текст ... 36

1.4 Аудиовизуальное восприятие речи ................................................................. 37 1.4.1 Акустическое восприятие речи ................................................................. 40 1.4.2 Визуальное восприятие речи ..................................................................... 44 1.4.3 Взаимодействие модальностей. Полимодальная природа восприятия 48 1.4.4 Нейрофизиологическое обоснование полимодальности ....................... 52

1.5 Типология полимодальных явлений ............................................................... 54 1.5.1 Интрамодальные явления в ситуациях унимодального восприятия .... 56 1.5.2 Кроссмодальные и полимодальные явления в ситуациях полимодального восприятия .................................................................................. 58

1.6 Понятие эксперимента в психолингвистических исследованиях ............... 61 1.6.1 Эксперимент в психологии ....................................................................... 62 1.6.2 Эксперимент в лингвистике ...................................................................... 64 1.6.3 Эксперимент в психолингвистике ............................................................ 67 1.6.4 Виды психолингвистических экспериментов ......................................... 71

1.7 Общие принципы и ход проведения эксперимента ...................................... 76 1.7.1 Установки исследователя перед проведением экспериментальной серии ……………………………………………………………………………..77 1.7.2 Исследователь и экспериментатор ........................................................... 78

3

1.7.3 Информанты ................................................................................................ 80 1.7.4 Процедура проведения эксперимента ...................................................... 84 1.7.5 Принципы формирования экспериментального материала. .................. 86 1.7.6 Характеристика переменных .................................................................... 88 1.7.7 Анализ и обработка результатов исследования ...................................... 89

ВЫВОДЫ ПО ПЕРВОЙ ГЛАВЕ ................................................................................. 92 Глава 2. ЭКСПЕРИМЕНТАЛЬНОЕ ИЗУЧЕНИЕ ВЛИЯНИЯ ФОРМАЛЬНО-СЕМАНТИЧЕСКОЙ СТРУКТУРЫ ТЕКСТОВ И СЛОВ НА ПОЛИМОДАЛЬНОЕ ВОСПРИЯТИЕ .............................................................................................................. 94 2.1. Восприятие полимодальных текстов, актуализирующих два типа мышления. Выделение доминирующего канала восприятия. ...................................................... 94

2.1.1 Межполушарная асимметрия функциональных стилей .............................. 95 2.1.2 Экспериментальное исследование полимодального восприятия текстов . 97

2.2 Экспериментальное исследование влияния аспектов формально-смысловой структуры слова на его когнитивную обработку: когнитивные аспекты формализации .............................................................................................................. 105

2.2.1. Анализируемые аспекты формально-смысловой структуры слова ....... 106 2.2.2. Методика проведения серий поведенческих экспериментов, направленных на изучение влияния аспектов формально-смысловой структуры слова на полимодальное восприятие вербальных стимулов .............................. 108

2.3 Влияние семантики языкового знака на восприятие слова в условиях полимодального конфликта ....................................................................................... 120

2.3.1 Лексическое значение в структуре семантики языкового знака ............. 120 2.3.2 Влияние лексической семантики на полимодальное восприятие вербальных стимулов. ............................................................................................. 121 2.3.3 Экспериментальное изучение влияния семантики языкового знака на восприятие слова в условиях полимодального конфликта ................................. 130

2.4 Влияния аспектов, отражающих корреляцию формы и семантики языкового знака на восприятие слова в условиях полимодального конфликта ..................... 141

2.4.1 Грамматическая категория в аспекте отражения корреляции формы и семантики языкового знака .................................................................................... 143 2.4.2 Экспериментальное изучение влияния грамматической категории на полимодальное восприятие вербальных стимулов .............................................. 146 2.4.3 Лексико-грамматический разряд в аспекте отражения корреляции формы и семантики языкового знака ................................................................................. 155

4 2.4.4 Экспериментальное изучение влияния лексико-грамматических разрядов на полимодальное восприятие вербальных стимулов ......................................... 158 2.4.5 Лексико-грамматический класс в аспекте отражения корреляции формы и семантики языкового знака. ................................................................................ 166 2.4.6 Экспериментальное изучение влияния лексико-грамматических классов на полимодальное восприятие вербальных стимулов. ........................................ 169

2.5 Влияние формы языкового знака на восприятие слова в условиях полимодального конфликта ....................................................................................... 175

2.5.1 Ударение в структуре формы языкового знака ........................................ 175 2.5.2 Экспериментальное изучение влияния ударения на полимодальное восприятие вербальных стимулов ......................................................................... 176

2.6 Когнитивные закономерности влияния формально-семантических аспектов слова на его восприятие в условиях полимодального конфликта ......................... 182 2.7 Влияние фокуса установленного внимания на восприятие вербальных стимулов ....................................................................................................................... 186 2.8 Влияние маркированности\немаркированности членов формально-семантических оппозиций на характер когнитивной обработки стимулов .......... 190 ВЫВОДЫ ПО ВТОРОЙ ГЛАВЕ ............................................................................... 194 ЗАКЛЮЧЕНИЕ ........................................................................................................... 198 СПИСОК ЛИТЕРАТУРЫ ........................................................................................... 202 ПРИЛОЖЕНИЯ ........................................................................................................... 226 Приложение 1. Стимульный материал, использованный в эксперименте по изучению полимодального восприятия текстов ...................................................... 226 Приложение 2. Стимульный материал, использованный в сериях экспериментов по изучению влияния аспектов формально-смысловой структуры слова на его когнитивную обработку .............................................................................................. 228 Приложение 3. Форма информированного согласия респондентов на участие в экспериментальном исследовании ............................................................................ 239

5

ВВЕДЕНИЕ

Диссертационное исследование посвящено изучению особенностей

функционирования слова, помещенного в условия полимодального конфликта, а

также особенностей его восприятия респондентом. Работа выполнена на

материале двух славянских языков: русского и болгарского.

Первый аспект актуальности диссертационной работы определяется

характерным для современной научной парадигмы расширением понимания

термина «текст» как объекта психолингвистического изучения. Расширение

интерпретации термина вызвано изменениями в социальной сфере: внедрение

мультимедийных технологий в жизнь человека привело к всплеску

исследовательского интереса к текстам не только вербальной, но и гетерогенной

семиотической (1) и перцептивной (2) природы. Происходит изменение

понимания самого объекта исследования: текст изучается как семиотически

гетерогенный объект, как целостное произведение, полученное с использованием

элементов не только вербального кода, но и в соединении с невербальными

средствами коммуникации (Е.Е. Анисимова, Л.Г. Бабенко, Н.С. Валгина, В.Б.

Кашкин, Т.Н. Милевская).

При рассмотрении явления семиотической гетерогенности (1)

исследователи обращаются к поликодовым текстам, терминологически

обозначаемым в разных работах как семиотически осложненный текст,

видеовербальный, нетрадиционный, составной, лингвовизуальный феномен,

изовербальный комплекс, изоверб, иконотекст (Е.Е. Анисимова, А.А. Бернацкая,

Л.С. Большиянова, Н.С. Валгина, А.Ю. Зенкова, О.Л. Каменская, В.М. Клюканов,

Н.В. Месхешвили, О.В. Пойманова, Е.Ф. Тарасов, W.N. Levie, J.R. Levin, R. Lentz,

J. Reinwein и др.). В рамках данного направления термин «модальность»

используется исследователями для обозначения одного из семиотических

ресурсов передачи информации, а термин «полимодальные тексты» – для

обозначения семиотически гетерогенных образований, совмещающих в себе

различные коды представления информации, но способных восприниматься в том

6

числе посредством одного канала восприятия; например, тесты инструкций (А.Г.

Сонин, А.М. Волоскович, С.Б. Шарифуллин).

При рассмотрении явления перцептивной гетерогенности (2)

исследователи интерпретируют термин «модальность» как принадлежность к

определенной сенсорной системе (анализатору), а полимодальность – как

совокупность ощущений, поступающих путем разных модальностей при

чувственном восприятии объекта действительности (Ананьев, 1961). В качестве

объекта исследования в рамках данного направления выступают тексты,

способные репрезентировать себя посредством нескольких модальностей (напр.,

кинотекст, совмещающий визуальные и аудиальные элементы), а также

восприятие респондентом текстов в ситуации полимодального восприятия.

Второй аспект актуальности диссертационного исследования определяется

возрастающим интересом исследователей к изучению текста, помещенного в

условия естественной, мультимодальной коммуникации (см. труды, М.Л.

Бутовской А.А. Кибрика, Г.Е. Крейдлина, С.В. Кодзасова, Н.Б. Молчановой, S.

Adolphs, R. Carter, D. Knight, C. Muller, D. McNeill,и др.). Восприятие текста

изучается вне отрыва от особенностей человеческой перцепции, которая по

природе своей полисенсорна1 (О. В. Абдуллина, Б.Г. Ананьев, М. В. Анисимова,

Е. Ю. Артемьева, Н. А. Баева, А. Вежбицкая, Л. М. Веккер, А.В. Запорожец, С.Л.

Рубинштейн, С. В. Кравков, В. А. Лабунская, Б.Ф. Ломов, и др.). Проблемы

межмодального взаимодействия, то есть восприятия объекта посредством

одновременной актуализации нескольких перцептивных каналов, исследуются

психологами, как правило, обращающимися к данному объекту для получения

данных, которые можно будет использовать в прикладных целях – для

оптимизации профессиональной деятельности людей, требующей длительного

напряжения внимания одновременно по нескольким перцептивным каналам,

например, авиадиспетчеров (Л.В. Винокуров, Т.П. Зинченко, Ф.Е. Иванов, С.В.

Кравков, Б.Ф. Ломов, А.Р. Лурия, В.И. Медведев, Л.В. Огинец, В.Ф. Рубахин, Е.Н.

1 Полисенсорный – единовременно задействующий некоторое количество перцептивных

каналов.

7

Соколов, А.В. Филиппов, J.R. Anderson, W.B. Rouse и др.). В конце 20-го века

психолингвистика заимствует основные идеи теории полимодального восприятия

из прикладных областей психологии, трансформируя их в соответствии со

спецификой гуманитарного объекта исследования – текста. При этом одной из

наиболее интересных представляется идея наличия взаимовлияния сигналов2,

поступающих посредством различных перцептивных каналов (эффект Струпа,

эффект МакГурка и т.п.)

Исследователи-психолингвисты транслируют найденные в прикладных

психологических разработках закономерности полимодального восприятия на

языковой материал, занимаясь изучением соотношения видеоряда и звуковой

дорожки фильма (Hayes, Birnbaum, 1980), сравнением объема усваиваемой

информации кинотекста посредством вербальной, визуальной и аудиальной

«дорожек» (Кибрик, 2010), исследованием когнитивных особенностей восприятия

видеоклипов (Шарифуллин, 2013), вопросами взаимовлияния знаков визуального

и аудиального характера (Л.С. Большакова, Т.М. Рогожникова, Э.Г. Никитина и

др.).

Еще один значимый аспект актуальности выполняемого исследования

связан с использованием методов естественно-научных поведенческих

экспериментов применительно к изучению лингвистического материала.

Широкое распространение эксперименталистского направление в гуманитарных

областях связано в тем, что гуманитарное знание ищет точки соприкосновения с

естественно-научным, в том числе знанием о принципах работы головного мозга

человека (так называемая его neuroanatomical architecture (Evans, 2012). Подобное

соединение лингвистики с психологией и нейрофизиологией возможно в рамках

прежде всего когнитивных наук и при использовании методов, обладающих

высокой степенью достоверности при повторных измерениях. Именно таким

методом является метод поведенческих экспериментальных исследований со

2 Необходимо отметить, что указанные влияния могут быть выражены с различной силой, а

также иметь разнонаправленный характер. Более подробная классификация представлена в п. 1.5. диссертационной работы.

8

сбором данных времени реакции в миллисекундах, являющийся ведущим в

данном диссертационном исследовании.

Таким образом, данное исследование отражает несколько актуальных

тенденций современной психолингвистики, будучи обращенным к особенностям

восприятия текста в соответствии с физиологическими особенностями

человеческой перцепции и используя термин «текст» в его семантически

расширенном варианте. В работе анализируются различные аспекты

полимодального восприятия: во-первых, влияние перцептивных каналов на

успешность усвоения вербального кода, выявление доминирующего канала

восприятия вербальной информации в условиях бимодального конфликта; во-

вторых, влияние различных характеристик текста и слова на успешность их

усвоения в ситуации полимодальной перцепции.

Подобная актуализация изучаемого явления влечет за собой обращение к

двум взаимосвязанным аспектам объекта, предмета и гипотезы исследования.

В качестве объекта исследования мы привлекаем монокодовые

вербальные тексты и изолированные единицы вербального кода (слова),

репрезентирующие себя посредством аудиального и визуального перцептивных

каналов.

Предмет исследования – взаимодействие модальностей при

полимодальном восприятии текста и единиц вербального кода в условиях

бимодального (аудиовизуального) конфликта.

Основная исследовательская гипотеза диссертационного исследования:

при восприятии различных единиц вербального кода и текста проявляется

взаимовлияние перцептивных модальностей и формально-семантических

характеристик воспринимаемых единиц.

Термин «модальность» в работе рассматривается в значении

перцептивного (сенсорного) канала человека. Определения «модальный»,

«сенсорный» и «перцептивный» используются в работе в качестве синонимов-

дублетов.

9

Под «конкуренцией модальностей» в диссертационном исследовании

понимается выделение доминирующей модальности при восприятия вербальной

информации (визуальной или аудиальной).

Цель работы – исследование влияния формы и семантики текстов и

единиц вербального кода на их восприятие в условиях конкуренции модальностей

при аудио-визуальном восприятии.

Поставленная цель предполагает решение ряда следующих задач.

1. Разработать дизайн экспериментов для исследования полимодального

восприятия вербальных текстов.

2. Составить необходимые базы психолингвистических стимулов для

проведения поведенческих экспериментов с учетом всех необходимых

параметров.

3. Выявить доминирующий перцептивный канал при бимодальном

аудиовизуальном восприятии текстов.

4. Выявить особенности корреляции модального компонента семантики слова

с перцептивным каналом.

5. Экспериментально проверить влияние на полимодальное восприятие слова

следующих элементов его формально-семантической структуры:

• лексического значения,

• морфологических признаков, противопоставляющих лексико-

грамматические классы, лексико-грамматические разряды,

грамматические категории, а также

• акцентуации.

6. Определить степень влияния на полимодальное восприятие групп

асемантичных слов (псевдослов), сохраняющих формальную выраженность

морфологической категории.

7. Изучить влияние установки произвольного внимания при аудиовизуальном

восприятии (одна модальность, либо обе модальности) на скорость

восприятия слова.

10 8. Изучить влияние фоновой аудиальной информации на восприятие

вербального кода из поля произвольного визуального внимания.

Материалом для исследования послужили различные тексты и

группировки слов, обладающих специфическими характеристиками (признаками,

свойствами), действие которых на процессы восприятия в условиях конфликта

модальностей проверяется в серии психолингвистических экспериментов.

1. Тексты, использованные в эксперименте, были смоделированы нами на основе реально существующих текстов в целях придания им

последовательного противопоставления по исследуемым параметрам влияния на

процессы их восприятия. Тексты нарративного типа имели единообразное

вступление и членились на одинаковое количество смысловых блоков. Созданные

тексты различались по стилеобразующим признакам, маркирующим различие

содержания и когнитивной структуры.

Текст художественного стиля речи был смоделирован нами на основе

рассказа, представленного в периодическом интернет-издании Газета.Ru,

опубликовавшего ее со ссылкой на британское издание The Sun. К основному

тексту мы добавили вступление, которое повторяло вступление текста научно-

популярного стиля речи (Редко встретишь трехцветную кошку. А трехцветного

кота – еще реже.), а также сократили материал таким образом, чтобы оба текста

отражали равное количество смысловых частей. (см. Приложение 1).

Текст научного стиля с генетической точки зрения описывал редкость

появления трехцветного окраса у кошек и был почти полностью смоделирован

нами на основании данных словарной статьи о генетическом своеобразии

трехцветных кошек.

Своеобразие отобранного текстологического материала заключалось в

различии когнитивной природы выбранных текстов. В зависимости от различных

глубинных когнитивных основ при его восприятии текст может актуализировать

различные типы мышления, в частности, текст научного характера апеллирует

прежде всего к абстрактному мышлению, тогда как художественный,

11

сосредоточенный на фабульном описании, требует по преимуществу

актуализации наглядно-образного мышления.

На материале текстов в рамках нашего исследования мы исследовали

выявление доминирующей модальности восприятия вербального кода при

аудиовизуальной перцепции.

Группировки слов, использованные в качестве стимулов, подбирались

для формирования в аудиовизуальные пары, противопоставленные также по

исследуемым параметрам лексической и грамматической семантики и формы.

Термином «аудиаовизуальная пара» обозначаем пару слов-стимулов, один из

которых представлен визуально (на экране), а другой одновременно с ним

транслируется посредством аудиального канала (в наушниках). Термин «таблица

стимулов» заимствован из психофизики и используется в работе для обозначения

всего массива стимульного материала.

В тексте работы используются следующие термины для обозначения

типологической разницы единиц исследования:

• термин «текст» – для обозначения текстовых массивов,

использовавшихся для эксперимента, представленного в п.2.1.

• термин «слово» или «единицы вербального кода» для обозначения

слов, использовавшихся в серии экспериментов, представленных в п.п. 2.2.

– 2.7.

Для работы привлекался материал русского и болгарского языков.

Привлечение к анализу материала двух языков определяется, во-первых,

неизученностью исследуемой научной проблемы применительно к данным

языкам, во-вторых, наличием различий в исследуемых языках корреляции формы

и семантики анализируемых аспектов слова.

Материал для формирования пула стимулов был извлечен из следующих

словарей:

9 толковых словарей русского языка, включая Большой толковый словарь

русского языка (Ожегов, Шведова, 1998), Русский семантический словарь

(Шведова, 1998), Словарь русского языка: в 4-х т. (1999) (см. Список источников).

12

Для выявления модальной семантики слов русского языка мы обращались

к Лингво-психологическому словарю (Колбенева, 2010). Для экспериментов на

болгарском материале использовались переводы русских слов с перцептивной

семантикой (все переводы проходили проверку не менее, чем на десяти

независимых носителях болгарского языка).

Частотность слов русского языка выявлялась на основании Нового

частотного словаря русского языка (Ляшевская, Шаров, 2009), болгарского языка

– на основании 72-миллионного словаря (Simov et al. 2004) и баз

психолингвистических стимулов (Clark, Paivio, 2006), (Cortese, Fugett, 2004).

Объем материала

Всего было отобрано и проанализировано 3 960 слов (1 980 слов для

болгарского языка и 1 980 для русского языка). Для серий экспериментальных

исследований, отобранных по результатам претестов, было использовано 2 860

стимулов, по 1 430 слов каждого языка (из которых 150 относились к

тренировочной сессии, 1280 – к основной экспериментальной сессии).

Указанный объем представлен визуальными (записанными в графической

форме) и аудиальными (существующими в форме аудиозаписей) стимулами.

Формирование банка стимульного материала производилось в

соответствии с выдвинутой гипотезой о зависимости влияния обработки

вербальных стимулов в условиях полимодального конфликта от особенностей

формы и семантики единиц. В качестве таких параметров слова в работе

выделяются лексическое значение слов, морфологические явления

(грамматическая категория, лексико-грамматический разряд, лексико-

грамматический класс), акцентуация.

Согласно требованиям проведения психолингвистических экспериментов

для каждого стимула просчитывались следующие значения3:

• частотность слова: субъективная и объективная,

3 Подробнее о субъективной и объективной частотности см. п. 2.2.2 данной диссертационной

работы.

13

• аудиальная и визуальная (графемная) длина слова: побуквенная и

послоговая,

• субъективный показатель выраженности значения исследуемой

категории.

Данные показатели необходимо контролировать, чтобы избежать

искажения результатов исследования.

Длины групп пар слов для аудиального и визуального канала, а также

частотность их употребления не должны статистически отличаться. Это связано с

объективными причинами: высокочастотные слова или слова малой длины

воспринимаются быстрее (обработка занимает меньше времени), нежели

малочастотные или «длинные» слова. Поскольку методика проведения

эксперимента предполагает параллельное бимодальное предъявление слов

(аудиовизуальных пар), данные параметры учитывались при формировании пар.

При формировании групп стимулов для экспериментов на материале

болгарского языка использовались психолингвистические базы данных,

содержащие в себе высчитанные ранее значения данных величин (Clark, Paivio,

2006; Cortese, Fugett, 2004; Janyan, 2010). Для материала русского языка все

значения высчитывались дополнительно в ходе подготовительного этапа работы

со стимулами.

Таблицы стимулов формировались для каждого эксперимента отдельно и в

итоге составили общую психолингвистическую базу данных, организованную в

виде электронных таблиц формата .xls, которая может быть использована при

подборе материала для дальнейших экспериментальных исследований.

В таблицы для каждого стимула вносились значения прямых и

логарифмированных показателей субъективной и объективной частотности,

побуквенной и послоговой длины, длины звучания слова в миллисекундах (для

аудиальных стимулов), а также частных параметров: субъективной

одушевленности, конкретности-абстрактности, родовой и частеречной

принадлежности, акцентуации.

14

Все стимулы, представленные в аудиальной модальности, хранятся в

формате .wav, предоставляющем возможность конвертации в другие форматы.

Путь к файлам также прописан в электронных таблицах стимулов (например,

accent/gorod_532.wav), что облегчает программную работу со аудио-файлами.

Примеры таблиц стимулов представлены в Приложении 2. Полные базы

данных стимульных материалов хранятся в архиве Лаборатории когнитивных

исследований языка и открыты для ознакомления в соответствии с регламентом

работы Лаборатории.

Методы исследования

Работа выполнена на теоретико-методологической базе когнитивной

лингвистики. Метод эксперимента является ведущим в настоящем

диссертационном сочинении.

Экспериментальные исследования проводились на базе двух научно-

исследовательских лабораторий:

1. Лаборатории когнитивных исследований языка (Международный

центр исследования развития человека, НИ Томский государственный

университет, г. Томск, Россия). Исследования проводились при поддержке

Программы «Научный фонд им. Д.И. Менделеева Томского государственного

университета» в 2014—2016 гг. (приказ № 8.1.37.2015).

2. Лаборатории когнитивных исследований (Laboratory for cognitive

science) Европейского центра когнитивных исследований (Europen Center for

cognitive studies), Новый Болгарский университет, г. София, Болгария (New

Bulgarian University, Sofia, Bulgaria). Исследования в данной лаборатории

проводились благодаря средствам гранта Президента Российской Федерации для

проведения научных стажировок за рубежом аспирантами, обучающимися по

приоритетным направлениям развития и модернизации экономики Российской

Федерации (приказ Министерства образования и науки Российской Федерации №

419 от 22.04.2015)

Преимущество использования экспериментальных методов заключается в

объективации полученных результатов и делаемых на их основании выводов

15

благодаря привлечению значительного числа информантов и использованию

методов математической статистики для анализа наблюдений.

Дополнительно на этапах претеста в работе используется метод

шкалирования Лайкерта, заключающийся в выявлении субъективной

семантической оценки респондентами того или иного явления по 7-бальной

шкале.

Для выявления объема усвоенной информации в экспериментах по

восприятию целостного текста применяется вербально-коммуникативный метод

анкетирования, представляющий собой список вопросов по тексту, на которые

респондентам необходимо дать письменный краткий или развернутый ответ.

В работе также были использованы основные компоненты общенаучного

описательного метода: интерпретация и обобщение.

Таким образом, привлечение метода поведенческих экспериментов для

изучения лингвистического объекта обуславливает один из аспектов

междисциплинарности проводимого исследования.

Новизна исследования определяется выбором объекта исследования и

постановке исследовательской задачи и определяется полученными новыми

результатами. Выявленные в психологии закономерности о наличии влияния

характеристик стимула на его восприятие впервые применяются к языковому

материалу.

Впервые на материале русского языка осуществлено последовательное и

многоуровневое экспериментальное изучение особенностей восприятия

полимодального вербального кода с привлечением специализированного

программного обеспечения для проведения поведенческих экспериментов со

сбором данных времени реакции. В результате анализа данных проведенных

экспериментов доказано превалирование визуальной модальности в ситуации

аудиовизуального восприятия текстов; доказано влияние аспектов формы и

семантики слова на восприятие вербального кода в условиях модального

конфликта, выявлена зависимость указанного влияния от степени формализации

анализируемого параметра. Экспериментально подтверждено наличие различий в

16

когнитивной обработке формально маркированных и немаркированных членов

семантических оппозиций. Обнаружено влияние места установки произвольного

внимания на скорость обработки пар стимулов вербальной природы.

Впервые проведен сопоставительный анализ данных экспериментальных

исследований полимодального восприятия двух славянских языков (русского и

болгарского) и выявлено наличие общих закономерностей, а также вариации их

проявлений, определяемых частными различиями формально смысловой

структуры единиц двух языков.

Теоретическая значимость исследования определяется вкладом в

развитие лингвокогнитивных исследований, в частности, экспериментального

изучения проблем полимодального восприятия языка и речи: подтверждено

выделение визуальной модальности в качестве ведущего (доминирующего)

перцептивного канала при восприятии текстов.

Вкладом в исследование когнитивных оснований грамматики языка

являются обнаруженные в серии экспериментальных исследований эффекты

влияния степени формализации грамматической и лексико-семантической

категории и маркированности/немаркированности членов грамматических

категорий на восприятие лексических единиц в условиях модального конфликта.

Представленные в работе теоретические решения и конкретные методики

также имеют значение для активно развивающейся теории коммуникации, прежде

всего того ее раздела, который исследует особенности «естественной»

полимодальной коммуникации.

Практическая значимость исследования заключается в возможности

использования основных положений и выводов в учебном процессе, в курсах по

когнитивной лингвистике, семиотике, морфологии, экспериментальным методам

изучения языка, а также в системе преподавания русского и болгарского языков

как иностранных.

Сделанные в ходе анализа выводы могут лечь в основу методологических

рекомендаций при составлении публичных выступлений, в том числе в

педагогической практике, для достижения ситуации успешной коммуникации.

17

Междисциплинарность полученных выводов может послужить базой для

их востребованности в дисциплинах естественно-научного цикла, в частности, в

психологии: для определения степени влияния фоновой информации на принятие

решений относительно информации из поля произвольного внимания. Подобные

выводы могут быть полезны людям тех профессий, которые предполагают

одновременную актуализацию нескольких каналов восприятия.

Методологическая база используемых экспериментальных дизайнов может

быть использована для дальнейшего анализа схожих явлений или параллельного

анализа подобных явлений в материале других языков. Психолингвистические

базы стимулов, включающих визуальный и вербальный компонент, могут в

дальнейшем быть использованы при подборе экспериментального стимульного

материала.

Положения, выносимые на защиту

1. В ситуации бимодального аудиовизуального восприятия текстов

функциональная асимметрия создается за счет выделения визуального канала в

качестве доминирующего, что подтверждается боؘльшим объемом усваиваемой

информации, представленной визуальной составляющей по сравнению с

аудиальной.

2. Степень усвоения информации находится в зависимости не только от

статуса канала репрезентации (доминирующий-вспомогательный), но и от

внутренних свойств носителей информации (текста, слова).

3. Восприятие слова актуализирует комплекс перцептивных ощущений,

лежащий в основе сенсорного взаимодействия с объектами и предметами

действительности. Модальный компонент семантики слова коррелирует с

перцептивным каналом восприятия слова. Совпадение модального компонента

значения и канала перцепции слова способствует сокращению времени на

восприятие слова.

4. Различные аспекты формы и семантики слова оказывают влияние на

процесс полимодального восприятия вербальных единиц. Степень влияния

анализируемых аспектов зависит от корреляции семантики и формы: чем сильнее

18

формальная выраженность семантики, тем большее влияние она оказывает на

процесс полимодального восприятия.

5. Аспекты семантики слова, противопоставляющие группы стимулов по

лексико-семантическим группам, не оказывают влияния на восприятие слова, при

этом акцентное своеобразие формы оказывает влияние на восприятие слова.

6. Влияние аспектов корреляции семантики и формы проявляется на

уровне морфологических явлений (лексико-грамматических разрядов, лексико-

грамматических классов, грамматических категорий) и зависит от особенностей

формализации данных морфологических явлений в анализируемых языках.

7. При полном нивелировании семантического компонента в

асемантичных словах (псевдословах), построенных по принципу формальной

выраженности анализируемой семантики, наблюдается влияние аудиального

стимула на восприятие визуального.

8. Значительную роль в успешности восприятия вербальных стимулов в

условиях полимодальной перцепции играет место фиксации произвольного

внимания респондента. Время обработки слова сокращается, если внимание

сосредоточено на одной модальности. Аудиальная информация сохраняет силу

влияния на полимодальное восприятие, находясь вне фокуса произвольного

внимания («аудиальный шум»).

9. В ситуациях бимодального восприятия слова наблюдается эффект

влияния маркированности\немаркированности слов-членов формально-

семантических оппозиций на характер их когнитивной обработки, что

проявляется в ускорении когнитивной обработки немаркированных членов

оппозиций.

Апробация работы

Основные положения работы обсуждались в докладах на заседаниях

кафедры общего, славяно-русского языкознания и классической филологии

Национального исследовательского Томского государственного университета.

Результаты исследования были представлены на 20 конференциях, включая 18 –

Международного статуса, и 2 – Всероссийского международным участием.

19

Международный Зимний симпозиум по экспериментальным изучениям

языка и речи «The Night Whites Language Workshop - The St. Petersburg Winter

Symposium on Experimental Studies of Speech & Language» (г. Санкт-Петербург,

2014, 2016).

Международный симпозиум по экспериментальным изучениям языка и

речи (The International simphosium for cognitive studies of language and speech.

Nordic project) (г. Томск, 2016)..

Международная научно-практическая конференция молодых ученых

«Актуальные проблемы лингвистики и литературоведения» (г. Томск, 2014, 2015,

2016).

Международная конференция по когнитивной науке (the International

Conference on Cognitive Science) (г. Калининград, г. Светлогорск, 2014, 2016).

Ежегодная Международная научная конференция «Язык и культура» (г.

Томск, 2014, 2015, 2016).

Международная научная конференция молодых ученых «На границе языка:

Междисциплинарные экспериментальные исследования» (г. Томск, 2015).

Всероссийская с международным участием научная конференция

«Славянские языки в условиях современных вызовов» (г. Томск, 2015, 2016).

Международная конференция «Experimental Psycholinguistics Conference

(ERP)» (г. Мадрид, Испания, 2014).

Международная конференция по международному образованию и

межкультурной коммуникации. Проблемы и решения (International Conference for

International Education and Cross-cultural Communication. Problems and Solutions)

(IECC-2015) (г. Томск, 2015).

Международная научная конференция «Экспериментальные изучения языка

и речи. Традиции и инновации» (г. Томск, 2015).

Международный конгресс по когнитивной лингвистике (г. Санкт-

Петербург, 2015).

20

Международный симпозиум по когнитивной лингвистике и прагматике

(International Workshop on cognitive linguistics and pragmatics (TOWOCOLP)) (г.

Томск, 2015).

Восьмая международная конференция «Язык, дискурс и когниция» (The

8th International Conference on Language, Discourse and Cognition (CLDC 2016)) (г.

Тайпэй, Тайвань, 2016).

Оценка достоверности результатов исследования обеспечивается

использованием фундаментальных работ по когнитивной лингвистике,

морфологии, семантике. Источниками для языкового материала послужили

академические словари, апробированные психолингвистические базы стимулов,

частотные словари, составленные на основе данных корпусов национальных

языков. Достоверность полученных результатов анализа экспериментального

материала обеспечивается использованием методов математической статистики.

Основное содержание работы отражено в 13 публикациях, из них 6

статей в журналах, включенных в Перечень российских рецензируемых научных

журналов, в которых должны быть опубликованы основные научные результаты

диссертаций на соискание ученой степени кандидата наук, на соискание ученой

степени доктора наук (из которых 2 в журналах, входящих в базы цитирований

Scopus/Web of Science);

Личный вклад соискателя состоит в выборе темы исследования,

постановке целей и задач, сборе, обработке и систематизации материалов,

разработке методик проводимых экспериментальных исследований,

формулировании выводов и положений, выносимых на защиту, апробации

результатов исследования на конференциях и семинарах, подготовке публикаций

по итогам выполненной работы.

Структура работы. Диссертация (общий объем – 240 страниц, объем

страниц основного текста – 201) состоит из введения, двух глав, заключения,

библиографии, включающей 255 наименования, и трех приложений.

Во введении обосновывается актуальность работы, определяются объект и

предмет исследования, выдвигается гипотеза и формулируется цель работы,

21

определяются задачи и методы исследования, его материалы и источники,

теоретическая и практическая значимость, структура работы и положения,

выносимые на защиту.

В первой главе обсуждаются вопросы своеобразия полимодального

восприятия, а также основные теоретические положения проведения

психолингвистических экспериментов. Вторая глава посвящена описанию

методики проведения и полученных результатов поведенческих экспериментов.

В приложениях представлен стимульный материал (тексты и таблицы

стимулов), а также документация по экспериментам.

В заключении излагаются основные выводы, подводятся итоги работы.

Основные положения диссертационного исследования отражены в

следующих публикациях:

Статьи в журналах, включенных в Перечень рецензируемых научных

изданий, в которых должны быть опубликованы основные научные результаты

диссертаций на соискание ученой степени кандидата наук, на соискание ученой

степени доктора наук:

1. Некрасова, Е.Д. К вопросу о восприятии полимодальных текстов /

Е.Д. Некрасова // Вестник Томского государственного университета. – 2014. – №

378. – C. 45–48. – 0,25 п.л.

2. Некрасова, Е.Д. Влияние межмодального конфликта на восприятие

вербальных стимулов / Е.Д. Некрасова // Вестник Томского государственного

университета. – 2015. – № 392. – C. 21–26. – 0,38 п.л.

3. Некрасова, Е.Д. Взаимозависимость модальной семантики слова и

перцептивного канала предъявления информации / Е.Д. Некрасова // Вестник

Томского государственного университета. – 2016. – № 402. – С. 10–17. – 0,44 п.л.

4. Nekrasova, E.D. Experimental Study of Multimodal Perception of Verbal

Stimuli in the Study of a Foreign Language / E.D. Nekrasova // Procedia - Social and

Behavioral Sciences. – 2015. – Vol. 215. – Pp.196 – 201. – 0,38 п.л.

22

5. Rezanova, Z.I. Nekrasova, E.D. The influence of grammatical gender on

the bimodal perception of Bulgarian nouns / Z.I. Rezanova, E.D. Nekrasova // Rusin –

2015. – Vol. 41, Issue 3. – Pp. 241–255 – 0,47/0,24 п.л.

6. Некрасова, Е.Д. Тип информации в полимодальном восприятии / Е.Д.

Некрасова // Когнитивные исследования языка. – 2015. – № 22. – С. 594–597. –

0,25 п.л.

Статьи в других научных изданиях:

7. Nekrasova, E. D. Sensory interaction during perception of verbal signs

(experimental study) / E.D. Nekrasova // Language and Culture. – 2014. – №4. – Pp.

36–41. – 0,38 п.л.

8. Некрасова, Е.Д. Полимодальные тексты: проблема поликодовости

(Multimodal texts: the problem of the polycode) / Е.Д. Некрасова // I (XV)

Международная конференция молодых ученых : сборник материалов. Томск, 3–5

апреля 2014 г. — Томск, 2014. – Вып. 15, т. 1: Лингвистика. – С. 27–32. – 0,19 п.л.

9. Некрасова, Е.Д. Категория одушевленности в сознании носителей

русского языка (экспериментальное исследование) / Е.Д. Некрасова // II (XVI)

Международная конференция молодых ученых : сборник материалов. Томск, (9–

11 апреля 2015 г. — Томск, 2015. – Вып. 16, т. 1: Лингвистика. – С. 113–119. –

0,25 п.л.

10. Некрасова, Е.Д. Полимодальное восприятие вербальных стимулов в

условиях конфликта модальностей (экспериментальное исследование) / Е.Д.

Некрасова // Шестая международная конференция по когнитивной науке :

сборник докладов. Калининград, 23–27 июня 2014 г. – Калининград, 2014. – С.

441–443. – 0,1 п.л.

11. Nekrasova, E.D. The role of semantic component in the multimodal

perception of verbal stimuli (experimental study) / E.D. Nekrasova // The Second St.

Petersburg Winter Symposium on Experimental Studies of Speech & Language : the

book of abstracts. – СПб, 2014. – С. 14. – 0,06 п.л.

12. Nekrasova, E.D. The word in itself: What else affects multimodal

perception of verbal stimuli? / E.D. Nekrasova // The Third St. Petersburg Winter

23

Symposium on Experimental Studies of Speech & Language : the book of abstracts. –

СПб: СПбГУ, 2015. – Pp. 51. – 0,07 п.л.

13. Некрасова, Е.Д. Полимодальность: влияние сенсомоторного опыта на

восприятие слов / Е.Д. Некрасова // Седьмая международная конференция по

когнитивной науке: тезисы докладов. Светлогорск, 20–24 июня 2016 г. – Москва,

2016. – С. 442-443. – 0,13 п.л.

24

Глава 1.

Аспекты и методы исследования явления полимодальности в

гуманитарных науках

В современной лингвистической терминологии представлено три термина

«модальность», находящихся в отношении омонимии, не имеющих общих

нетривиальных семантических компонентов. Все три термина имеют истоки в

разных лингвистических традициях, которые, в свою очередь, заимствовали

данные термины из смежных областей гуманитарного знания (логика, семиотика,

психология), и в настоящее время используются в различных частных

лингвистических направлениях для обозначения разных феноменов.

Первый термин используется в практике собственно лингвистического

грамматического описания и заимствован из формальной логики, где и в

настоящее время функционирует как многозначный термин, означающий область

пересекающихся значений, связанных с идеей категориальной

глагольной/предикативной семантики (Т.П. Архипович, А.В. Бондарко, В.Н.

Бондаренко, П.Я. Гальперин, З.А. Гетьман, Л.Г. Паранук, А.В. Киселева, В.Н.

Мещеряков, В.З. Панфилов, И. Пете, Н.Е. Петров, А.М. Пешковский, F.R. Palmer,

M. Halliday и др.).

Второй термин «модальность» заимствован из семиотики, называет тип

кода, используемый в тексте для передачи информации. На основе данного

термина порождается термин «полимодальность», синонимичный термину

«поликодовость». Термин в этом значении используется в гуманитарных

междисциплиинарных исследованиях комммуникации, текстологии, объектом

которых является текст в широком истолковании термина (Е.Е. Анисимова, А.А.

Бернацкая, Л.С. Большиянова, Н.С. Валгина, Г.В. Ейгер, А.Ю. Зенкова, О.Л.

Каменская, В.М. Клюканов, Н.В. Месхешвили, О.В. Пойманова, Ю.А. Сорокин,

А.Г. Сонин, Е.Ф. Тарасов, В.Л. Юхт, G. Kress и др.).

25

Третий термин «модальность» заимствован из психологии и используется

для обозначения сенсорных каналов восприятия информации. Термин широко

используется в психолингвистике и когнитивной лингвистике (Б.Г. Ананьев, О. В.

Абдуллина, Е. Ю. Артемьева, М. В. Анисимова, Н. А. Баева, Л. М. Веккер, А.

Вежбицкая, А.В. Запорожец, С. В. Кравков, В. А. Лабунская, Б.Ф. Ломов, А.Р.

Лурия, С.П. Рубинштейн и др.)

Далее охарактеризуем указанные термины.

1.1 Термин «модальность» в логических и лингвистических грамматических исследованиях

Заимствовав понятие модальности из формальной логики4, лингвистика

наделила его специфическим содержанием.

Наиболее широко данное понятие модальности разработано в западной и

российской лингвистической традиции как развитие теории Ш. Балли,

противопоставлявшего диктумное (основное событийное, пропозициональное) и

модусное содержание высказывания (Балли, 1955). В этой концепции

модальность интерпретируется как индивидуально-авторская оценка

событийного контекста высказывания, а также эмоциональное, волевое или

интеллектуальное суждение относительно диктумного содержания (Зайнуллин,

1986). Наиболее узкое толкование термина «модальность» предполагает понимание модальности как синонима-дублета термина «наклонение»,

обозначающего одну из грамматических категорий глагола. Развитием этого

направления является истолкование модальности как функционально-

4 В формальной логике понятие модальности используется для обозначения дополнительной

оценочной информации о логическом статусе суждения, логической связи между явлениями, о временных, руглятивных и других характеристиках и имеющую определенные эксплицитные или имплицитные модальные операторы, например, необходимо, доказано, запрещено, возможно и т.п. Выделяют следующие виды модальностей: алетическая (иформация о фактической обоснованности суждения: верно, неверно и т.п.), эпистемическая (обоснование и степень его достоверности: доказуемо, недоказуемо, достоверно, неразрешимо), деонтическая (информация, побуждающая к определенным действиям/запрещающая их), аксиологическая (модальность оценки: хорошо, плохо) и временная (ФЭС, 2006).

26

семантической категории, наиболее полно рассмотренной в работах В.В.

Виноградова. По его мнению, «…целостное выражение мысли, чувства,

побуждения, отражая действительность в той или иной форме высказывания,

облекается в одну из существующих в данной системе языка интонационных

схем предложения и выражает одно из тех синтаксических значений, которые в

свой совокупности образуют категорию модальности» (Виноградов, 1975: 55).

Наравне с временем и лицом, модальность он включал в число функционально-

операционных вспомогательных инструментов категории предикативности

(Русская грамматика, 1960).

В дальнейшем различные исследователи по-разному трактуют ширину

семантического наполнения термина (см., например, Т.П. Архипович, А.В.

Бондарко, В.Н. Бондаренко, П.Я. Гальперин, З.А. Гетьман, Л.Г. Паранук, А.В.

Киселева, В.Н. Мещеряков, В.З. Панфилов, И. Пете, Н.Е. Петров, А.М.

Пешковский, F.R. Palmer, M. Halliday и др.)

В указанной лингвистической интерпретации термин «модальность»

понимается как «функционально-семантическая категория, выражающая разные

виды отношения высказывания к действительности, а также разные виды

субъективной квалификации сообщаемого» (ЛЭС, 1990). В рамках

диссертационной работы мы не актуализируем данное значение термина, поэтому

обратимся к пониманию термина «модальность» в линвокогнитивных

исследованиях.

1.2 Термин «модальность» и смежные термины в лингвокогнитивных исследованиях

В лингвокогнитивных исследованиях термин «модальность» приобретает

коммуникативно и семиотически обусловленное значение и определяется как

один из кодов информации, включенный в понятие гибридизированного текста.

27

1.2.1 «Модальность» как семиотическая характеристика текста

Термин «Модус (mode)» в европейской традиции социальной

коммуникативной лингвистики трактуется как «один из каналов предъявления

информации» (Kress, 2010; Jewitt, 2009). При этом термин «канал» не является

обозначением лишь физиологически обусловленных явлений, имеющих что-то

общее с перцептивными каналами человека. Г. Кресс очень широко очерчивает

круг изучаемых объектов, вписывая их в число полимодальных явлений:

«взаимодействие между…вербальным текстом и изображениями, видео- и

звуковой ряд фильма, речь и жесты,…размер и цвет написанного текста», –

подчеркивая, что «определение понятия модуса – это предмет дальнейших

исследований» (пер. наш – Е.Н.). (Kress, 2009)5. Исследователи используют

«модус» и «модальность» в качестве синонимичных терминов для обозначения

одного явления.

Таким образом, «модальность» выступает как явление социального

семиозиса, а право «на�