Изображение в поликодовых текстах: влияет ли семантическая связанность с другими компонентами на параметры зрительного восприятия? - PREPRINTS.RU

ПРЕПРИНТ

Эта статья является препринтом и не была отрецензирована.
О результатах, изложенных в препринтах, не следует сообщать в СМИ как о проверенной информации.

Изображение в поликодовых текстах: влияет ли семантическая связанность с другими компонентами на параметры зрительного восприятия?

А. Н. Пучкова,

А. В. Горбачева,

А. А. БерлинХенис

2022-01-31

https://doi.org/10.24108/preprints-3112376

В настоящей статье приводятся описание и результаты пилотного экспериментального исследования восприятия и понимания цифровых поликодовых текстов методами айтрекинга и лингвистического анализа. Цель исследования - проверка гипотезы о соответствии распределения зрительного внимания при восприятии изображения в поликодовых текстах степени смысловой взаимосвязанности изображения с другими частями стимула. В качестве стимульного материала использовались отобранные из реальной экспертной практики поликодовые тексты формата «статическое изображение + письменное высказывание». Исследовались данные 84 респондентов различной степени информированности об экстремистском дискурсе. В первой части эксперимента респонденты просматривали и интерпретировали содержание поликодового сообщения, в то же время регистрировались их движения глаз; во второй части респонденты просматривали, размечали и комментировали те же стимулы, при этом перед ними стояла задача найти и объяснить смысловые соответствия (взаимосвязи) частей изображения и высказывания. Анализу подлежали относительное время просмотра зоны интереса, количество просмотров зоны, среднее количество связей зоны интереса, приведенное к среднему рангу связанности зоны с другими компонентами. Не обнаружено значимых различий в зависимости от степени информированности респондентов ни в среднем количестве связей зон, ни в распределении рангов. Обнаружено, что наибольшее количество просмотров имеют зоны, содержащие изображение лиц. При проведении однофакторного дисперсионного анализа значимое влияние фактор “ранг связанности” оказал на количество просмотров зон во всех текстах (p<0,05), при этом корреляция этих факторов была как прямой, так и обратной. По результатам исследования мы можем говорить об отсутствии универсальной связи таких параметров рассматривания изобразительных компонентов поликодового текста, как нормированное на площадь относительное время просмотра и количество просмотров и количество связей компонента изображения с другими частями поликодового текста. Предположительно, эффективность поиска значений, обеспечивающих связность компонентов поликодового текста, не зависит от количества времени и движений глаз, нужных для визуального восприятия, достаточного для понимания текста.

Ссылка для цитирования:

Пучкова А. Н., Горбачева А. В., БерлинХенис А. А. 2022. Изображение в поликодовых текстах: влияет ли семантическая связанность с другими компонентами на параметры зрительного восприятия? PREPRINTS.RU. https://doi.org/10.24108/preprints-3112376

Список литературы

1. Горбачева, А. В., Берлин Хенис А. А., Пучкова, А. Н., Осадчий, М. А. (2021). Сложность восприятия демотиваторов и мемов: экспериментальное исследование. Вестник Волгоградского государственного университета. Серия 2: Языкознание, 20(2), 74-86. DOI: 10.15688/jvolsu2.2021.2.7

2. Gorbacheva A. V., Nesterova T. N., Osadchiy M. A. (2020). On Forensic Linguists and Non-Experts Interpretation of Multimodal Texts. Vestnik Volgogradskogo gosudarstvennogo universiteta. Seriya 2. Yazykoznanie [Science Journal of Volgograd State University. Linguistics]. 19(1):102–114. (in Russian). DOI: https://doi.org/10.15688/jvolsu2.2020.1.9

3. Boeriis, M., & Holsanova, J. (2012). Tracking visual segmentation: Connecting semiotic and cognitive perspectives. Visual Communication, 11(3):259-281. DOI: 10.1177/1470357212446408.

4. Tseng, C.-I., Laubrock, J., & Bateman, J. A. (2021). The impact of multimodal cohesion on attention and interpretation in film. Discourse, Context & Media, 44: 100544. https://doi.org/10.1016/j.dcm.2021.100544

5. Hebb, D.O. (1949). The Organization of Behavior. New York: Wiley & Sons.

6. Frischen, A., Bayliss, A. P., & Tipper, S. P. (2007). Gaze Cueing of Attention: Visual Attention, Social Cognition, and Individual Differences. Psychological Bulletin, 133(4), 694. https://doi.org/10.1037/0033-2909.133.4.694

7. Holsanova, J. (2012). New methods for studying visual communication and multimodal integration. Visual Communication, 11(3): 251 –257. DOI 10.1177/1470412912446558

8. Holsanova, J. (2014). Reception of multimodality: Applying eye tracking methodology in multimodal research. Routledge handbook of multimodal analysis, 285-296.

9. Holsanova, J., Rahm, H., & Holmqvist, K. (2006). Entry points and reading paths on newspaper spreads: comparing a semiotic analysis with eye-tracking measurements. Visual communication, 5(1), 65-93. DOI: 10.1177/1470357206061005

10. Itti, L., & Koch, C. (2001). Computational modelling of visual attention. Nature reviews neuroscience, 2(3), 194-203. DOI: 10.1038/35058500

11. Kappas, A., & Olk, B. (2008). The concept of visual competence as seen from the perspective of the psychological and brain sciences. Visual Studies, 23(2), 162-173.

12. Kintsch W., van Dijk T. A. (1978). Toward a model of text comprehension and production // Psychological Review. Vol. 85. Pp. 363–394.

13. Müller, M. G., Kappas, A., & Olk, B. (2012). Perceiving press photography: a new integrative model, combining iconology with psychophysiological and eye-tracking methods. Visual Communication, 11(3), 307-328.

14. Soleh, M. B., Anisa, Y. H., Absor, N. F., Suswandari, & Edison, R. E. (2021). Differences of Visual Attention to Memes: An Eye Tracking Study. Proceedings of the 1st Annual International Conference on Natural and Social Science Education (ICNSSE 2020), 547(Icnsse 2020), 146–150. DOI: 10.2991/assehr.k.210430.022

15. Verhoeven L., Perfetti Ch. (2008). Advances in text comprehension: model, process and development, 22(3), 293–301. doi:10.1002/acp.1417

16. Wiggins, B. E., & Bowers, G. B. (2015). Memes as genre: A structurational analysis of the memescape. New Media and Society, 17(11), 1886–1906. DOI: 10.1177/1461444814535194.

ИНФОРМАЦИЯ

о препринте

Версия

Версия 4 от 31.01.2022 (актуальная)
Все версии препринта

Авторы

А. Н. Пучкова
Государственный институт русского языка им. А.С. Пушкина; Институт высшей нервной деятельности и нейрофизиологии РАН (ИВНД и НФ РАН)
А. В. Горбачева
Государственный институт русского языка им. А.С. Пушкина
А. А. БерлинХенис
Государственный институт русского языка им. А.С. Пушкина; Сириус

Рубрика

Гуманитарные науки

Ключевые слова

поликодовый текст
креолизованный текст
айтрекинг
внимание
интерпретация
семантическая обработка информации
когезия
время рассматривания
переходы

Просмотры

Метаданные: 346
Полный текст: 239

Файлы