Классификация эмоций человека при невербальной коммуникации на основе машинного обучения

Илья Сергеевич Косачев,Ольга Николаевна Сметанина

ПРЕПРИНТ

Эта статья является препринтом и не была отрецензирована.
О результатах, изложенных в препринтах, не следует сообщать в СМИ как о проверенной информации.

Классификация эмоций человека при невербальной коммуникации на основе машинного обучения

И. С. Косачев,

О. Н. Сметанина

2022-07-11

https://doi.org/10.24108/preprints-3112443

Данная статья посвящена решению задачи классификации эмоций человека при невербальной коммуникации на основе машинного обучения. В статье отражено современное состояние проблемы в области классификации эмоций человека, приведены постановка задачи и результаты экспериментальных исследований по поиску наиболее качественной модели, позволяющей проводить классификацию эмоций. Полученная модель имеет архитектуру, состоящую из двух рекуррентных подсетей с механизмом внимания, выходы которых объединяются и подаются на полносвязный слой классификации. В результате полученная модель на валидационном наборе данных имеет 0.77 accuracy. Разработка модели велась на языке python с использованием фреймворков tensorflow и keras. Для извлечения изображения лица использовалась модель BlazeFace из фреймворка MediaPipe.

Ссылка для цитирования:

Косачев И. С., Сметанина О. Н. 2022. Классификация эмоций человека при невербальной коммуникации на основе машинного обучения. PREPRINTS.RU. https://doi.org/10.24108/preprints-3112443

Список литературы

1. Gartner: официальный сайт. Сьюзен Мур. Surprising Uses For Emotion AI Technology. (2018). -URL: https://www.gartner.com/smarterwithgartner/13-surprising-uses-for-emotion-ai-technology (дата обращения:11.07.2022).

2. Kaiming He. Deep Residual Learning for Image Recognition / He Kaiming, Zhang Xiangyu, Ren Shaoqing, Sun Jian // IEEE Conference on Computer Vision and Pattern Recognition. - 2016. - c. 770-778 -URL: https://www.researchgate.net/publication/311609041_Deep_Residual_Learning_for_Image_Recognition (дата обращения:11.07.2022).

3. Тимофеева О.П. Распознавание эмоций по изображению лица на основе глубоких нейронных сетей/О.П.Тимофеева, С.А. Неимущев, Л.И. Неимущева, И.А. Тихонов// Труды НГТУ им. Р.Е. Алексеева. - Нижний Новгород, 2020. - №1(128). - c. 16-24. -URL:https://cyberleninka.ru/article/n/raspoznavanie-emotsiy-po-izobrazheniyu-litsa-na-osnove-glubokih-neyronnyh-setey (дата обращения:11.07.2022).

4. Youngsung Kim. Deep generative-contrastive networks for facial expression recognition / KimYoungsung, Yoo Byungin, Kwak Youngjun, Choi Changkyu, Kim Junmo // arXiv - 2017. -URL:https://www.researchgate.net/publication/315489558_Deep_generative-contrastive_networks_for_facial_expression_recognition (дата обращения:11.07.2022).

5. Dong Liu. Multi-Modal Fusion Emotion Recognition Method of Speech Expression Based on Deep Learning / LiuDong, Wang Zhiyong, Wang Lifeng, Chen Longxi // Frontiers in Neurorobotics. - 2021.- Т.15.-URL:https://www.researchgate.net/publication/353146231_Multi-Modal_Fusion_Emotion_Recognition_Method_of_Speech_Expression_Based_on_Deep_Learning (дата обращения:11.07.2022).

6. Luong Minh-Thang. Effective Approaches to Attention-based Neural Machine Translation / Minh-ThangLuong, HieuPham, ChristopherManning // arXiv - 2015.-URL:https://www.researchgate.net/publication/281145060_Effective_Approaches_to_Attention-based_Neural_Machine_Translation (дата обращения:11.07.2022).

7. LeCun Y. Backpropagation Applied to Handwritten Zip Code Recognition / Y. LeCun, B. Boser, J.S. Denker, D. Henderson, R.E. Howard, W. Hubbard, L.D. Jackel // Neural Computation. - 1989. - Т.1, №4. - с. 541-551. -URL:https://ieeexplore.ieee.org/document/6795724 (дата обращения:11.07.2022).

8. Hochreiter Sepp. Long Short-Term Memory / SeppHochreiter, JürgenSchmidhuber // Neural computatizon. - 1997. -Т.9, №8. - с. 1735-1780 --URL:https://ieeexplore.ieee.org/document/6795963 (дата обращения:11.07.2022).

9. Simonyan Karen. Very Deep Convolutional Networks for Large-Scale Image Recognition / KarenSimonyan, AndrewZisserman // arXiv -2014. -URL:https://www.researchgate.net/publication/265385906_Very_Deep_Convolutional_Networks_for_Large-Scale_Image_Recognition (дата обращения:11.07.2022).

10. Алан Пиз, Барбара Пиз. Новый язык телодвижений. Расширенная версия. -М.: Эксмо, 2016 г. - 416 с. (дата обращения:11.07.2022).

11. Livingstone Steven. The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS): A dynamic, multimodal set of facial and vocal expressions in North American English / Steven Livingstone , Frank Russo // PLoS ONE - 2018 -Т.13, № 5.-URL:https://doi.org/10.1371/journal.pone.0196391 (дата обращения:11.07.2022).

12. Станишевская Ж. Вербальная коммуникация как объект исследования в процессе психотерапии //Studia Humanitatis. - 2016. - №2.-URL:https://cyberleninka.ru/article/n/verbalnaya-kommunikatsiya-kak-obekt-issledovaniya-v-protsesse-psihoterapii (дата обращения:11.07.2022).

13. Мартынова Е.М. Невербальная коммуникация: теории и мнения // Вестник ЮУрГГПУ. - 2014. - №8. - с. 227-233. -URL:https://cyberleninka.ru/article/n/neverbalnaya-kommunikatsiya-teorii-i-mneniya (дата обращения:11.07.2022).

ПРЕПРИНТ

ИНФОРМАЦИЯ