СПОСОБ АВТОМАТИЗИРОВАННОЙ СЕГМЕНТАЦИИ РЕЧЕВЫХ СИГНАЛОВ ДЛЯ ОПРЕДЕЛЕНИЯ ВРЕМЕННЫХ
ПАТТЕРНОВ ЕСТЕСТВЕННО ВЫРАЖЕННЫХ ПСИХОЭМОЦИОНАЛЬНЫХ СОСТОЯНИЙ 

Алимурадов Алан Казанферович, кандидат технических наук, директор студенческого научно-производственного бизнес-инкубатора, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40), E-mail: alansapfir@yandex.ru
Тычков Александр Юрьевич, кандидат технических наук, заместитель директора научно-исследовательского института фундаментальных и прикладных исследований, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40), E-mail: tychkov-a@mail.ru
Чураков Петр Павлович, доктор технических наук, профессор, кафедра информационно-измерительной техники и метрологии, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40), E-mail: churakov-pp@mail.ru 

004.934 

DOI

10.21685/2307-5538-2019-3-6 

Актуальность и цели. Оценка психоэмоционального состояния человека в отраслях профессиональной деятельности, сопряженных с повышенным риском возникновения техногенных и биогенных аварий, является важной социально значимой проблемой для государства. Целью исследования является разработка способа автоматизированной сегментации речевых сигналов для повышения эффективности определения временных паттернов речи, релевантных естественно выраженным психоэмоциональным состояниям человека.
Материалы и методы. В разработке способа использовались: уникальная технология адаптивной декомпозиции нестационарных сигналов – улучшенная полная множественная декомпозиция на эмпирические моды с адаптивным шумом, а также правило разграничения на основе физиологического аспекта формирования речи. Программная реализация способа была выполнена в среде математического моделирования © Matlab (MathWorks).
Результаты. Разработан способ автоматизированной сегментации речевых сигналов на вокализованные, невокализованные участки и участки пауз для определения временных паттернов речи, отражающих естественно выраженные психоэмоциональные состояния человека. Проведено исследование способа с использованием базы речевых сигналов, зарегистрированных с группы людей, переживаемых естественные положительные и отрицательные эмоции.
Выводы. Результаты исследования выявили, что в условиях нестабильности моторики речевого аппарата разработанный способ сегментации позволяет точнее определять границы вокализованных, невокализованных участков и участков пауз, тем самым повышая эффективность вычисления временных паттернов речи и определения психоэмоциональных состояний человека. 

Ключевые слова

обработка речевых сигналов, автоматизация процесса обработки, сегментация, адаптивная декомпозиция, временные паттерны речи, естественно выраженные психоэмоциональные состояния 

 Скачать статью в формате PDF

1. Schuller, B. W. Computational Paralinguistics: Emotion, Affect and Personality in Speech and Language Processing / B. W. Schuller, A. M. Batliner. – New York : Wiley, 2013. – 344 p.
2. Trigeorgis, G. Adieu features? End-to-end speech emotion recognition using a deep convolutional recurrent network / G. Trigeorgis, F. Ringeval, R. Brueckner, E. Marchi, M.A. Nicolaou, B. Schuller, S. Zafeiriou // IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (Shanghai, China, 20–25 March 2016). – Shanghai, China : IEEE, 2016. – P. 5200–5204.
3. Huang, X. Spoken Language Processing. Guide to Algorithms and System Developmen / X. Huang, A. Acero, H.-W. Hon // Prentice Hall. – New Jersey, 2001. – 980 p.
4. Фант, Г. К. Акустическая теория речеобразования / Г. К. Фант ; пер. с англ. Л. А. Варшавского и В. И. Медведева ; науч. ред. В. С. Григорьева. – Москва : Наука, 1964. – 284 с.
5. Whitehead, R. L. Temporal characteristics of speech produced by inexperienced signers during simultaneous communication / R. L.Whitehead, N. Schiavetti, D. E. Metz, T. Farrell // Journal of Communication Disorders. – 1999. – Vol. 32, № 2. – P. 79–95.
6. Bóna, J. Temporal characteristics of speech: The effect of age and speech style / J. Bóna // The Journal of the Acoustical Society of America. – 2014. – Vol. 136, № 2. – P. 116–121.
7. Bakaev, A. V. Spectral and temporal characteristics of vocal speech in the emotional aspec / A. V. Bakaev // Almanac of Modern Science and Education. – 2014. – Vol. 4, № 83. – P. 28–32.
8. Алимурадов, А. К. Способ сегментации речевого сигнала для систем оценки психогенных состояний / А. К. Алимурадов, А. Ю. Тычков, П. П. Чураков, С. И. Торгашин // Известия высших учебных заведений. Поволжский регион. Технические науки. – 2017. – № 3 (47). – С. 81–93.
9. Алимурадов, А. К. Повышение точности измерения частоты основного тона на основе оптимизации процесса декомпозиции речевых сигналов на эмпирические моды / А. К. Алимурадов, Ю. С. Квитка, П. П. Чураков, А. Ю. Тычков // Измерение. Мониторинг. Управление. Контроль. – 2018. – № 4 (26). – С. 53–65.
10. Huang, N. E. The empirical mode decomposition and the Hilbert spectrum for nonlinear and nonstationary time series analysis / N. E. Huang, Sh. Zheng, R. L. Steven // Proceedings of the Royal Society of London. – 1998. – Vol. A454. – P. 903–995.
11. Colominasa, M. A. Improved complete ensemble EMD: A suitable tool for biomedicalsignal processing / M. A. Colominasa, G. Schlotthauera, M. E. Torres // Biomedical Signal Processing and Control. – 2014. – Vol. 14. – P. 19–29.
12. Zhaohua, Wu. Ensemble empirical mode decomposition: A noise – assisted data analysis method / Wu Zhaohua, N. E. Huang // Advances in Adaptive Data Analysis. – 2009. – Vol. 1, № 1. – P. 1–41.
13. Yeh, J.-R. Complementary ensemble empirical mode decomposition: A novel noise enhanced data analysis method / J.-R. Yeh, J.-S. Shieh, N. E. Huang // Advances in Adaptive Data Analysis. – 2010. – Vol. 2, № 2. – P. 135–156.
14. Torres, M. E. A complete Ensemble Empirical Mode decomposition with adaptive noise / M. E. Torres, M. A. Colominas, G. Schlotthauer, P. Flandrin // IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (Prague, Czech Republic, 22–27 May 2011). – Prague, Czech Republic : IEEE, 2011. – P. 4144–4147.
15. Automated analysis of connected speech reveals early biomarkers of Parkinson’s disease in patients with rapid eye movement sleep behaviour disorder / J. Hlavnička, R. Čmejla, T. Tykalová, K. Šonka, E. Růžička, J. Rusz // Scientific Reports. – 2017. – Vol. 7, № 12. – 13 p.
16. Alimuradov, A. K. Automation of empirical mode decomposition to increase efficiency of speech signal processing / A. K. Alimuradov, A. Yu. Tychkov, Yu. S. Kvitka // International Russian Automation Conference (RusAutoCon) (Sochi, Russia, 9–16 Sept. 2018). – Sochi, Russia : IEEE, 2018. – 6 p.
17. Bachu, R. G. Separation of Voiced and Unvoiced Using Zero Crossing Rate and Energy of the Speech Signal / R. G. Bachu, S. Kopparthi, B. Adapa, B. D. Barkana // American Society for Engineering Education (ASEE) Zone Conference Proceedings (Pittsburgh, USA, 22–25 June 2008). – Pittsburgh, USA, 2008. – P. 1–7.
18. Moattar, M. H. A simple but efficient real-time voice activity detection algorithm / M. H. Moattar, M. M. Homayounpour // 17th European Signal Processing Conference (EUSIPCO 2009) (Glasgow, Scotland, August 24–28 2009). – Glasgow, Scotland : Eusipco, 2009. – P. 2549–2553.
19. Saha, G. A New Silence Removal and Endpoint Detection Algorithm for Speech and Speaker Recognition Applications / G. Saha, Ch. Sandipan, S. Suman // The National Conference on Communications (28–30 January 2005). – New Delhi : Allied Publishers, 2005. – 5 p.