Journal of Arak University of Medical Sciences

fa شناسایی احساسات چند حالته انسانی توسط هوش مصنوعی و کاربرد آن در روانشناسی MultiModal Emotional Recognition by Artificial Intelligence and its Application in Psychology روانپزشکی psychology پژوهشي اصیل Original Atricle مقدمه: امروزه استفاده از هوش مصنوعی و یادگیری ماشین در تمام علوم، تأثیر گذاشته است. استفاده از آن برای شناسایی احساسات افراد با ادغام داده‌های صوت و متن و تصویر دقت بالاتری را نسبت به سایر روش‌ها نشان می‌دهد و این تشخیص کاربردهای زیادی برای روانشناسان و تعامل ماشین و انسان خواهد داشت. شناسایی احساسات انسان و واکنش افراد یکی از نکات مهم در روانشناسی و روان‌درمانی می‌باشد. شناسایی احساسات تاکنون بصورت فردی و بوسیله بررسی واکنش چهره، نوع سخن گفتن و یا دست‌نوشته‌های اشخاص به محرک‌های و رویدادها شناسایی، بررسی و تجزیه و تحلیل می‌شود. با توجه به شرایط فرد آنالیز شونده و یا شرایط فرد آنالیز‌کننده ممکن است از دقت لازم برخوردار نباشد. این مقاله سعی دارد با توجه به روش‌های هوش مصنوعی و یادگیری ماشین بتواند با دقت بالایی این تشخیص را از داده‌های صوت و متن و تصویر استخراج نماید روش کار: این پژوهش از حیث روش از نوع همبستگی بین احساسات و داده‌های ورودی و بر اساس روش‌های یادگیری ماشین و تحلیل رگرسیون برای پیش‌بینی یک متغیر ملاک بر اساس چند متغیر پیش‌بین می‌باشد (متغیر ملاک طبقه احساسی ویژگی‌ها و متغیرهای پیش‌بین صوت و تصویر و متن می‌باشند) جامعه آماری پژوهش مجموعه دادگان IEMOCAP و از حیث نوع داده این پژوهش، آمیخته کمی- کیفی می‌باشد. یافته‌ها: نتایج به‌دست‌آمده نشان داد ترکیب اطلاعات صوت و تصویر و متن برای تشخیص احساسات چند حالته انسانی نسبت به تشخیص احساسات از هرکدام از داده‌ها بصورت تنها از دقت بسیار بالاتری برخوردار است.دقت این پژوهش عدد 9/82 را در مجموعه دادگان مبنا نشان می‌دهد. نتیجه گیری: نتایج حاکی از دقت قابل قبول نسبت به تشخیص ادغام داده‌های صوت و متن و تصویر نسبت به هر داده بصورت منفرد در تشخیص احساسات انسانی توسط روش یادگیری ماشین و هوش مصنوعی می‌باشد. Introduction: Nowadays, the use of artificial intelligence and machine learning has impacted all fields of study. Utilizing these methods for identifying individuals' emotions through integrating audio, text, and image data has shown higher accuracy than conventional methods, presenting various applications for psychologists and human-machine interaction. Identifying human emotions and individuals' reactions is crucial in psychology and psychotherapy. Emotional identification has traditionally been conducted individually and by analyzing facial expressions, speech patterns, or handwritten responses to stimuli and events. However, depending on the subject's conditions or the analyst's circumstances, this approach may lack the required accuracy. This paper aimed to achieve high-precision emotional recognition from audio, text, and image data using artificial intelligence and machine learning methods. Methods: This research employs a correlation-based approach between emotions and input data, utilizing machine learning methods and regression analysis to predict a criterion variable based on multiple predictor variables (the emotional category as the criterion variable and the features, audio, image, and text variables as predictors). The statistical population of this study is the IEMOCAP dataset, and the data type of this research is a mixed quantitative-qualitative approach. Results: The results indicated that combining audio, image, and text data for multi-modal emotional recognition significantly outperformed the recognition of emotions from each data alone, exhibiting a precision of 82.9% in the baseline dataset. Conclusions: The results demonstrate a considerably acceptable precision in identifying human emotions through audio integration, text, and image data compared to individual data when using machine learning and artificial intelligence methods. شناسایی احساسات؛ روانشناسی؛ هوش مصنوعی؛ احساسات چند حالته؛ RNN؛ CNN Emotional recognition, Psychology, Artificial intelligence, Multimodal emotions, RNN, CNN 194 204 http://jams.arakmu.ac.ir/browse.php?a_code=A-10-7351-1&slc_lang=fa&sid=1 Seyed Sadegh Hosseini سید صادق حسینی sadeghhosseini@malayeru.ac.ir 4600319475328460090359 4600319475328460090359 No Malayer University, Malayer, Iran دانشگاه ملایر، ملایر، ایران Mohammad Reza Yamaghani محمد رضا یمقانی o_yamaghani@liau.ac.ir 4600319475328460090360 4600319475328460090360 Yes Department of Computer Engineering and Information Technology, Lahijan Branch, Islamic Azad University, Lahijan, Iran گروه مهندسی کامپیوتر و فناوری اطلاعات، واحدلاهیجان، دانشگاه آزاداسلامی، لاهیجان، ایران