دوره 19، شماره 1 - ( 3-1401 )                   جلد 19 شماره 1 صفحات 38-19 | برگشت به فهرست نسخه ها

XML English Abstract Print


Download citation:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:

Sadr H, Pedram M M, Teshnehlab M. Efficient Method Based on Combination of Deep Learning Models for Sentiment Analysis of Text. JSDP 2022; 19 (1) :19-38
URL: http://jsdp.rcisp.ac.ir/article-1-1060-fa.html
صدر حسین، پدرام میرمحسن، تشنه لب محمد. روشی کارا بر پایه ترکیب مدل‌های یادگیری ژرف برای تجزیه ‌و تحلیل احساسات در متون. پردازش علائم و داده‌ها 1401; 19 (1) :38-19

URL: http://jsdp.rcisp.ac.ir/article-1-1060-fa.html


دانشگاه خوارزمی
چکیده:   (599 مشاهده)
یکی از مهم‌ترین دادههای متنی موجود در سطح وب احساسات و دید‌گاه‌های افراد نسبت به یک موضوع یا مفهوم مشخص است. با این حال، یافتن و نظارت بر وبگاه‌های حاوی این احساسات و استخراج اطلاعات موردنیاز از آنها به‌علت گسترش وبگاه‌های گوناگون کاری دشوار محسوب میشود. در این راستا، توسعه سامانه‌های تجزیه ‌و تحلیل خودکار احساسات که بتواند نظرات را استخراج کرده و روند فکری مرتبط با آنها را بیان کند، در سال‌های اخیر توجه زیادی را به خود جلب کرده است و روش‌های بر پایه یادگیری ژرف، یکی از راه‌کارهایی هستند که توانسته‌ا‌ند به نتایج چشم‌گیری در کاربردهای مختلف پردازش زبان‌های طبیعی به‌خصوص تجزیه ‌و تحلیل احساسات دست یابند؛ اما این روش‌ها برخلاف عملکرد قابل‌توجه هنوز با چالش‌هایی مواجه هستند و نیاز به پیشرفت در این حوزه همچنان وجود دارد؛ ازاین‌رو، هدف این مقاله ترکیب مدل‌های یادگیری ژرف به‌منظور ارائه یک روش جدید برای تجزیه ‌و تحلیل احساسات متنی است که بتواند ضمن استفاده هم‌زمان از مزایای شبکه‌های عصبی ژرف بر مشکلات آن‌ها چیره شود. در این راستا، در این مقاله روشی بر پایه ترکیب شبکه عصبی پیچشی و شبکه عصبی هم‌گشتی معرفی‌ شده است که در آن به‌منظور حفظ وابستگی‌های بلندمدت در جملات و کاهش از‌دست‌رفتن داده‌های محلی که به‌عنوان چالش‌های شبکه عصبی پیچشی به شمار‌ می‌آیند، از لایه هم‌گشتی تعمیم‌یافته که در آن از یک ویژگی میانی حاصل از ترکیب گره‌های فرزندان استفاده می‌شود، به‌عنوان جایگزین لایه ادغام در شبکه عصبی پیچشی بر پایه ساز‌و‌کار توجه استفاده شده است. بر اساس نتایج آزمایش‌ها، روش پیشنهادی به‌ترتیب با دقت 92/53 و 89/92 درصد روی مجموعه‌داده‌های SST1 و SST2  و دارای دقت بالاتری نسبت به سایر روش‌های موجود است.
 
شماره‌ی مقاله: 2
متن کامل [PDF 1326 kb]   (206 دریافت)    
نوع مطالعه: پژوهشي | موضوع مقاله: مقالات پردازش متن
دریافت: 1398/5/24 | پذیرش: 1399/10/21 | انتشار: 1401/4/1 | انتشار الکترونیک: 1401/4/1

فهرست منابع
1. [1] H. Sadr, M. M. Pedram, and M. Teshnehlab, "A Robust Sentiment Analysis Method Based on Sequential Combination of Convolutional and Recursive Neural Networks," Neural Processing Letters, pp. 1-17, 2019. [DOI:10.1007/s11063-019-10049-1]
2. [2] H. Sadr, M. M. Pedram, and M. Teshnelab, "Improving the Performance of Text Sentiment Analysis using Deep Convolutional Neural Network Integrated with Hierarchical Attention Layer," International Journal of Information and Communication Technology Research, vol. 11, no. 3, pp. 57-67, 2019.
3. [3] Mohades Deilami, Fatemeh, Hossein Sadr, and Morteza Tarkhan. "Contextualized Multidimensional Personality Recognition using Combination of Deep Neural Network and Ensemble Learning." Neural Processing Letters 2022: 1-18. [DOI:10.1007/s11063-022-10787-9]
4. [4] V. Vyas and V. Uma, "Approaches to sentiment analysis on product reviews," in Sentiment Analysis and Knowledge Discovery in Contemporary Business: IGI Global, 2019, pp. 15-30. [DOI:10.4018/978-1-5225-4999-4.ch002]
5. [5] Kalashami, Mahsa Pourhosein, Mir Mohsen Pedram, and Hossein Sadr. "EEG Feature Extraction and Data Augmentation in Emotion Recognition." Computational Intelligence and Neuroscience 2022. [DOI:10.1155/2022/7028517] [PMID] [PMCID]
6. [6] S. M. H. Chowdhury, S. Abujar, M. Saifuzzaman, P. Ghosh, and S. A. Hossain, "Sentiment Prediction Based on Lexical Analysis Using Deep Learning," in Emerging Technologies in Data Mining and Information Security: Springer, 2019, pp. 441-449. [DOI:10.1007/978-981-13-1501-5_38]
7. [7] Soleymanpour, Shiva, Hossein Sadr, and Mojdeh Nazari Soleimandarabi. "CSCNN: cost-sensitive convolutional neural network for encrypted traffic classification." Neural Processing Letters , pp.3497-3523, 2021. [DOI:10.1007/s11063-021-10534-6]
8. [8] Sadr, Hossein, and Mojdeh Nazari Soleimandarabi. "ACNN-TL: attention-based convolutional neural network coupling with transfer learning and contextualized word representation for enhancing the performance of sentiment classification." The Journal of Supercomputing 2022, pp. 1-27, 2022. [DOI:10.1007/s11227-021-04208-2]
9. [9] H. Sadr, M. Nazari, M. M. Pedram, and M. Teshnehlab, "Exploring the Efficiency of Topic-Based Models in Computing Semantic Relatedness of Geographic Terms," International Journal of Web Research, vol. 2, no. 2, pp. 23-35, 2019.
10. [10] H. Sadr, M. M. Pedram, and M. Teshnehlab, "Multi-View Deep Network: A Deep Model Based on Learning Features From Heterogeneous Neural Networks for Sentiment Analysis," IEEE Access, vol. 8, pp. 86984-86997, 2020. [DOI:10.1109/ACCESS.2020.2992063]
11. [11] H. Sadr, M. N. Soleimandarabi, M. Pedram, and M. Teshnelab, "Unified Topic-Based Semantic Models: A Study in Computing the Semantic Relatedness of Geographic Terms," in 2019 5th International Conference on Web Research (ICWR), 2019: IEEE, pp. 134-140. [DOI:10.1109/ICWR.2019.8765257]
12. [12] V. D. Van, T. Thai, and M.-Q. Nghiem, "Combining convolution and recursive neural networks for sentiment analysis," in Proceedings of the Eighth International Symposium on Information and Communication Technology, 2017: ACM, pp. 151-158. [DOI:10.1145/3155133.3155158]
13. [13] N. C. Dang, M. N. Moreno-García, and F. De la Prieta, "Sentiment Analysis Based on Deep Learning: A Comparative Study," Electronics, vol. 9, no. 3, pp. 483, 2020. [DOI:10.3390/electronics9030483]
14. [14] H. Sadr and M. Nazari Solimandarabi, "Presentation of an efficient automatic short answer grading model based on combination of pseudo relevance feedback and semantic relatedness measures," Journal of Advances in Computer Research, vol. 10, no. 2, pp. 1-10, 2019.
15. [15] J. Islam and Y. Zhang., "Visual Sentiment Analysis for Social Images Using Transfer Learning Approach," 2016 IEEE Int. Conf. Big Data Cloud Comput. (BDCloud), Soc. Comput. Netw. (SocialCom), Sustain. Comput. Commun., pp. 124130, 2016. [DOI:10.1109/BDCloud-SocialCom-SustainCom.2016.29]
16. [16] X. Ouyang, P. Zhou, C. H. Li, and L. Liu, "Sentiment Analysis Using Convolutional Neural Network," Comput. Inf. Technol. Ubiquitous Comput. Commun. Dependable, Auton. Secur. Comput. Pervasive Intell. Comput. (CIT/IUCC/DASC/PICOM), 2015 IEEE Int. Conf., pp. 23592364, 2015. [DOI:10.1109/CIT/IUCC/DASC/PICOM.2015.349]
17. [17] R. Yin, P. Li, and B. Wang, "Sentiment Lexical-Augmented Convolutional Neural Networks for Sentiment Analysis," IEEE Second International Conference on Data Science in Cyberspace, 2017. [DOI:10.1109/DSC.2017.82] [PMCID]
18. [18] R. Socher, Pennington, E. H. Huang, A. Y. Ng, and C. D. Manning, "Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions," Proceedings of the Conference on Empirical Methods in Natural Language Processing, Association for Computational Linguistics., 2011.
19. [19] R. Socher, B. Huval, C. D. Manning, and A. Y. Ng, "Semantic Compositionality through Recursive Matrix-Vector Spaces," Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, Association for Computational Linguistics., 2012.
20. [20] R. Socher, A. Perelygin, and Wu, "Recursive deep models for semantic compositionality over a sentiment treebank," Proceedings of the conference on empirical methods in natural language processing (EMNLP), 2013.
21. [21] Q. Huang, X. Zheng, R. Chen, and Z. Dong, "Deep Sentiment Representation Based on CNN and LSTM " International Conference on Green Informatics, 2017. [DOI:10.1109/ICGI.2017.45]
22. [22] A. Hassan and A. Mahmood, "Deep Learning approach for sentiment analysis of short texts," in Control, Automation and Robotics (ICCAR), 2017 3rd International Conference on, 2.17 IEEE, pp. 705-710. [DOI:10.1109/ICCAR.2017.7942788]
23. [23] A. Timmaraju and V. Khanna, "Sentiment Analysis on Movie Reviews using Recursive and Recurrent Neural Network Architectures," 2017.
24. [24] X. Wang, W. Jiang, and Z. Luo, "Combination of Convolutional and Recurrent Neural Network for Sentiment Analysis of Short Texts," 2016.
25. [25] V. D. Van, Œ. Thai, and M.-Q. o. Nghiem, "Combining Convolution and Recursive Neural Networks for Sentiment Analysis," 2018. [DOI:10.1145/3155133.3155158]
26. [26] S. M. Rezaeinia, R. Rahmani, A. Ghodsi, and H. Veisi, "Sentiment analysis based on improved pre-trained word embeddings," Expert Systems with Applications, vol. 117, pp. 139-147, 2019. [DOI:10.1016/j.eswa.2018.08.044]
27. [27] T. Mikolov, K. Chen, G. Corrado, and J. Dean, "Distributed Representations of Words and Phrases and their Compositionality, Nips," 2013.
28. [28] O. Irsoy and C. Cardie, "Deep recursive neural networks for compositionality in language," in Advances in neural information processing systems, 2014, pp. 2096-2104.
29. [29] Y. Zhang and B. Wallace, "A sensitivity analysis of (and practitioners' guide to) convolutional neural networks for sentence classification," arXiv preprint arXiv:1510.03820, 2015.
30. [30] Y. LeCun, Y. Bengio, and G. Hinton, " Deep learning," Nature, vol. 521, no. 7553, pp. 436-444, May, 2015. [DOI:10.1038/nature14539] [PMID]
31. [31] C. DU and L. HUANG, "Sentiment Classification Via Recurrent Convolutional Neural Networks," DEStech Transactions on Computer Science and Engineering, no. cii, 2017. [DOI:10.12783/dtcse/cii2017/17268]
32. [32] N. Kalchbrenner, E. Grefenstette, and P. Blunsom, "A convolutional neural network for modelling sentences," arXiv preprint arXiv:1404.2188, 2014. [DOI:10.3115/v1/P14-1062]
33. [33] Y. Kim, "Convolutional neural networks for sentence classification," arXiv preprint arXiv:1408.5882, 2014. [DOI:10.3115/v1/D14-1181]
34. [34] W. Yin and H. Schütze, "Multichannel variable-size convolution for sentence classification," arXiv preprint arXiv:1603.04513, 2016. [DOI:10.18653/v1/K15-1021] [PMCID]
35. [35] K. S. Tai, R. Socher, and C. D. Manning, "Improved semantic representations from tree-structured long short-term memory networks," arXiv preprint arXiv:1503.00075, 2015. [DOI:10.3115/v1/P15-1150]
36. [36] F. Kokkinos and A. Potamianos, "Structural attention neural networks for improved sentiment analysis," arXiv preprint arXiv:1701.01811, 2017. [DOI:10.18653/v1/E17-2093]
37. [37] Y. Wang, M. Huang, and L. Zhao, "Attention-based LSTM for aspect-level sentiment classification," in Proceedings of the 2016 conference on empirical methods in natural language processing, 2016, pp. 606-615. [DOI:10.18653/v1/D16-1058]
38. [38] Sadr, Hossein, Mir M. Pedram, and Mohammad Teshnehlab. "Convolutional neural network equipped with attention mechanism and transfer learning for enhancing performance of sentiment analysis." Journal of AI and Data Mining 9.2, 2021 : 141-151.

ارسال نظر درباره این مقاله : نام کاربری یا پست الکترونیک شما:
CAPTCHA

ارسال پیام به نویسنده مسئول


بازنشر اطلاعات
Creative Commons License این مقاله تحت شرایط Creative Commons Attribution-NonCommercial 4.0 International License قابل بازنشر است.

کلیه حقوق این تارنما متعلق به فصل‌نامة علمی - پژوهشی پردازش علائم و داده‌ها است.