دوره 16، شماره 3 - ( 10-1398 )
جلد 16 شماره 3 صفحات 37-48 |
برگشت به فهرست نسخه ها
Download citation:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:
hosseini M M, zahedi M, Hassanpour H. A New Statistical Model for Evaluation Interactive Question Answering Systems Using Regression. JSDP 2019; 16 (3) :48-37
URL: http://jsdp.rcisp.ac.ir/article-1-814-fa.html
URL: http://jsdp.rcisp.ac.ir/article-1-814-fa.html
حسینی محمدمهدی، زاهدی مرتضی، حسن پور حمید. یک مدل آماری جهت ارزیابی سامانه‌های پرسش و پاسخ تعاملی با استفاده از رگرسیون. پردازش علائم و داده‌ها. 1398; 16 (3) :48-37
دانشکده مهندسی برق و کامپیوتر، دانشگاه آزاد اسلامی، واحد شاهرود
چکیده: (3993 مشاهده)
همانند بسیاری از زمینه‌های دیگر زبان‌شناسی محاسباتی، ارزیابی نقش مهمی در سامانه‌های پرسش و پاسخ تعاملی ایفا می‌کند. با این وجود، در زمینه ارزیابی سامانه‌های پرسش و پاسخ تعاملی به‌طورتقریبی هیچ روش خاصی وجود ندارد که به ارزیابی کلی این سامانه‌ها پرداخته و همواره انسان باید در فرآیند ارزیابی مشارکت داشته باشد. ارائه مدلی که بتواند جایگزین انسان در فرآیند ارزیابی شود، یکی از موضوعات مورد توجه در این حوزه است. در این مقاله، یک مدل آماری مناسب برای ارزیابی سامانه‌های پرسش و پاسخ تعاملی جهت جایگزین‌کردن به جای انسان توسط مجموعه‌ای از ویژگی‌های جدید و رگرسیون ارائه شده است. با استفاده از چهار سامانه تعاملی موجود پایگاه داده‌ای مناسب ایجاد شد. تعداد 540 نمونه به‌عنوان داده مناسب در نظر گرفته شد تا مجموعه آزمون و آموزش بر اساس آن تشکیل شود. ابتدا پیش‌پردازش بر روی مکالمات صورت پذیرفت و بر اساس روابط تعریف‌شده، ویژگی‌های آماری از متن مکالمه‌ها استخراج و بر اساس آن ماتریس ویژگی تشکیل و سپس با استفاده از انواع رگرسیون سعی شد تا بهترین مدل استخراج شود که در‌نهایت رگرسیون غیرخطی سری توانی با RMSE به میزان 13/0 بهترین مدل را ارائه کرد.
نوع مطالعه: پژوهشي |
موضوع مقاله:
مقالات پردازش متن
دریافت: 1396/9/3 | پذیرش: 1397/10/19 | انتشار: 1398/10/17 | انتشار الکترونیک: 1398/10/17
دریافت: 1396/9/3 | پذیرش: 1397/10/19 | انتشار: 1398/10/17 | انتشار الکترونیک: 1398/10/17
فهرست منابع
1. [1] شهرآیینی، سلیمه، زاهدی، مرتضی،”سیستم پاسخگوی تعاملی با استفاده از تکنیک‌های هوش مصنوعی”، دانشگاه صنعتی شاهرود، دانشکده کامپیوتر و فناوری اطلاعات، پایان نامه ارشد، 1394.
2. [1] S. Shahriini, S. Zahedi, "Interactive Question answering System Using Artificial Intelligence Techniques", Senior Thesis, Shahrood University of Technology, Faculty of Computer and Information Technology, 2015.
3. [2] حسینی، محمدمهدی، زاهدی، مرتضی، “بهبود پاسخ ارائه‌شده در سیستم‌های پرسش و پاسخ تعاملی با استفاده از شبکه عصبی”، هشتمین کنفرانس بین‌المللی فناوری اطلاعات و دانش، صفحات 84-91، 1395.
4. [2] M.M. Hosseini, M. Zahedi, "Improvement of the response provided in interactive question answering systems using neural network", Eighth International Conference on Information and Knowledge Technology, pp. 84-91, 2016.
5. [3] Bouziane, Abdelghani, Bouchiha, Doumi, and Malki, “Question Answering Systems: Survey and Trends”, Procedia Computer Science, pp. 366-375, 2015.
6. [4] Bao, Junwei, Nan Duan, Ming Zhou, and Tiejun Zhao, "Knowledge-based question answering as machine translation," Cell 2, no. 6, 2014.
7. [5] C. Guinaudeau, M. Strube, “Graph-based Local Coherence Modeling”, Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pp. 93–103, 2013.
8. [6] Hartawan, Andrei, and Derwin Suhartono, “Using Vector Space Model in Question Answering System”, Procedia Computer Science, pp. 305-311, 2015.
9. [7] Höffner, Konrad, S. Walter, E. Marx, R. Usbeck, J. Lehmann, and A. Ngomo, “Survey on challenges of question answering in the semantic web”, Semantic Web 8, no. 6, pp.895-920, 2017.
10. [8] Kelly, Diane, P. B. Kantor, E. L. Morse, J. Scholtz, and Y. Sun, “Questionnaires for eliciting evaluation data from users of interactive question answering systems,” Natural Language Engineering 15, no. 1, , pp. 119-141, 2009.
11. [9] L. C. Yew, “Rouge: A package for automatic evaluation of summaries,” In Text summarization branches out: Proceedings of the ACL-04 workshop, vol. 8, 2004.
12. [10] L. Vanessa, V. Uren, M. Sabou and E. Motta. “Is question answering fit for the semantic web? A survey,” Semantic Web 2, no. 2, pp.125-155, 2011.
13. [11] M. Amit, and S. K. Jain, “A survey on question answering systems with classification,” Journal of King Saud University-Computer and Information Sciences 28, no. 3, pp. 345-361,2016.
14. [12] M. Mansoori, and H. Hassanpour, “Boosting passage retrieval through reuse in question answering,” International Journal of Engineering 25, no. 3, pp.187-196, 2012.
15. [13] برشبان، یاسمن، یوسفی نسب، حامد، میرروشندل، سید ابوالقاسم " ارایه یک پیکره پرسش و پاسخ مذهبی در زبان فارسی"، فصل‌نامه پردازش علائم و داده‌ها، دوره 15، شماره 1، صفحات 87- 102، 1397.
16. [13] Y. Boreshban, H. Yousefinasab, S. A. Mirroshandel, “Providing a Religious Corpus of Question Answering System in Persian”, Journal of Signal and Data Processing (JSDP),Vol 15, no 1, pp.87-102, 2018.
17. [14] N. Wacholder, S. G. Small, B. Bai, D. Kelly, R. trittman, S. Ryan, R. Salkin, “Designing a Realistic Evaluation of an End-to-end Interactive Question Answering System.” In LREC. 2004.
18. [15] Quarteroni, Silvia and S. Manandhar, “Designing an interactive open-domain question answering system,” Natural Language Engineering 15, no. 1, pp. 73-95,2009.
19. [16] S. Ying, P. B. Kantor and E. L. Morse, “Using cross-evaluation to evaluate interactive QA systems.” Journal of the Association for Information Science and Technology 62, no. 9, pp. 1653-1665, 2011.
ارسال پیام به نویسنده مسئول
| بازنشر اطلاعات | |
 |
این مقاله تحت شرایط Creative Commons Attribution-NonCommercial 4.0 International License قابل بازنشر است. |
