Signal and Data Processing

fa دادگان پرسش و پاسخ زبان فارسی Farsi Question and Answer Dataset (FarsiQuAD) مقالات پردازش متن Paper بنیادی بنیادی <div style="text-align: justify;">پاسخ سریع و دقیق به سؤالات مطرحشده به زبان طبیعی یکی از اهداف مهم در توسعه سامانه‌های پرسش‌وپاسخ است که در آن رایانه یک متن و سؤال را درک و پاسخ دقیق را برای کاربر ارائه می‌کند. با اینکه پیشرفت‌های زیادی در این حوزه صورت‌گرفتهاست، اما همچنان جزء مسائلی است که نیاز به ارتقا، بهخصوص برای زبان‌های غیر انگلیسی مثل زبان فارسی‌ است. در این مقاله دادگان پرسش‌وپاسخ زبان فارسی (FarsiQuAD) <a href="#_ftn1" name="_ftnref1" title="">[1]</a>  که توسط انسان از مقالات ویکی‌پدیای فارسی تهیه شده، در دو نسخه منتشر شده‌است. نسخه یک شامل  10000+ پرسش‌وپاسخ و نسخه دوم این مجموعه شامل بیش از 145000+ جفت پرسشوپاسخ ‌است. این دادگان قابلیت تجمیع با نسخه انگلیسی SQuAD و سایر دادگان زبان‌های دیگر را دارد که از این استاندارد استفاده کرده باشند و برای عموم منتشر شده‌است<a href="#_ftn2" name="_ftnref2" title="">[2]</a>. این دادگان جهت ساخت مدل‌های هوش مصنوعی مبتنی بر یادگیری عمیق و برای استفاده در سامانه‌های پرسش و پاسخ زبان فارسی‌است. نتایج این پژوهش نشان می‌دهد دادگان پرسش‌وپاسخ زبان فارسی ایجادشده می‌تواند پاسخ به سؤالات مطرحشده به زبان طبیعی فارسی را با معیار تطابق دقیق<a href="#_ftn3" name="_ftnref3" title="">[3]</a> 78 درصد و معیار F1 87 درصد برساند که هنوز نیازمند ارتقا ‌است.   </div> <div> <div style="text-align: justify;"></div> <hr align="left" size="1" width="33%" > <div id="ftn1" style="text-align: justify;"><a href="#_ftnref1" name="_ftn1" title="">[1]</a> Exact match</div> <div id="ftn2" style="text-align: justify;"><a href="#_ftnref2" name="_ftn2" title="">[2]</a> https://github.com/Forutanrad/FarsiQuAD</div> <div id="ftn3" style="text-align: justify;"><a href="#_ftnref3" name="_ftn3" title="">[3]</a> Exact match</div> </div> <div style="text-align: justify;"></div> <div style="text-align: justify;">A fast and accurate response to questions posed in natural language is a fundamental objective in the advancement of question and answer systems. These systems involve computers comprehending textual content and questions, and subsequently, delivering precise answers to users. Despite significant advancements in this field, there remains room for improvement, particularly when dealing with languages other than English, such as Persian. In this article, we present the Persian language question and answer dataset, known as FarsiQuAD. This dataset was meticulously crafted by human annotators, drawing from Persian Wikipedia articles. FarsiQuAD is made available in two versions: Version 1 comprises over 10,000 questions and answers, while Version 2 offers an extensive collection of over 145,000 rows. This dataset is designed to seamlessly integrate with the English version of SQuAD and other databases in various languages adhering to this standard, and it is open to the public. These data serve as valuable resources for the development of artificial intelligence models based on deep learning and for the enhancement of Persian language question and answer systems. The research findings reveal that the FarsiQuAD dataset is capable of providing answers to questions posed in the natural Persian language with an exact matching accuracy of 78% and an F1 score of 87%. However, there is still room for improvement in achieving even higher accuracy levels. This project arises from the critical need for non-English languages to have access to more data for training deep learning models, especially in the domain of factoid questions. Hence, the primary objective of this article is to introduce the newly created dataset. Prior to this effort, well-known datasets like SQuAD predominantly focused on English, and similar datasets has been developed in other languages, including French, German, Korean, and Japanese. Nevertheless, the dearth of question datasets in the Persian language was evident. The quality and diversity of questions are pivotal aspects, and as this dataset continues to grow, it will contribute to the broader landscape of research in this domain, allowing for valuable cross-linguistic comparisons and integration with research conducted in other languages.  </div> دادگان پرسش‌وپاسخ زبان فارسی, سیستم‌های پرسش‌وپاسخ, درک مطلب , یادگیری عمیق, پردازش زبان طبیعی Question And Answer Dataset, Question And Answer systems, Reading comprehension, Deep Learning, Natural Language Processing 107 120 http://jsdp.rcisp.ac.ir/browse.php?a_code=A-10-2352-1&slc_lang=fa&sid=1 Javad ForutanRad جواد فروتن راد Forutanrad@gmail.com 100319475328460012581 100319475328460012581 Yes دانشگاه صنعتی مالک اشتر Maryam HourAli مریم حورعلی mhourali@mut.ac.it 100319475328460012582 100319475328460012582 No دانشگاه صنعتی مالک اشتر MohammadAli KeyvanRad محمدعلی کیوان راد keyvanrad@aut.ac.ir 100319475328460012583 100319475328460012583 No دانشگاه صنعتی مالک اشتر