Signal and Data Processing

fa نور-استم نسخه 1. یک مجموعه داده معیار برای ارزیابی ریشه‌یاب‌های عربی Noor-stem v.1 A Benchmark Dataset for Evaluating the Arabic Stemmers مقالات پردازش متن Paper پژوهشي Research ریشه‌یابی مرحله اصلی چندین فرایند پردازشی مانند متن‌کاوی، بازیابی اطلاعات و پردازش زبان طبیعی است. ابزارهای تشخیص میانوند کلمات عربی با چالش‌های زیادی روبرو هستند که بیشتر ناشی از ماهیت پیچیده کلمات این زبان و سبکهای نوشتاری متفاوت آنها است. تا جایی که ما میدانیم، هیچ مجموعه دادهی ریشهیابیِ معیاری وجود ندارد که طیف گستردهای از چالشهای ریشهیابی را پوشش دهد. بنابراین، ما توسعه یک مجموعه داده برای ارزیابی پایداری ریشه‌یاب‌ها را در چنین موقعیتهای چالش برانگیزی ارزشمند میدانیم. این مقاله، نور-استم، یک مجموعه داده معیار با سبک‌های نوشتاری مختلف را برای ارزیابی ابزارهای تشخیص میانوند (استم) عربی معرفی ‌می‌کند. جهت تایید عملکرد این دادگان، عملکرد سه ریشه‌یاب‌ عربی (نور ۱۰، NLTK و تاشفین) مورد ارزیابی قرار گرفته است. نتایج نشان میدهد که سنجهی اف در ریشهیاب تاشفین بهتر از سایر ریشه‌یاب‌ها است که این موضوع در تحقیقات مرتبط نیز مشاهده شده است. <div style="text-align: justify;">The main task of the tokenization is to divide the sentences of the text into its constituent units and remove punctuation marks (dots, commas, etc.). Each unit is a continuous lexical or grammatical writing chain that is an independent semantic unit. Tokenization occurs at the word level and the extracted units can be used as input to other components such as stemmer. Stemming is the main step of several processing tasks such as text mining, information retrieval, and natural language processing.Arabic stemmers face many challenges, mostly caused by the complex nature of Arabic words and their different writing styles. To our knowledge, there is no gold stemming dataset, which contains a wide variety of different possible stemming challenges, so that, stemmers face numerous and different possible real-world challenges to stem the words. Thus, we find it valuable to develop a dataset for evaluating the sustainability of stemmers in such a variety of challenging situations. In this paper, we introduce Noor-Stem, a benchmark dataset with various writing styles for the evaluation of Arabic stemmers. We use two thousand Arabic words in this dataset. We choose the words from different sources such as holy Quran as well as the Arabic websites and assign them to two groups of human experts to determine the correct stem for each word. The first chosen collection of words includes non-repetitive words of the Quran according to their morphological structure. This collection, with more than 16,000 words, is completely by its Quranic usage, labeling only the words stems. The necessity of morphological analysis in Quranic texts as an example of the index of classical Arabic texts has given rise to this evaluation. The second word collection includes 10 thousand words from the non-repetitive words of the text data in general classic Arabic texts. Out of more than 2,600,000 non-repetitive words, considering that the dataset is going to be gold and each stem must be labeled/ensured by a couple of experts, 10,000 words are chosen, regarding the comprehensive and unique patterns to fully measure the length. The variety of patterns can face each stemmer with a serious challenge to demonstrate its performance in various processes. We evaluate the performance of three Arabic stemmers (Light 10, NLTK and Tashaphyne) on this dataset. The results show that the F-measure of Tashaphyne is better than the other stemmers, which re-proves the superiority of this stemmer in this type of problem, as well.</div> دادگان معیار, ریشه‌یاب, نور-استم, میانوند, استخراج اطلاعات Benchmark Dataset, Stemmer, Noor-Stem, Infix, Information Retrieval 101 112 http://jsdp.rcisp.ac.ir/browse.php?a_code=A-10-92-1&slc_lang=fa&sid=1 Azal Al-Aswad ازل العصواد azal.alamery2@gmail.com 100319475328460012808 100319475328460012808 No دانشگاه علم و صنعت ایران Behrouz Minaei-Bidgoli بهروز مینایی بیدگلی b_minaei@iust.ac.ir 100319475328460012809 100319475328460012809 Yes دانشگاه علم و صنعت ایران Mohammad-Ebrahim Shenassa محمدابراهیم شناسا me.shenasa@iau-tnb.ac.ir 100319475328460012810 100319475328460012810 No دانشگاه آزاد واحد تهران-شمال Sayyed-Ali Hossayni سیدعلی حسینی sayyed.hossayni@yandex.com 100319475328460012811 100319475328460012811 No دانشگاه علم و صنعت ایران Habib Seryani حبیب سریانی hseryani@noornet.net 100319475328460012812 100319475328460012812 No دانشگاه رازی کرمانشاه