fa ارائه یک سیستم هوشمند و معناگرا برای ارزیابی سیستم های خلاصه ساز متون مقالات پردازش متن Paper كاربردي Applicable امروزه با افزایش منابع متنی در شبکه جهانی وب، هر روز بر گستره‏ ی اطلاعات قابل دسترس برای کاربران افزوده می شود بنابراین جهت نگهداری و بازیابی و پردازش آنها از سامانه ‏های خلاصه‏ سازی خودکار متن، استفاده می‏ کنیم. میزان کیفیت خلاصه‏ سازهای ماشینی، توسط انسان‏ها مورد بررسی قرار می‏ گیرد اما این کار نیروی متخصص و زمان زیادی را می‏ طلبد و هزینه بر خواهد بود. بنابراین برای حل این مشکل، در این مقاله سیستمی به اسم TabEval برای ارزیابی سامانه‏ های خلاصه‏ سازی خودکار متن ارائه شده است. این سیستم با ایده و معماری جدید به محاسبه‏ ی میزان تشابه ظاهری و معنایی بین خلاصه‏ ی سیستمی و خلاصه‏ های انسانی (خلاصه‏ های ایده ‏آل) می‏ پردازد. برای محاسبه میزان تشابه معنایی از شبکه‏ ی واژه‏ ها و زنجیره‏ های لغوی استفاده می‏ گردد. خروجی حاصل از این سیستم توسط نیروهای متخصص در زمینه‏ ی ادبیات زبان فارسی مورد بررسی قرار گرفت. نتایج حاصل از بررسی‏ ها حاکی از این بود که این سیستم همانند انسان بطور هوشمند عمل می‏ کند. Nowadays summarizers and machine translators have attracted much attention to themselves, and many activities on making such tools have been done around the world. For Farsi like the other languages there have been efforts in this field. So evaluating such tools has a great importance. Human evaluations of machine summarization are extensive but expensive. Human evaluations can take months to finish and involve human labor that cannot be reused. In this paper, we propose a method of automatic machine summarization evaluation that is quick, inexpensive, and language-independent, that correlates highly with human evaluation, and that has little marginal cost per run. This method has the metrics of determining auto summaries’ quality, through comparing them to the summaries produced by Human (ideal summaries). These metrics measures overlapping of system summaries and human ones in number of units like n-tuples, words string and pairs of words. Certainly for semantic comparing of texts in case of review summaries, the appearance of words are not enough and using of WordNet seems to be necessary. In the proposed method words network is used with an appropriate idea and has improved evaluation results significantly. The proposed method is the first method for the Persian language. Performance measurement of the tool was done during a specified and standard procedure and the results indicate acceptable yield of it. We present this method as an automated understudy to skilled human judges which substitutes for them when there is need for quick or frequent evaluations. ارزیابی هوشمند, خلاصه‏ سازهای سیستمی, پردازش زبان طبیعی, F-measure, معیار ارزیابی, لینک های هم رخداد, شبکه ی واژه ها Natural Language Processing, Persian Language, System Summarizer Evaluation, Evaluation measure. 3 11 http://jsdp.rcisp.ac.ir/browse.php?a_code=A-10-416-3&slc_lang=fa&sid=1 Raziyeh Tabatabaei راضیه طباطبائی 10031947532846001923 10031947532846001923 No باشگاه پژوهشگران جوان و نخبگان Mohammad-Reza Feizi-Derakhshi محمدرضا فیضی درخشی 10031947532846001924 10031947532846001924 No University of Tabriz دانشگاه تبریز Saeid Masoumi سعید معصومی 10031947532846001925 10031947532846001925 Yes دانشگاه صنعتی مالک اشتر تهران