Signal and Data Processing
پردازش علائم و دادهها
JSDP
Engineering & Technology
http://jsdp.rcisp.ac.ir
1
admin
2538-4201
2538-421X
10.52547/jsdp
1
8888
fa
jalali
1393
6
1
gregorian
2014
9
1
11
1
online
1
fulltext
fa
بازشناسی متون فارسی با استفاده از مدل زبانی n-gram و پالایش گرامری
Persian Text Recognition using n-gram Language Models and Grammatical Refinement
مقالات پردازش متن
Paper
پژوهشي
Research
بازشناسی متون، در سالهای اخیر بسیار مورد توجه قرار گرفته است. ارائه الگوریتمهای بازشناسی برگرفته از ساختار گرامری و معنایی این زبان میتواند روش موثری در پردازشهای دیگر مربوط به خط و زبان فارسی باشد. در این مقاله با استفاده از شاخه علمی پردازش زبان-های طبیعی، یک الگوریتم سه مرحلهای به منظور بازشناسی متون فارسی بر مبنای بازشناسی جملات فارسی ارائه میشود. این روش شامل مراحل ترکیب زیرکلمات به منظور ساخت کلمات و سپس جملات بالقوه معنیدار و در نهایت استفاده از دو مدل زبانی و چند قاعده گرامری به منظور تشخیص جمله صحیح براساس انطباق با گرامر زبان فارسی میباشد. آزمایشات متعدد نشان میدهد که دقت روش ارائه شده برای مرحله ساخت کلمات و سپس جملات بالقوه معنیدار 98 درصد و 85 درصد برای تشخیص جمله صحیح با استفاده از مدل زبانی بایگرام و 88 درصد برای مدل زبانی ترایگرام است.
Abstract Text recognition has been one of the growing research topics in recent years. Many of these researches have focused on recognition of letters and sub-words as a basis for identifying larger text structures such as words, phrases and sentences. This thesis presents a new method in which the recognized sub-words are combined in order to provide meaningful words and sentences in Farsi texts. Since there may be more than one meaningful combination, the potential meaningful sentences are filtered using Farsi grammatical rules. In the sub-word recognition stage, a double scan method is exploited while the words are extracted using a database of frequent Farsi words. In the last stage a 2 and 3-gram method as well as Farsi grammatical rules are employed to identify the most meaningful sentence from all potential candidates. Experiments have proved the accuracy of the exploited method to be more than 85 percent. Keywords: Text recognition, Persian, Persian language modeling, Natural language processing
بازشناسی متن, فارسی, مدلسازی زبان فارسی, پردازش زبانهای طبیعی.
Text recognition, Persian, Persian language modeling, Natural language processing
107
115
http://jsdp.rcisp.ac.ir/browse.php?a_code=A-10-355-1&slc_lang=fa&sid=1
parisa
Shirvani
پریسا
شیروانی
shirvani.parisa@gmail.com
10031947532846001097
10031947532846001097
Yes
Mehrdad
Vatankhah Khouzani
مهرداد
وطن خواه خوزانی
m.vatankhah@yahoo.com
10031947532846001098
10031947532846001098
No
khashayar
yaghmaie
خشایار
یغمایی
.yaghmaiegmail.com
10031947532846001099
10031947532846001099
No