Signal and Data Processing

fa بهبود شناسایی موجودیت‌های نامدار فارسی با استفاده از کسره اضافه Improving Named Entity Recognition Using Izafe in Farsi مقالات پردازش متن Paper پژوهشي Research تشخیص موجودیت‌های نامدار فرآیندی است که در آن اسامی اشخاص، مکان‌ها(شهرها، کشورها، دریاها و غیره)، سازمان‌ها(شرکت‌های خصوصی و دولتی، نهادهای بین‌المللی و غیره)، تاریخ، واحدهای پولی و درصدها در یک متن شناسایی می‌شوند. تشخیص موجودیت‌های نامدار نقشی اساسی در سامانه‌های پرسش و پاسخ، خلاصه‌سازی، ترجمه ماشینی، برچسب‌زن نقش معنایی، جستجوی معنایی، استخراج رابطه و شناسایی نقل قول دارند. در این مقاله ابتدا فرهنگ واژگان موجودیت‌های سازمان، مکان و اشخاص با استفاده از محتوای ویکی‌پدیای فارسی استخراج شد؛ سپس با استفاده از قواعد، سامانه پیشنهادی توسعه یافت. در ادامه دقت شناسایی موجودیت‌های نامدار با استفاده از کسره اضافه که یکی از ویژگی‌های مهم زبان فارسی است، بهبود داده شد. جهت ارزیابی سامانه تعداد 42 هزار کلمه از پیکره بی‌ جن‌خان به‌صورت دستی برچسب زده شدند و معیار F 92/81 درصد به‌دست آمد. نتایج حاکی از آن است که با استفاده از کسره اضافه در سامانه‌های تشخیص موجودیت  دقت آن‌ها به‌طور قابل ملاحظه‌ای افزایش می‌یابد.   Named entity recognition is a process in which the people’s names, name of places (cities, countries, seas, etc.) and organizations (public and private companies, international institutions, etc.), date, currency and percentages in a text are identified. Named entity recognition plays an important role in many NLP tasks such as semantic role labeling, question answering, summarization, machine translation, semantic search, and relation extraction and quotation recognition systems. Named entity recognition in the Persian language is far more complex and more difficult than English. In English texts usually proper nouns begin with capital letters and this feature makes it easy to identify named entities, but this feature is absent in Persian language texts. To create a named entity recognition system, generally three methods are being used which include rule-based, machine-learning-based and hybrid methods. Each of these methods has its own advantages and disadvantages. Lack of named entity labeled data is the greatest challenge in Persian text. Because of this problem usually rule-based methods used to extract entities. In this paper firstly, the dictionary of organizations, places and people were extracted from Wikipedia. Wikipedia is one of the best sources for extracting entities in which more than 200000 Farsi-named entities are known to exist. The proposed algorithm classify each Wikipedia article title by using its categories. Each of Wikipedia titles has several categories that can be used to partially identify the named entity type. Then named entity recognition accuracy (precision) was increased using the rules. These rules can be divided into 3 categories that include morphological rules, adjacency and text patterns. The most important rules are adjacency rules. By using these rules the type of entity with the word nearby each entity (like Mr, Mrs , …) can be identified. To evaluate the system, 42000 tokens of BijanKhan corpus were manually annotated (labeled). Early F-measure was calculated 78.79 percent. In continue, named entity recognition accuracy (precision) improved using izāfe which is one of the important Persian language features and 81.94 percent for F-measure was achieved. The results showed that using izāfe in named entity recognition systems significantly increases their accuracy.   تشخیص موجودیت‌های نامدار پردازش زبان طبیعی, مبتنی بر قاعده, ویکی‌پدیا, کسره اضافه Named Entity Recognition, Natural Language Processing, Rule Based, Wikipedia, Izafe 43 54 http://jsdp.rcisp.ac.ir/browse.php?a_code=A-10-806-1&slc_lang=fa&sid=1 mohammad َAbdoos محمد عبدوس mohammadabdous@comp.iust.ac.ir 10031947532846006002 10031947532846006002 Yes دانشگاه علم و صنعت ایران و آزمایشگاه پردازش و تحلیل متن شرکت آرمان رایان شریف behrooz manaei بهروز مینایی بیدگلی B_minaei@iust.ac.ir 10031947532846006003 10031947532846006003 No دانشگاه علم و صنعت ایران