دوره 19، شماره 3 - ( 9-1401 )
جلد 19 شماره 3 صفحات 188-175 |
برگشت به فهرست نسخه ها
Download citation:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:
Farhoodi M, Mahmoudi M, Davoudi M. Producing a Persian Text Tokenizer Corpus Focusing on Its Computational Linguistics Considerations. JSDP 2022; 19 (3) : 12
URL: http://jsdp.rcisp.ac.ir/article-1-1169-fa.html
URL: http://jsdp.rcisp.ac.ir/article-1-1169-fa.html
فرهودی مژگان، محمودی مریم، داودی شمسی مونا. تولید پیکره برچسب‌خورده واحدساز زبان فارسی با درنظر‌گرفتن ملاحظات زبان‌شناسی رایانشی آن. پردازش علائم و داده‌ها. 1401; 19 (3) :175-188
پژوهشگاه ارتباطات و فناوری اطلاعات
چکیده: (1247 مشاهده)
متون نگاشته‌شده فارسی به‌طورمعمول دو مشکل ساده، ولی مهم دارند. مشکل نخست واژه‌های چندواحدی هستند که از اتصال یک واژه به واژه‌های بعدی حاصل میشوند. مشکل دیگر واحدهای چندواژهای هستند که از جداشدگی واژه‌هایی که با هم یک واحد واژگانی را تشکیل می‌دهند، حاصل میشوند. ابزار واحدساز در زبان فارسی که به‌عنوان یکی از ابزارهای پیش‌پردازش زبان است، کاربرد فراوانی در تجزیه و تحلیل متون داشته و باید بتواند واحدهای واژگانی را تشخیص دهد. به عبارتی، این ابزار، مرکز کلمات را در متون تشخیص داده و آن را به دنباله‌ای از کلمات به‌منظور تحلیل‌های بعدی تبدیل می‌کند. تنوع در رسمالخط فارسی و عدم رعایت قوانین جدانویسی و پیوسته‌نویسی کلمات از یک‌سو و پیچیدگی‌های واژگانی زبان فارسی از سویی دیگر فرایندهای مختلف پردازشی زبان از جمله واحدسازی را با چالش‌‌های بسیاری روبه‌رو می‌کند؛ لذا برای عملکرد بهینه این ابزار، لازم است ابتدا ملاحظات زبان‌شناسی رایانشی واحدسازی در زبان فارسی مشخص و سپس بر اساس این ملاحظات مجموعه‌دادهای برای آموزش و آزمایش آن فراهم شد. در این مقاله سعی شد ضمن تبیین ملاحظات یاد‌شده، به تهیه پیکرهای در این خصوص بپردازیم. پیکره تهیه‌شده شامل 183/21 کلمه و متوسط طول جملات 28/40 است.
شماره‌ی مقاله: 12
نوع مطالعه: كاربردي |
موضوع مقاله:
مقالات پردازش متن
دریافت: 1399/5/29 | پذیرش: 1400/10/18 | انتشار: 1401/10/4 | انتشار الکترونیک: 1401/10/4
دریافت: 1399/5/29 | پذیرش: 1400/10/18 | انتشار: 1401/10/4 | انتشار الکترونیک: 1401/10/4
ارسال پیام به نویسنده مسئول
| بازنشر اطلاعات | |
 |
این مقاله تحت شرایط Creative Commons Attribution-NonCommercial 4.0 International License قابل بازنشر است. |
