دوره 15، شماره 3 - ( 9-1397 )
جلد 15 شماره 3 صفحات 12-3 |
برگشت به فهرست نسخه ها
مرکز تحقیقات مخابرات ایران
چکیده: (3884 مشاهده)
امروزه رشد بسیار سریع اینترنت و نفوذ روزافزون آن در زندگی افراد باعث شده تا کاربران بسیاری برای رفع نیازهای روزمره خود به جویشگرها مراجعه کنند و این جویشگرها به توسعه و بهبود مستمر نیاز دارند. از‌این‌رو ارزیابی جویشگرها برای تعیین کارایی آنها اهمیت به‌سزایی دارد. در ایران نیز همانند سایر کشورها پژوهش‌های گسترده‌ای در زمینه ایجاد جویش‌گرهای خاص‌منظوره بومی انجام شده است. یکی از مهم‌ترین جویش‌گرهای خاص‌منظوره ایجاد‌شده، جویش‌گر ویدئویی است که وظیفه بازیابی ویدئوها از سطح وب را برعهده دارد. برای ارزیابی کیفیت این جویشگرها و بهبود مستمر آنها باید سطح خدمات‌دهی هر کدام از جویشگرها در مقایسه با دیگر جویش‌گرهای موجود مورد ارزیابی قرار گیرد. از آنجا که سرعت ارزیابی نقش مهمی در تعیین روند اصلاحات مورد نیاز دارد، بحث ارزیابی خودکار جویشگرها بسیار پراهمیت خواهد شد. در این مقاله روشی مبتنی بر تجمیع آرا به‌منظور ارزیابی خودکار جویش‌گرهای ویدئویی ارائه شده است. تمرکز اصلی این روش بر روی حوزه وب فارسی بوده و با توسعه روشی نوین برای شباهت‌سنجی مبتنی بر محتوا براساس بردار‌های حرکت ویدئوها، سعی در ارزیابی جویش‌گرهای ویدئویی دارد. برای محک‌زدن روش معرفی‌شده، سازوکاری طراحی شد تا نتایج به‌دست‌آمده با نتایج حاصل از ارزیابی انسانی مورد مقایسه قرار گیرد. نتایج به‌دست‌آمده نشان‌دهنده میزان همبستگی بیش از 94% دو روش است که قابل اتکا‌بودن روش خودکار ارزیابی پیشنهادی را بیان می‌کند.
نوع مطالعه: پژوهشي |
موضوع مقاله:
مقالات پردازش تصویر
دریافت: 1396/9/15 | پذیرش: 1397/6/24 | انتشار: 1397/9/28 | انتشار الکترونیک: 1397/9/28
دریافت: 1396/9/15 | پذیرش: 1397/6/24 | انتشار: 1397/9/28 | انتشار الکترونیک: 1397/9/28
فهرست منابع
1. [1] موسوی سبحان، عظیم‌زاده معصومه، محمودی مریم، یاری علیرضا، ارائه چارچوبی جامع و کارا برای ارزیابی موتورهای جستجوی فارسی، هجدهمین کنفرانس ملی سالیانه انجمن کامپیوتر، تهران، اسفند 1391.
2. [2] عظیم‌زاده معصومه، سموری شهریار، یاری علیرضا، بررسی و مقایسه کیفی موتورهای جستجو در حوزه وب فارسی، هجدهمین کنفرانس ملی سالیانه انجمن کامپیوتر، تهران، اسفند 1391.
3. [1] Moosavi Sobhan, Azimzadeh Masoumeh, Mahmo-udi Maryam, Yari Alireza, A Comprehens-ive and Effective Framework for the Assessment of Persian Search Engines, The 18th Annual National Conference of the Computer Society, Tehran, Esfand 1391.
4. [2] Azimzadeh Masoumeh, Somoori Shahriar, Yari Alireza, Qualitative and qualitative comparison of search engines in the Persian Web domain, 18th National Computer Society Conference, Tehran, Esfand 1391.
5. [3] R. Badie, M. Azimzadeh, M.S. Zahedi, S. Samuri, "Automatic evaluation of search engines: Using webpages' content, web graph link structure and websites' popularity" Seventh International Symposium on Telecommunica-tions ( IST2014), September 09-11, 2014. [DOI:10.1109/ISTEL.2014.7000766]
6. [4] Maryam Mahmoudy, Mohammad Sadegh zahedi, Masomeh Azimzadeh, "Evalua-ting the retrieval effectiveness of search engines using Persian navigational queries", Seventh Interna-tional Symposium on Telecommunica-tions (IST2014), September 09-11, 2014.
7. [5] I. Soboroff, C. Nicholas, and P. Cahan, "Ranking retrieval systems without relevance judgments," in Proceedings of the 24th annual international ACM SIGIR conference on Research and development in information retrieval, 2001, pp. 66-73. [DOI:10.1145/383952.383961]
8. [6] S. P. Harter, "Variations in relevance assessm-ents and the measurement of retrieval effective-ness," JASIS, vol. 47, pp. 37-49, 1996.
https://doi.org/10.1002/(SICI)1097-4571(199601)47:1<37::AID-ASI4>3.0.CO;2-3 [DOI:10.1002/(SICI)1097-4571(199601)47:13.0.CO;2-3]
9. [7] A. Spink and H. Greisdorf, "Regions and levels: measuring and mapping users' relevance judgments," Journal of the American Society for Information science and Technology, vol. 52, pp. 161-173, 2001.
https://doi.org/10.1002/1097-4571(2000)9999:9999<::AID-ASI1564>3.0.CO;2-L [DOI:10.1002/1097-4571(2000)9999:99993.0.CO;2-L]
10. [8] S. Wu and F. Crestani, "Methods for ranking information retrieval systems without relevance judgments," in Proceedings of the 2003 ACM symposium on Applied computing, 2003, pp. 811-816. [DOI:10.1145/952532.952693] [PMCID]
11. [9] J. Callan, M. Connell, and A. Du, "Automatic discovery of language models for text databases," in ACM SIGMOD Record, 1999, pp. 479-490. [DOI:10.1145/304181.304224]
12. [10] A. Chowdhury and I. Soboroff, "Automatic evaluation of world wide web search services," in Proceedings of the 25th annual international ACM SIGIR conference on Research and development in information retrieval, 2002, pp. 421-422. [DOI:10.1145/564376.564474]
13. [11] S. M. Beitzel, E. C. Jensen, A. Chowdhury, and D. Grossman, "Using titles and category names from editor-driven taxonomies for automatic evaluation," in Proceedings of the twelfth international conference on Information and knowledge management, 2003, pp. 17-23. [DOI:10.1145/956863.956868]
14. [12] F. Can, R. Nuray, and A. B. Sevdik, "Automatic performance evaluation of Web search engines," Information processing & management, vol. 40, pp. 495-514, 2004. [DOI:10.1016/S0306-4573(03)00040-2]
15. [13] T. Joachims, L. Granka, B. Pan, H. Hembrooke, and G. Gay, "Accurately interpreting clickth-rough data as implicit feedback," in Proceedings of the 28th annual international ACM SIGIR conference on Research and development in information retrieval, 2005, pp. 154-161.
16. [14] Y. Liu, Y. Fu, M. Zhang, S. Ma, and L. Ru, "Automatic search engine performance evaluation with click-through data analysis," in Proceedings of the 16th international conference on World Wide Web, 2007, pp. 1133-1134. [DOI:10.1145/1242572.1242731]
17. [15] Y. Liu, M. Zhang, L. Ru, and S. Ma, "Automatic query type identification based on click through information," in Information Retrieval Techno-logy, ed: Springer, 2006, pp. 593-600. [DOI:10.1007/11880592_51]
18. [16] T. Joachims, "Evaluating Retrieval Performance Using Clickthrough Data," ed: Citeseer, 2003.
19. [17] G. Mood, "Boes, Introduction to the theory of statistics," McCraw-Hill Statistics Series, 1974. [PMID]
20. [18] H. Sharma and B. J. Jansen, "Automated evaluation of search engine performance via implicit user feedback," in Proceedings of the 28th annual international ACM SIGIR con-ference on Research and development in information retrieval, 2005, pp. 649-650. [DOI:10.1145/1076034.1076172]
21. [19] R. Ali and M. S. Beg, "Automatic performance evaluation of web search systems using rough set based rank aggregation," in Proceedings of the First International Conference on Intelligent Human Computer Interaction, 2009, pp. 344-358. [DOI:10.1007/978-81-8489-203-1_34]
22. [20] R. Nuray and F. Can, "Automatic ranking of information retrieval systems using data fusion," Information processing & management, vol. 42, pp. 595-614, 2006. [DOI:10.1016/j.ipm.2005.03.023]
23. [21] H. Sadeghi. "Automatic Performance Evaluation of Web search Engines using judgements of Meta search Engines", Online Information Review, ISSN:1468-4527,Emerald Publishing Limited, pp.957-971. (2011).
24. [22] Tawileh W, Griesbaum J, Mandl T. Evaluation of five web search engines in Arabic language. Proceedings of LWA. (2010).
25. [23] Lewandowski, Dirk. Evaluating the retrieval effectiveness of Web search engines using a representative query sample. Journal of the Association for Information Science and Technology (2015). [DOI:10.1002/asi.23304]
26. [24] Bar-Ilan J, Levene M. A method to assess search engine results. Online Information Review 35(6), 854-868. (2011). [DOI:10.1108/14684521111193166]
27. [25] Keyvanpour M, alamdar F. Effective browsing of image search results via diversified visual summarization by Clustering. JSDP. 2012; 8 (2) :57-74
| بازنشر اطلاعات | |
 |
این مقاله تحت شرایط Creative Commons Attribution-NonCommercial 4.0 International License قابل بازنشر است. |