Signal and Data Processing

fa پیش‌بینی عملکرد نتایج پرس‌وجو با کمک روش‌های بدون نظارت Unsupervised Methods for Predicting Query Performance مقالات پردازش متن Paper پژوهشي Research <div style="text-align: justify;">در سال‌های اخیر، استفاده از موتورهای جست‌وجو افزایش روزافزون داشته و نیاز به توسعه روش‌های دقیق‌تر بازیابی و رتبه‌بندی اسناد بیشتر شده‌است؛ درنتیجه پیشبینی عملکرد موتورهای جست‌وجو، یکی از الزامات و چالش‌های بازیابی اطلاعات محسوب می‌شود. اگر بتوان عملکرد پرس‌وجوها را پیش از مرحله بازیابی یا بعد از آن تخمین زد، می‌توان اقدامات خاصی را برای بهبود بازیابی انجام داد. پیش‌بینی عملکرد پرس‌وجو بر تخمین دشواری برآوردن درخواست کاربر برای یک روش بازیابی خاص متمرکز است. این پژوهش، به بررسی عملکرد پرس‌وجو با کمک روش‌های پس از بازیابی می‌پردازد؛ در این راستا از روش‌های بدون نظارت استفاده می‌شود و به خوشه‌بندی و اندازه‌گیری معیارهای مختلف جهت ارزیابی عملکرد پاسخ‌دهی پرس‌وجوها می‌پردازیم؛ درنهایت کار خود را با روش‌های بدون نظارت موجود در ادبیات این حوزه مقایسه خواهیم کرد. نتایج نشان می‌دهد روش پیشنهادی پژوهش حاضر توانست ضریب اسپیرمن را در مجموعه داده TREC DL 2019 و DL-Hard به ترتیب 0.009 و 0.163 و در مجموعه داده TREC DL 2020 ضریب پیرسون را 0.037 نسبت به بهترین کار موجود افزایش دهد.</div> <div style="text-align: justify;">With the rapid increase in the use of search engines, the need for developing more effective information retrieval and ranking methods has become critical. One of the key challenges in information retrieval is predicting query performance, which involves estimating how well a search engine can fulfill a user's information need. Accurate prediction of query performance allows search engines to take adaptive actions, such as query reformulation or ranking adjustment, to enhance retrieval effectiveness. Query Performance Prediction (QPP) methods fall into two main categories: pre-retrieval prediction and post-retrieval prediction. Pre-retrieval predictors estimate query difficulty before the retrieval process, relying on linguistic and statistical query features rather than retrieved documents. In contrast, post-retrieval prediction methods assess query performance based on the ranking list and document collection, providing deeper insights into retrieval effectiveness. In this study, we propose a novel unsupervised post-retrieval QPP method that evaluates query performance by analyzing the clustering behavior of retrieved documents. Our method defines five new metrics—CC, DCIC, DCNIC, DCNICR, and CCR— to measure the distribution and coherence of retrieved documents. These metrics help assess query difficulty by capturing how documents group into clusters, identifying outlier documents that do not fit well into clusters, and evaluating the overall structure of retrieved results. By leveraging these metrics, our approach provides a more fine-grained estimation of query performance without requiring human-labeled data. To evaluate the effectiveness of the proposed method, we conduct experiments on three datasets: TREC DL 2019, TREC DL 2020, and DL-Hard. The results demonstrate that our approach improves Spearman's correlation coefficient by 0.009 and 0.163 on the TREC DL 2019 and DL-Hard datasets, respectively. Additionally, it increases Pearson’s correlation coefficient by 0.037 on the TREC DL 2020 dataset compared to state-of-the-art unsupervised QPP methods. These improvements indicate that clustering-based QPP methods can effectively capture query difficulty and retrieval quality without the need for external supervision.</div> پیش‌بینی عملکرد پرس‌وجو, بازیابی اطلاعات, موتورهای جست‌وجو Query Performance Prediction, Information Retrieval, Search Engines 3 12 http://jsdp.rcisp.ac.ir/browse.php?a_code=A-10-2578-1&slc_lang=fa&sid=1 Seyedehfatemeh Karimi سیده فاطمه کریمی ftmkm9776@gmail.com 100319475328460013508 100319475328460013508 No M.Sc in Computer Engineering, Ferdowsi University of Mashhad, Mashhad, Iran کارشناس‌ارشد مهندسی کامپیوتر، دانشگاه فردوسی مشهد، مشهد، ایران Maryam Khodabakhsh مریم خدابخش m_khodabakhsh@shahroodut.ac.ir 100319475328460013509 100319475328460013509 Yes Assistant Professor of Faculty of Computer Engineering, Shahrood University of Technology, Shahrood, Iran استادیار دانشکده مهندسی کامپیوتر، دانشگاه صنعتی شاهرود، شاهرود، ایران