Signal and Data Processing

fa یادگیری نیمه نظارتی کرنل مرکب با استفاده از تکنیک‌های یادگیری معیار فاصله Semi Supervised Multiple Kernel Learning using Distance Metric Learning Techniques مقالات پردازش تصویر Paper بنیادی بنیادی معیار فاصله، نقشی کلیدی در بسیاری از الگوریتم‌های آموزش ماشین و شناسایی آماری الگو دارد؛ به‌گونه‌ای که انتخاب تابع فاصله مناسب، تأثیر مستقیمی بر عملکرد این الگوریتم‌ها دارد. در سالهای اخیر، آموزش معیار فاصله با استفاده از نمونه‌های برچسب‌دار و یا دیگر اطلاعات موجود، یکی از حوزه‌های بسیار فعال در حوزه آموزش ماشین شده است. پژوهش‌ها در این راستا، نشان داده است که معیارهای سنجش فاصله مبتنی بر یادگیری، عملکرد بسیار بهتری در مقایسه با معیارهای فاصله مرسوم از قبیل فاصله اقلیدسی دارند. با گسترش این الگوریتم‌ها، نوع مبتنی بر کرنل برخی از این الگوریتم‌ها نیز ارائه شده که در آنها با استفاده از تابع کرنل، نمونه‌ها به‌طور غیر صریح به فضای ویژگی جدیدی با ابعاد بالاتر نگاشت یافته و سپس در این فضای ویژگی جدید، معیار فاصله برای کاربرد مورد نظر آموزش داده می‌شود. برخلاف عملکرد بسیار خوب توابع کرنل در الگوریتم‌های مختلف، یکی از مسائلی که در این الگوریتم‌ها وجود دارد، انتخاب کرنل مناسب و یا پارامترهای مناسب برای یک کرنل مشخص است. استفاده از کرنل مرکب به جای استفاده از یک کرنل به‌تنهایی، بهترین راه حلی است که تاکنون برای این مسئله ارائه شده است. در فرآیند دست‌یابی به کرنل مرکب بهینه نیز، استفاده از الگوریتم‌های یادگیری اهمیت دارد. در این پژوهش، با ادغام این دو فرآیند یادگیری، ساختارهای نیمه نظارتی متفاوتی برای تعیین وزن کرنل‌ها در یک ترکیب کرنلی ارائه می‌شود. کرنل مرکب نهایی برای سنجش فاصله داده‌ها در کاربرد خوشه‌بندی مورد استفاده واقع می‌شود. در ساختارهای نیمه نظارتی بررسی‌شده، سعی بر آن است که در فرآیند بهینه‌سازی با تعیین تابع هدف مناسب، وزن کرنل‌ها به‌گونه‌ای تعیین شود که فاصله زوج‌های مشابه کمینه و فاصله زوج‌های نامشابه بیشینه شود. بررسی عملکرد این ساختارهای پیشنهادی بر روی داده مصنوعی XOR و همچنین مجموعه داده‌های پایگاه داده UCI نشان دهنده مؤثر بودن ساختارهای پیشنهادی است. Distance metric has a key role in many machine learning and computer vision algorithms so that choosing an appropriate distance metric has a direct effect on the performance of such algorithms. Recently, distance metric learning using labeled data or other available supervisory information has become a very active research area in machine learning applications. Studies in this area have shown that distance metric learning-based algorithms considerably outperform the commonly used distance metrics such as Euclidean distance. In the kernelized version of the metric learning algorithms, the data points are implicitly mapped into a new feature space using a non-linear kernel function. The associated distance metric is then learned in this new feature space. Utilizing kernel function improves the performance of pattern recognition algorithms, however choosing a proper kernel and tuning its parameter(s) are the main issues in such methods. Using of an appropriate composite kernel instead of a single kernel is one of the best solutions to this problem. In this research study, a multiple kernel is constructed using the weighted sum of a set of basis kernels. In this framework, we propose different learning approaches to determine the kernels weights. The proposed learning techniques arise from the distance metric learning concepts. These methods are performed within a semi supervised framework where different cost functions are considered and the learning process is performed using a limited amount of supervisory information. The supervisory information is in the form of a small set of similarity and/or dissimilarity pairs. We define four distance metric based cost functions in order to optimize the multiple kernel weight. In the first structure, the average distance between the similarity pairs is considered as the cost function. The cost function is minimized subject to maximizing of the average distance between the dissimilarity pairs.  This is in fact, a commonly used goal in the distance metric learning problem. In the next structure, it is tried to preserve the topological structure of the data by using of the idea of graph Laplacian. For this purpose, we add a penalty term to the cost function which preserves the topological structure of the data. This penalty term is also used in the other two structures. In the third arrangement, the effect of each dissimilarity pair is considered as an independent constraint. Finally, in the last structure, maximization of the distance between the dissimilarity pairs is considered within the cost function not as a constraint.  The proposed methods are examined in the clustering application using the kernel k-means clustering algorithm. Both synthetic (a XOR data set) and real data sets (the UCI data) used in the experiments and the performance of the clustering algorithm using single kernels, are considered as the baseline. Our experimental results confirm that using the multiple kernel not only improves the clustering result but also makes the algorithm independent of choosing the best kernel. The results also show that increasing of the number of constraints, as in the third structures, leads to instability of the algorithm which is expected. یادگیری معیار فاصله, یادگیری کرنل‌ مرکب, زوج‌های مشابه, زوج‌های نامشابه, یادگیری نیمه‌نظارتی Distance Metric Learning, Multiple Kernel Learning, Similarity pairs, Dissimilarity pairs, Semi supervised 53 70 http://jsdp.rcisp.ac.ir/browse.php?a_code=A-10-739-1&slc_lang=fa&sid=1 Tahereh Zare Bidoki طاهره زارع بیدکی t.zare@yazd.ac.ir 10031947532846005225 10031947532846005225 Yes Yazd University دانشگاه یزد Mohammad Taghi Sadeghi محمد تقی صادقی m.sadeghi@yazd.ac.ir 10031947532846005226 10031947532846005226 No Yazd University دانشگاه یزد Hamid Reza Abutalebi حمیدرضا ابوطالبی habutalebi@yazd.ac.ir 10031947532846005227 10031947532846005227 No Yazd University دانشگاه یزد