Signal and Data Processing

fa ارائه یک روش مؤثر برای یادگیری مقاوم متریک در برابر نوفه برچسب An Effective Approach for Robust Metric Learning in the Presence of Label Noise مقالات پردازش داده‌های رقمی Paper پژوهشي Research <div style="text-align: justify;">تعیین شباهت/ فاصله داده‌ها در بسیاری از الگوریتم‌های یادگیری ماشین، شناسایی الگو و داده‌کاوی کاربرد دارد. در بسیاری از کاربردها، معیارهای عمومی شباهت/فاصله کارایی بالایی ندارد و به‌طورمعمول با استفاده از داده‌ها می‌توان معیار مناسب‌تری را یاد گرفت. داده‌های آموزشی برای این منظور به‌طورمعمول به‌صورت زوج‌های مشابه و نامشابه و یا محدودیت‌های سه‌گانه هستند. در کاربردهای واقعی، این داده‌های آموزشی از طریق اینترنت و به‌طورمعمول با روش‌هایی نظیر Crowdsourcing جمع‌آوری می‌شود که می‌تواند حاوی نوفه و اطلاعات اشتباه باشد. کارایی روش‌های یادگیری متریک در صورت وجود اطلاعات آموزشی نوفه‌ای و اشتباه به‌شدت افت می‌کند و حتی ممکن است این روش‌ها از معیارهای عمومی فاصله نظیر اقلیدسی نیز بدتر عمل کنند. بنابراین نیاز به مقاوم‌سازی روش‌های یادگیری متریک در برابر نوفه برچسب وجود دارد. در این پژوهش، یک تابع احتمالاتی جدید برای تعیین احتمال نوفه‌ای‌‌بودن برچسب داده‌ها با استفاده از محدودیت‌های سه‌گانه آموزشی ارائه‌شده است که باعث می‌شود، الگوریتم یادگیری متریک بتواند داده‌های پرت و نوفه‌ای را شناسایی کند و تأثیر آن‌ها را فرایند یادگیری کاهش دهد. همچنین نشان داده‌ شده است که چگونه از اطلاعات به‌دست‌آمده می‌توان برای افزایش کارایی الگوریتم مبتنی بر متریک (مانند kNN) بهره برد و عملکرد آن را به‌طور قابل‌ملاحظه‌ای افزایش داد. نتایج آزمایش‌ها بر روی مجموعه‌ای از داده‌های ساختگی و واقعی، تأیید می‌کند که روش پیشنهادی به‌طور قابل‌ملاحظه‌ای کارایی روش‌های یادگیری متریک را در محیط‌هایی با نوفه برچسب بهبود می‌بخشد و بر روش‌های همتا در مرزهای دانش در سطوح مختلف نوفه برچسب برتری دارد.</div> <div style="text-align: justify;">Many algorithms in machine learning, pattern recognition, and data mining are based on a similarity/distance measure. For instance, the kNN classifier and clustering algorithms such as k-means require a similarity/distance function. Also, in Content-Based Information Retrieval (CBIR) systems, we need to rank the retrieved objects based on the similarity to the query. As generic measures like Euclidean and cosine similarity are not appropriate in many applications, metric learning algorithms have been developed with the aim of learning an optimal distance function from data. These methods often need training data in the form of pair or triplet sets. Nowadays, this training data is popularly obtained via crowdsourcing from the Internet.  Therefore, this information may be contaminated with label noise resulting in the poor performance of the learned metric. In some datasets, even it is possible that the learned metrics perform worse than the general ones such as Euclidean. To address this emerging challenge, we present a new robust metric learning algorithm that can identify outliers and label noise simultaneously from training side information. For this purpose, we model the probability distribution of label noise based on information in the training data. The proposed distribution function efficiently assigns the high probability to the data points contaminated with label noise. On the other hand, its value on the normal instances is near zero. Afterward, we weight the training instances according to these probabilities in our metric learning optimization problem. The proposed optimization problem can be solved using available SVM libraries such as LibSVM efficiently. Note that the proposed approach for identifying data with label noise is general and can easily be applied to any existing metric learning algorithms. After the metric learning phase, we utilized both the weights and the learned metric to enhance the accuracy of the metric-based classifier such as kNN. Several experiments are conducted on both real and synthetic datasets. The results confirm that the proposed algorithm enhances the performance of the learned metric in the presence of label noise and considerably outperforms state-of-the-art peer methods at different noise levels.</div> یادگیری متریک مقاوم, نوفه برچسب, داده‌های پرت, معیار فاصله Robust Metric Learning, Label Noise, Outlier, Distance Measure 125 136 http://jsdp.rcisp.ac.ir/browse.php?a_code=A-10-1158-1&slc_lang=fa&sid=1 Davood Zabihzadeh داود ذبیح زاده d.zabihzadeh@gmail.com 100319475328460011010 100319475328460011010 Yes Sabzevar University of New Technology دانشگاه حکیم سبزواری Saeed Zahedi سعید زاهدی s.zahedi@mail.um.ac.ir 100319475328460011011 100319475328460011011 No Ferdowsi University of Mashhad دانشگاه فردوسی مشهد Reza Monsefi رضا منصفی monsefi@um.ac.ir 100319475328460011012 100319475328460011012 No Ferdowsi University of Mashhad دانشگاه فردوسی مشهد