Signal and Data Processing

fa بهبود الگوریتم تناظریابی SIFT جهت تطبیق تصاویر ماهواره‌ای مرئی با استفاده از شبکه عصبی عمیق دوقلو Improvement of SIFT matching algorithm for matching visible satellite images using Siamese deep neural network مقالات پردازش تصویر Paper پژوهشي Research <div style="text-align: justify;">تطبیق تصاویر سنجش‌ازدور یک مرحله اساسی و پایه‌ای در بسیاری از کاربردهای پردازش تصویر است؛ برخلاف تصاویر معمولی، تصاویر سنجش‌ازدور به‌طورمعمول تحت تأثیر تغییرات پیچیده پس‌زمینه هستند که باعث دشواری تطبیق این دسته از تصاویر می‌شود. تصاویر مورد استفاده علاوه‌بر تغییرات شدید و غیرخطی در پس‌زمینه، شامل چالش‌هایی مانند تفاوت مقیاس، چرخش و زاویه دید متفاوت است. یکی از الگوریتم‌های پرکاربرد برای یافتن نقاط متناظر میان تصاویر، الگوریتم SIFT است که استفاده از این الگوریتم برای تطبیق تصاویر با ویژگی‌های گفته‌شده، در بسیاری از مواقع باعث تولید تطابق‌های اشتباه فراوان و تطابق‌های صحیح کم می‌شود؛ از طرفی روش‌های مبتنی بر یادگیری عمیق قادر به استخراج ویژگی‌های سطح متوسط و بالا و مقایسه آن‌ها برای تطبیق تصاویرند. با الهام از توانایی‌ها و پیشرفت‌های انجام‌شده در یادگیری عمیق، روشی برای استفاده هم‌زمان از الگوریتم SIFT و شبکه‌های عصبی عمیق برای تطبیق تصاویر سنجش‌ازدور معرفی شده‌است؛ بر اساس آزمایش‌های صورت‌گرفته بر روی مجموعه‌ای از تصاویر سنجش‌ازدور شامل 35 جفت تصویر و مقایسه نتایج نسبت به الگوریتم SIFT و الگوریتم‌های مبتنی بر یادگیری عمیق، روش پیشنهادی توانسته با کاهش تطابق‌های اشتباه و افزایش تطابق‌های صحیح، به دقت 849 درصد برسد.</div> <div style="text-align: justify;">Matching remote sensing images is a fundamental step in many image processing applications. Unlike regular images, remote sensing images often undergo complex and nonlinear background changes, making them difficult to match. They also pose challenges such as scale variations, rotation, and different viewing angles. One commonly used method for finding corresponding points between images is the Scale-Invariant Feature Transform (SIFT) algorithm; however, it often produces many incorrect matches when applied to such data. In contrast, deep learning-based approaches can extract and compare medium and high-level features for more accurate matching. Inspired by these advances, this work introduces a method that combines the SIFT algorithm with a Siamese deep neural network to improve the matching of remote sensing images. The proposed method modifies the conventional SIFT by adjusting its parameters to increase the proportion of correct to incorrect correspondences. After keypoints are extracted and described, initial correspondences are established. Then, for each matched point, a local patch is extracted based on the keypoint’s position, scale, and orientation. These patch pairs are input to a trained Siamese network that estimates the probability of a correct match. Matches with confidence below a threshold are rejected. This hybrid approach leverages the strengths of both traditional and deep learning-based techniques to enhance accuracy. The proposed approach introduces several key innovations, including optimized keypoint extraction to maximize true matches, patch-based feature representation aligned with local image geometry, and a neural network-based verification step to suppress incorrect matches. Based on experiments conducted on a dataset of 35 pairs of remote sensing images, and comparing the results with the SIFT algorithm and deep learning-based methods, the proposed approach achieved an accuracy of 0.849 by reducing false matches and increasing correct ones.</div> الگوریتم SIFT, تطبیق تصاویر, سنجش‌ازدور, شبکه‌های عصبی کانولوشنی دوقلو Image Keywords: Image Matching, Remote Sensing, SITF Algorithm, Deep Learning, Siamese Convolutional Neural Networks Matching, Remote Sensing, SITF Algorithm, Deep Learning, Siamese Convolutional Neural Networks. 3 18 http://jsdp.rcisp.ac.ir/browse.php?a_code=A-10-35-4&slc_lang=fa&sid=1 Ahmadreza Zarei احمدرضا زارعی ahmadrezazarei92@gmail.com 100319475328460014062 100319475328460014062 No Master, Department of Electrical Engineering, Faculty of Engineering, University of Isfahan, Isfahan, Iran دانش‌آموخته کارشناسی‌ارشد رشته مهندسی برق، دانشکده فنی و مهندسی، دانشگاه اصفهان، اصفهان، ایران Payman Moallem پیمان معلم p_moallem@eng.ui.ac.ir 100319475328460014063 100319475328460014063 Yes Professor, Department of Electrical Engineering, Faculty of Engineering, University of Isfahan, Isfahan, Iran استاد گروه مهندسی برق، دانشکده فنی و مهندسی، دانشگاه اصفهان، اصفهان، ایران