دوره 16، شماره 3 - ( 10-1398 )
جلد 16 شماره 3 صفحات 129-148 |
برگشت به فهرست نسخه ها
Download citation:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:
Zandifar M, Tahmoresnezhad J. Sample-oriented Domain Adaptation for Image Classification. JSDP 2019; 16 (3) :148-129
URL: http://jsdp.rcisp.ac.ir/article-1-847-fa.html
URL: http://jsdp.rcisp.ac.ir/article-1-847-fa.html
زندی فر مژده، طهمورث نژاد جعفر. پردازش تصویر بین‌دامنه‌ای با استفاده از تحلیل تفکیک خطی و تطبیق دامنه مبتنی‌بر نمونه. پردازش علائم و داده‌ها. 1398; 16 (3) :148-129
دانشکده مهندسی فناوری اطلاعات و کامپیوتر، دانشگاه صنعتی ارومیه
چکیده: (3262 مشاهده)
پردازش تصویر روشی برای اعمال برخی عملیاته‌ا بر روی یک تصویر است به‌طوری‌که با استفاده از آن، تصاویری با کیفیت بالاتر به‌دست آمده یا برخی اطلاعات مفید از تصویر استخراج میشود. الگوریتم‌های سنتی پردازش تصویر در شرایطی‌که تصاویر آموزشی (دامنه منبع) که برای یاددهی مدل استفاده می‌شوند، توزیع متفاوتی از تصاویر آزمایش (دامنه هدف) داشته باشند، نمی‌توانند عملکرد خوبی داشته باشند. با این‌حال، بسیاری از برنامه‌های کاربردی دنیای واقعی به‌علت کمبود داده‌های برچسب‌دار آموزشی دارای محدودیت هستند؛ از‌این‌رو از داده‌های برچسب‌دار دامنه‌های دیگر استفاده می‌کنند. به‌این ترتیب به‌خاطر اختلاف توزیع بین دامنه‌های منبع و هدف، طبقه‌بند یادگرفته شده براساس مجموعه آموزشی بر روی داده‌های آزمایشی عملکرد ضعیفی خواهد داشت. یادگیری انتقالی و انطباق دامنه، با به‌کارگیری مجموعه‌داده‌های موجود دو راه حل برجسته برای مقابله با این چالش هستند، و حتی با وجود اختلاف توزیع قابل ملاحظه بین دامنه‌ها می‌توانند دانش را از دامنه‌های مرتبط به دامنه هدف انتقال دهند. فرض اصلی در مسأله تغییر دامنه این است که توزیع حاشیه‌ای یا توزیع شرطی داده‌های منبع و هدف متفاوت باشد. تطبیق دامنه به‌طور صریح با استفاده از معیار فاصله ازپیش تعیین‌شده تفاوت در توزیع حاشیه‌ای، توزیع شرطی یا هر دو توزیع را کاهش می‌دهد. در این مقاله، ما به یک سناریوی چالش‌برانگیز می‌پردازیم که در آن تصاویر دامنه‌های منبع و هدف در توزیع‌های حاشیه‌ای متفاوت بوده و تصاویر هدف دارای برچسب نیستند. بیش‌تر روش‌های قبلی دو استراتژی یادگیری تطابق ویژگی‌ها و وزن‌دهی مجدد نمونه‌ها را به‌طور مستقل برای تطبیق دامنه‌ها مورد بررسی قرار داده‌اند. در این مقاله، ما نشان می‌دهیم زمانی که تفاوت دامنه‌ها به‌طور قابل توجهی بزرگ باشد، هر دو استراتژی مهم و اجتناب‌ناپذیر هستند. روش پیشنهادی ما تحت عنوان تطبیق دامنه مبتنی‌بر نمونه برای طبقه‌بندی تصاویر (DAIC)، یک فرایند کاهش بُعد بوده که با کاهش اختلاف توزیع تصاویر آموزشی و آزمایشی و به‌کارگیری هم‌زمان تطابق ویژگی‌ها و وزن‌دهی مجدد کارایی مدل را افزایش می‌دهد. ما با گسترش واگرایی برگمن غیرخطی برای اندازه‌گیری تفاوت توزیع حاشیه‌ای و اعمال آن به الگوریتم کاهش بعد آنالیز تفکیک خطی فیشر، از آن برای ساخت یک نمایش ویژگی مؤثر و قوی برای تفاوت‌های توزیع قابل ملاحظه بین دامنه‌ها استفاده می‌کنیم؛ همچنین، DAIC از مزیت برچسب‌گذاری اولیه برای داده‌های هدف به‌صورت تکرار‌شونده برای هم‌گرایی مدل استفاده می‌کند. آزمایش‌های گسترده ما نشان می‌دهد که DAIC به‌طور قابل توجهی بهتر از الگوریتم‌های یادگیری ماشین پایه و دیگر روش‌های یادگیری انتقالی در نُه مجموعه داده بصری تحت سناریوهای مختلف عمل می‌کند.
واژه‌های کلیدی: پردازش تصویر، یادگیری انتقالی، واگرایی برگمن، کاهش اختلاف توزیع حاشیه‌ای، کاهش ابعاد
نوع مطالعه: پژوهشي |
موضوع مقاله:
مقالات پردازش تصویر
دریافت: 1396/12/22 | پذیرش: 1398/4/12 | انتشار: 1398/10/17 | انتشار الکترونیک: 1398/10/17
دریافت: 1396/12/22 | پذیرش: 1398/4/12 | انتشار: 1398/10/17 | انتشار الکترونیک: 1398/10/17
فهرست منابع
1. [1] S. J. Pan and Q. Yang, “A survey on transfer learning,” IEEE Transactions on Knowledge and Data Engineering, vol. 22, no. 10, pp. 1345–1359, 2010.
2. [2] L. Shao, F. Zhu, and X. Li, “Transfer learning for visual categorization: A survey,” IEEE trans-actions on neural networks and learning systems, vol. 26, no. 5, pp. 1019–1034, 2015.
3. [3] S. Ben-David, J. Blitzer, K. Crammer, A. Kulesza, F. Pereira, and J. W. Vaughan, “A theory of learning from different domains,” Machine learning, vol. 79, no. 1-2, pp. 151–175, 2010.
4. [4] J. Tahmoresnezhad , and S. Hashemi, “A generalized kernel-based random k-sample sets method for transfer learning”, Iran J Sci Technol Trans Electrical Eng, vol. 39, pp. 193-207, 2015.
5. [5] S. Si, D. Tao, and B. Geng, “Bregman diver-gence-based regularization for transfer subspace learning”, IEEE TKDE, 2010.
6. [6] L. M. Bregman, “The relaxation method of finding the common points of convex sets and its application to the solution of problems in convex programming”, USSR Computational Mathe-matics and Mathematical Physics, vol, 7, pp. 200–217, 1967.
7. [7] M. Long, J. Wang, G. Ding, S. J. Pan and P. Yu, “Adaptation regularization: a general frame-work for transfer learning”, IEEE Trans. Knowl. Data Eng, vol. 26, pp. 1076–1089, 2013.
8. [8] X. Li, M. Fang, J. J. Zhang, and J. Wu, “Sample selection for visual domain adaptation via sparse coding”, Signal Processing: Image Communi-cation, vol 44, pp. 92-100, 2016.
9. [9] J. Tahmoresnezhad and S. Hashemi, “Visual domain adaptation via transfer feature learning”, KnowlInf Syst, vol. 50, no. 2, pp.585-605, 2016.
10. [10] M. Long, J. Wang, G. Ding, J. Sun, and P. Yu, “Transfer feature learning with joint distribution adaptation,” in Proc IEEE International Con-ference on Computer Vision, pp. 2200–2207, 2013.
11. [11] M. Ghifary, D. Balduzzi, W. B. Kleijn, and M. Zhang, “Scatter component analysis: A unified framework for domain adaptation and domain generalization,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. PP, no. 99, pp. 1–1, 2016.
12. [12] R. A. Fisher, “The use of multiple measurements in taxonomic problems,” Annals of eugenics, vol. 7, no. 2, pp. 179–188, 1936.
13. [13] K. Saenko, B. Kulis, M. Fritz and T. Darrell, “Adapting visual category models to new domains”, Proceedings of the European Conference on Computer Vision, pp. 213-226, 2010.
14. [14] J. J. Hull, “A database for handwritten text recognition research”, IEEE Trans. Pattern Anal. Mach. Intell, vol. 16, no. 5, pp. 550–554, 1994.
15. [15] Y. LeCun, L. Bottou, Y. Bengio, P. Haffner, “Gradient-based learning applied to document recognition”, Proc. IEEE, vol. 86, no. 11, pp. 2278–2324, 1998.
16. [16] T. Sim, S. Baker ,and M. Bsat, “The CMU pose, illumination, and expression (PIE) database”, Proceedings of Fifth IEEE International Con-ference on Automatic Face Gesture Recognition, pp. 53-58, 2002.
17. [17] Cuong V Dinh, Robert PW Duin, Ignacio Piqueras-Salazar, and Marco Loog. Fidos: A generalized fisher based feature extraction method for domain shift. Pattern Recognition, 46(9):2510–2518, 2013.
18. [18] L. Duan, D. Xu, I.W. Tsang, “Domain adaptation from multiple sources: A domain-dependent regularization approach,” IEEE Trans, Neural Netw. Learn. Syst. vol.23, pp. 504–518, 2012.
19. [19] M. Long, J. Wang, G. Ding, J. Sun, and P. S. Yu, “Transfer joint matching for unsupervised domain adaptation,” in Proc. IEEE Conference on Computer Vision and Pattern Recognition, IEEE, pp. 1410–1417 , 2014.
20. [20] Y. Xu, X. Fang, J. Wu, X. Li, and D. Zhang, “Discriminative transfer subspace learning via low-rank and sparse representation,” IEEE Transactions on Image Processing, vol. 25, no. 2, pp. 850–863, 2016.
21. [21] J. Tahmoresnezhad and S. Hashemi, “Visual domain adaptation via transfer285 feature learning,” Knowledge and Information Systems, vol. 50, no. 2, pp. 585– 605, 2017.
22. [22] J. Liu, J. Li, and K. Lu, “Coupled local–global adaptation for multi-source transfer learning,” Neurocomputing, vol. 275, pp. 247–254, 2018.
23. [23] L. Luo, X. Wang, S. Hu, C. Wang, Y. Tang, and L. Chen, “Close yet distinctive domain adaptation,” arXiv preprint arXiv: 1704.04235, 2017.
24. [24] W. Dai, Q. Yang, G.-R. Xue, and Y. Yu, “Boosting for transfer learning,” in Proceedings of the 24th international conference on Machine learning, 2007, pp. 193–200.
25. [25] Y. Tsuboi, H. Kashima, S. Hido, S. Bickel, and M. Sugiyama, “Direct density ratio estimation for large-scale covariate shift adaptation.” Information and Media Technologies, vol. 4, no. 2, pp. 529–546, 2009.
26. [26] J. Quionero-Candela, M. Sugiyama, A. Schwaighofer, and N. D. Lawrence, “Dataset Shift in Machine Learning”, The MIT Press, 2009.
27. [27] S. J. Pan, X. Ni, J.-T. Sun, Q. Yang, and Z. Chen, “Cross-domain sentiment classification via spectral feature alignment,” in Proceedings of the 19th international conference on World Wide Web. ACM, pp. 751–760, 2010.
28. [28] S. J. Pan, I. W. Tsang, J. T. Kwok, and Q. Yang, “Domain adaptation via transfer component analysis,” IEEE Transactions on Neural Networks, vol. 22, no. 2, pp. 199 – 210, 2011.
29. [29] X. Shi, Q. Liu, W. Fan, and P. S. Yu, “Transfer across completely different feature spaces via spectral embedding,” IEEE Transactions on Knowledge and Data Engineering, vol. 25, no. 4, pp. 906–918, 2013.
30. [30] R. Aljundi, R. Emonet, D. Muselet, and M. Sebban, “Landmarks-based kernelized subspace alignment for unsupervised domain adaptation,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 56–63, 2015.
31. [31] M. Gheisari and M. S. Baghshah, “Joint predictive model and representation learning for visual domain adaptation,” Engineering Appli-cations of Artificial Intelligence, vol. 58, pp. 157–170, 2017.
32. [32] Z. Ding, M. Shao, and Y. Fu, “Deep low-rank coding for transfer learning,” in Proceedings of the 24th International Conference on Artificial Intelligence. AAAI Press, 2015, pp. 3453–3459.
33. [33] M. Long, J. Wang, G. Ding, J. Sun, and P. Yu, “Transfer feature learning with joint distribution adaptation,” in Proceedings of the IEEE International Conference on Computer Vision, 2013, pp. 2200– 2207.
34. [34] H. Li, T. Jiang, and K. Zhang, “Efficient and robust feature extraction by maximum margin criterion,” IEEE Transactions on Neural Networks, vol. 17, no. 1, pp. 157–165, 2006.
35. [35] M. Long, J. Wang, G. Ding, S. J. Pan, and P. S. Yu, “Adaptation regularization: A general framework for transfer learning,” IEEE Tran-sactions on Knowledge and Data Engineering, vol. 26, no. 5, pp. 1076–1089, 2014.
36. [36] Y. Xu, S. J. Pan, H. Xiong, Q. Wu, R. Luo, H. Min, and H. Song, “A uni- 310 fied framework for metric transfer learning,” IEEE Trans. Knowl. Data Eng., vol. 29, no. 6, pp. 1158–1171, 2017.
37. [37] سیدصالحی سیده زهره، سیدصالحی سید علی، بهبود مدل تفکیک‌کننده منیفلدهای غیرخطی به منظور بازشناسی چهره یا یک تصویر از هر فرد. پردازش علائم و داده‌ها.1394؛ 12 (1) : 3-16.
38. [37] S. Z. Seyyedsalehi, S. A. Seyyedsalehi, “Improving nonlinear manifold separator model to the face recognition by a single image of per person”, Signal and Data Processing, vol. 12, no. 1, pp. 3–16, 2015.
39. [38] احمدخانی سمیه، ادیبی پیمان. مدل ترکیبی تحلیل مؤلفه اصلی احتمالاتی بانظارت در چارچوب کاهش بعد بدون اتلاف برای شناسایی چهره. پردازش علائم و داده‌ها.1394؛ 12 (4) : 53-65.
40. [38] S. Ahmadkhani, and P. Adibi, “Supervised Probability Component Analysis Mixture Model in a Lossless Dimensionality Reduction Frame-work for Face Recognition”, Signal and Data Processing, vol. 12, no. 4, pp. 53–65, 2016.
ارسال پیام به نویسنده مسئول
| بازنشر اطلاعات | |
 |
این مقاله تحت شرایط Creative Commons Attribution-NonCommercial 4.0 International License قابل بازنشر است. |
