دوره 14، شماره 4 - ( 12-1396 )                   جلد 14 شماره 4 صفحات 116-97 | برگشت به فهرست نسخه ها


XML English Abstract Print


Download citation:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:

Zare mehrjardi M, Rezaeian M. Using of Model Based Hand Poses Estimation for Imitation of User's Arm Movements by Robot Arm. JSDP 2018; 14 (4) :97-116
URL: http://jsdp.rcisp.ac.ir/article-1-522-fa.html
زارع مهرجردی مریم، رضائیان مهدی. استفاده از برآورد حالت‌های پویای دست مبتنی بر مدل، برای تقلید عملکرد بازوی انسان توسط ربات با داده‌های کینکت. پردازش علائم و داده‌ها. 1396; 14 (4) :97-116

URL: http://jsdp.rcisp.ac.ir/article-1-522-fa.html


دانشگاه یزد
چکیده:   (5484 مشاهده)

برای اجرای فرآیند ضبط حرکت، لازم است داده­های مناسب، در طول زمان با دنبال‌کردن نقاط کلیدی از هدف مورد نظر استخراج شوند. با این داده­ها و طی یک سری عملیات پس­پردازشی کارهای زیادی از جمله ساخت مجدد آن حرکت در فضای سه­بعدی می‌توان انجام داد. در این مقاله یک الگوی برآورد حالت­های پویای دست مبتنی بر مدل با استفاده از روش ضبط حرکت بدون نشانه­گذاری ارائه می­شود. در این پژوهش حرکات بازوی عامل انسانی در قالب دنباله­ای از تصاویر رنگی به همراه داده­های عمق و اسکلت به‌دست‌آمده از کینکت (ابزاری برای ضبط حرکت بدون نشانه­گذاری) با سرعت سی فریم در ثانیه به‌عنوان داده­های ورودی­ استفاده شده­اند. الگوی پیشنهادی، ویژگی­های زمانی و مکانی از دنباله تصاویر ورودی استخراج می­کند و روی تعیین موقعیت نوک انگشتان شست و اشاره و به‌دست‌آوردن زوایای مفاصل ربات، به‌منظور تقلید حرکت بازوی عامل انسانی در سه ­بعد در یک محیط کنترل‌نشده تمرکز دارد. در این پژوهش از  بازوی ربات واقعی RoboTEK II ST240 استفاده شده و حرکات بازوی عامل انسانی به حرکات تعریف‌شده برای این بازوی ربات محدود شده است. بردارویژگی جهت برآورد حالت به‌ازای هر فریم، به مختصات x، y و عمق برخی مفاصل و مختصات نوک انگشتان شست و اشاره نیازدارد. از داده­های عمق و اسکلت برای تعیین زوایای مفاصل ربات استفاده می­شود؛ ولی تعیین نوک انگشتان به‌طور مستقیم با داده­های موجود امکان­پذیر نیست؛ از این­رو سه رویکرد برای شناسایی نوک انگشتان شست و اشاره با استفاده از داده­های موجود ارائه می­شود. در این رویکردها از مفاهیمی همچون آستانه­گیری، لبه­یابی، ساخت پوسته محدب، مدل‌کردن رنگ پوست و تفریق پس­زمینه استفاده می­شود. در پایان برای تقلید حرکت، با استفاده از بردارهای ویژگی به‌ازای هر فریم، حالت متناظر بر روی بازوی ربات اعمال می­شود. برای ارزیابی تقلید حرکت، مسیرهای طی‌شده توسط قسمت نهایی دست عامل انسانی و قسمت مجری نهایی بازوی ربات با هم مقایسه شده‌اند. نمودارهایی که میزان تغییرات زوایای مفاصل را برای این دو مورد نشان می­دهند، گویای مؤثر بودن الگوی پیشنهادی در تقلید عملکرد بازوی انسانی است.
 

متن کامل [PDF 8424 kb]   (1209 دریافت)    
نوع مطالعه: پژوهشي | موضوع مقاله: مقالات پردازش تصویر
دریافت: 1395/3/2 | پذیرش: 1395/12/15 | انتشار: 1396/12/22 | انتشار الکترونیک: 1396/12/22

فهرست منابع
1. [1] T. B. Moeslund and E. Granum, "A survey of computer vision-based human motion capture", Computer vision and image understanding, vol. 81, no. 3, pp. 231–268, 2001. [DOI:10.1006/cviu.2000.0897]
2. [2] H. Liang, J. Yuan, D. Thalmann, and Z. Zhang, "Model-based hand pose estimation via spatial-temporal hand parsing and 3D fingertip localization", vol. 29, no. 6–8, pp. 837–848, 2013.
3. [3] K. Fujimura and X. Liu, "Sign recognition using depth image streams", 7th International Conference on Automatic Face and Gesture Recognition, pp. 381–386, 2006. [DOI:10.1109/FGR.2006.101]
4. [4] J. MacCormick and A. Blake, "A probabilistic exclusion principle for tracking multiple objects", International Journal of Computer Vision, vol. 39, no. 1, pp. 57–71, 2000. [DOI:10.1023/A:1008122218374]
5. [5] M. Moghaddam, M. Nahvi, and R. H. Pak, "Static Persian Sign Language Recognition Using Kernel-Based Feature Extraction", 7th Iranian Machine Vision and Image Processing (MVIP), pp. 1–5, 2011. [PMID] [PMCID]
6. [6] P. Breuer, C. Eckes, and S. Müller, "Hand gesture recognition with a novel IR time-of-flight range camera--a pilot study", in Comput-er Vision/Computer Graphics Collaboration Techniques, Springer, pp. 247–260, 2007. [DOI:10.1007/978-3-540-71457-6_23]
7. [7] C. Plagemann, V. Ganapathi, D. Koller, and S. Thrun, "Real-time identification and localiza-tion of body parts from depth images", IEEE International Conference on Robotics and Automation (ICRA), pp. 3108–3113, 2010.
8. [8] A. Baak, M. Müller, G. Bharaj, H.-P. Seidel, and C. Theobalt, "A data-driven approach for real-time full body pose reconstruction from a depth camera", Consumer Depth Cameras for Computer Vision. Springer London, pp. 71–98, 2013. [DOI:10.1007/978-1-4471-4640-7_5]
9. [9] L. A. Schwarz, A. Mkhitaryan, D. Mateus, and N. Navab, "Estimating human 3d pose from time-of-flight images based on geodesic distances and optical flow", IEEE International Conference on Automatic Face & Gesture Recognition and Workshops, pp. 700–706, 2011. [DOI:10.1109/FG.2011.5771333]
10. [10] A. Kuznetsova and B. Rosenhahn, "Hand pose estimation from a single rgb-d image", Advances in Visual Computing. Springer Berlin Heidelberg, pp. 592–602, 2013. [DOI:10.1007/978-3-642-41939-3_58]
11. [11] J. L. Raheja, A. Chaudhary, and K. Singal, "Tracking of fingertips and centers of palm using kinect", 3th international conference on Computational intelligence, modelling and simulation, pp. 248–252, 2011. [DOI:10.1109/CIMSim.2011.51]
12. [12] Y. Li, "Hand gesture recognition using Kinect", IEEE 3rd International Conference on Software Engineering and Service Science, pp. 196–199, 2012.
13. [13] Z. Li and R. Jarvis, "Real time hand gesture recognition using a range camera", Australa-sian Conference on Robotics and Automation, pp. 21–27, 2009.
14. [14] Q. K. Le, C. H. Pham, and T. H. Le, "Road Traffic Control Gesture Recognition using Depth Images", journal of IEEK Transactions on Smart Processing and Computing, vol. 1, no. 1, pp. 1–7, 2012.
15. [15] L. Cheng, Q. Sun, H. Su, Y. Cong, and S. Zhao, "Design and implementation of human-robot interactive demonstration system based on Kinect", 24th Chinese Control and Decision Conference, pp. 971–975,2012.
16. [16] K. Qian, J. Niu, and H. Yang, "Developing a Gesture Based Remote Human-Robot Interac-tion System Using Kinect", International Journal of Smart Home, vol. 7, no. 4, 2013.
17. [17] D. Xu, X. Wu, Y.-L. Chen, and Y. Xu, "Online Dynamic Gesture Recognition for Human Robot Interaction", Journal of Intelligent & Robotic Systems, pp. 1–14, 2014.
18. [18] A. Billard and M.J. Matarić, "Learning human arm movements by imitation:: Evaluation of a biologically inspired connectionist architect-ture", Robotics and Autonomous Syst-ems, vol. 37, no. 2, pp.145-160, 2001. [DOI:10.1016/S0921-8890(01)00155-5]
19. [19] S. Filiatrault and A.M. Cretu. "Human arm motion imitation by a humanoid robot", IEEE International Symposium on Robotic and Sensors Environments, pp.31-36,2014. [DOI:10.1109/ROSE.2014.6952979]
20. [20] J. Shotton, T. Sharp, A. Kipman, A. Fitzgibbon, M. Finocchio, A. Blake, M. Cook, and R. Moore, "Real-time human pose recognition in parts from single depth images", Communica-tions of the ACM, vol. 56, no. 1, pp. 116–124, 2013. [DOI:10.1145/2398356.2398381]
21. [21] P. Kakumanu, S. Makrogiannis, and N. Bourbakis, "A survey of skin-color modeling and detection methods", Pattern Recognition, vol. 40, no. 3, pp. 1106–1122, 2007. [DOI:10.1016/j.patcog.2006.06.010]
22. [22] J. Yang, W. Lu, and A. Waibel, "Skin-color modeling and adaptation, " Springer, 1997. [DOI:10.21236/ADA327881]
23. [23] V. Vezhnevets, V. Sazonov, and A. Andreeva, "A survey on pixel-based skin color detection techniques", Proc. Graphicon, vol. 3, pp. 85–92, 2003.
24. [24] R.-L. Hsu, M. Abdel-Mottaleb, and A. K. Jain, "Face detection in color images", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 5, pp. 696–706, 2002. [DOI:10.1109/34.1000242]
25. [25] D. Chai and A. Bouzerdoum, "A Bayesian approach to skin color classification in YCbCr color space", TENCON Proceedings, vol. 2, pp. 421–424, 2000. [DOI:10.1109/TENCON.2000.888774]
26. [26] D. Chai and K. N. Ngan, "Locating facial region of a head-and-shoulders color image", Third IEEE International Conference on Automatic Face and Gesture Recognition, pp. 124–129, 1998. [DOI:10.1109/AFGR.1998.670936]
27. [27] K.-W. Wong, K.-M. Lam, and W.-C. Siu, "A robust scheme for live detection of human faces in color images", Signal Processing: Image Communication, vol. 18, no. 2, pp. 103–114, 2003. [DOI:10.1016/S0923-5965(02)00088-7]
28. [28] J. J. De Dios and N. Garcia, "Face detection based on a new color space YCgCr", Interna-tional Conference on Image Processing, vol. 3, pp. 906–909, 2003. [DOI:10.1109/ICIP.2003.1247393]
29. [29] H.-S. Yeo, B.-G. Lee, and H. Lim, "Hand tracking and gesture recognition system for human-computer interaction using low-cost hardware", Multimedia Tools and Applica-tions, vol. 74, no. 8, pp. 2687–2715, 2013. [DOI:10.1007/s11042-013-1501-1]

ارسال نظر درباره این مقاله : نام کاربری یا پست الکترونیک شما:
CAPTCHA

ارسال پیام به نویسنده مسئول


بازنشر اطلاعات
Creative Commons License این مقاله تحت شرایط Creative Commons Attribution-NonCommercial 4.0 International License قابل بازنشر است.

کلیه حقوق این تارنما متعلق به فصل‌نامة علمی - پژوهشی پردازش علائم و داده‌ها است.