دوره 22، شماره 1 - ( 3-1404 )
جلد 22 شماره 1 صفحات 38-25 |
برگشت به فهرست نسخه ها
Download citation:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:
Mohajjel kafshdooz M, Shamsi M, Rastari S. Resource-Aware Neural Architecture Search for Multicore Embedded Real-Time Systems. JSDP 2025; 22 (1) :25-38
URL: http://jsdp.rcisp.ac.ir/article-1-1418-fa.html
URL: http://jsdp.rcisp.ac.ir/article-1-1418-fa.html
محجل کفشدوز مرتضی، شمسی محبوبه، رستاری سهیل. جستجوی معماری شبکههای عصبی عمیق آگاه از منابع در سامانه‌های نهفته چندهستهای. پردازش علائم و داده‌ها. 1404; 22 (1) :25-38
دانشگاه صنعتی قم
چکیده: (78 مشاهده)
ایجاد شبکههای عصبی به صورت غیر‌خودکار یک فرآیند آهسته مبتنی بر آزمون و خطا است و زمانی که تعداد پارامترهای شبکه و یا تعداد لایه‌ها افزایش می‌یابد روش غیر‌خودکار بسیار هزینه‌بر و نتیجه‌نهایی غیر‌‌‌بهینه خواهد بود. برای حل این مسئله از الگوریتم‌های خودکار جستجوی معماری شبکه استفاده می‌شود. اخیراً، این الگوریتمها توانسته‌اند در مجموعه‌داده‌های مختلف مانند CIFAR-10، ImageNet و Penn Tree Bank به دقت‌های بالایی دست یابند. زیرا این الگوریتمها توانایی جستجوی فضای وسیعی از معماری‌ها با ویژگی‌های مختلف مانند عمق شبکه، عرض، نحوه اتصال و عملیات را جهت کشف معماری‌ها با دقت مناسب، دارا می‌باشند. با این وجود یکی از چالش‌های سنتی این الگوریتمها زمان جستجوی بالای آن‌ها است (در حدود دهها هزار ساعت GPU) که البته با پژوهش‌های جدید انجام شده این زمان به دهها ساعت کاهش یافته است. چالش دیگری که به طور معمول در این روش‌ها وجود دارد تمرکز آن‌ها در جهت بهبود دقت شبکه است و به سایر معیارها مانند سرعت شبکه و منابع مصرفی توجه‌ای نمی‌شود. در نتیجه از این روش‌ها به صورت مستقیم جهت پیدا کردن معماری بهینه در سامانه‌های نهفته که با محدودیت منابع مانند قدرت پردازشی، حافظه و انرژی مصرفی هستند نمی‌توان استفاده کرد. بنابراین باید روشهای جستجویی را ابداع کرد که آگاه از این محدودیت‌ها باشند. در این زمینه در سال‌‌های اخیر پژوهش‌‌‌هایی صورت گرفته است. اما در این روش‌ها به طور خاص بر روی معماری‌‌های چندهستهای درشت دانه که فاقد GPU هستند تمرکز نشده است. در این مقاله به ارائه روشی جهت طراحی خودکار شبکه‌هایی که مناسب اجرا بر روی پردازنده‌های چندهستهای هستند، خواهیم پرداخت. در این روش که براساس کاهش گرادیان است، یک اَبَرشبکه با مسیرهای موازی و بلوک‌های محاسباتی ایجاد می‌شود. تعداد مسیرهای موازی برابر یا کمتر از تعداد هسته‌ها در نظر گرفته می‌شود. برای انتخاب عملیات‌های مناسب در هر بلوک از مسیر از یکسری متغیر تصمیم‌گیری استفاده می‌کنیم. برای استفاده مسیرهای موازی از نتایج میانی همدیگر و افزایش دقت شبکه علاوه بر تصمیم‌گیری در مورد عملیات انجام شده در هر بلوک، در مورد نقاط همگام‌سازی نیز تصمیم‌گیری می‌شود. سپس با آموزش متغیرهای تصمیم‌گیری (نوع بلوک و نقاط همگام‌سازی) همزمان با وزن‌‌های اصلی شبکه زیرشبکه مناسب انتخاب می‌شود. در این روش بدلیل استفاده از روش کاهش گرادیان تنها دو بار فرآیند آموزش انجام می‌شود، و ساختار نهایی شبکه بدست می‌آید و در نتیجه نسبت به سایر روشهای مبتنی بر جستجوی تکاملی و یادگیری‌تقویتی زمان اجرای بسیار پایین‌تری دارد. علاوه بر این بدلیل لحاظ کردن محدودیت‌‌های سامانه هدف مانند تعداد هسته‌ها و حافظه مصرفی می‌تواند به معماری مناسب‌تری نسبت به سایر روش‌ها دست یابد. آزمایش‌های انجام شده بر روی مجموعه‌داده CIFAR-10 نشان می‌دهد که روش ارائه شده می‌تواند به دقت مناسبی با زمان جستجوی بسیار کم دست یابد.
واژه‌های کلیدی: جستجوی معماری شبکههای عصبی، سامانه‌های نهفته، موازی‌سازی، پردازنده‌های چندهستهای، روش کاهش گرادیان.
نوع مطالعه: پژوهشي |
موضوع مقاله:
مقالات پردازش تصویر
دریافت: 1402/11/3 | پذیرش: 1403/12/18 | انتشار: 1404/3/31 | انتشار الکترونیک: 1404/3/31
دریافت: 1402/11/3 | پذیرش: 1403/12/18 | انتشار: 1404/3/31 | انتشار الکترونیک: 1404/3/31
ارسال پیام به نویسنده مسئول
| بازنشر اطلاعات | |
 |
این مقاله تحت شرایط Creative Commons Attribution-NonCommercial 4.0 International License قابل بازنشر است. |
