Signal and Data Processing

fa مروری بر آسیب‌پذیری شبکه‌های عصبی عمیق نسبت به نمونه‌های خصمانه و رویکرد‌های مقابله با آن‌ها A survey on vulnerability of deep neural networks to adversarial examples and defense approaches to deal with them مقالات پردازش تصویر Paper كاربردي Applicable امروزه شبکه‌های عصبی به‌عنوان بارزترین ابزار مطرح در هوش‌مصنوعی و یادگیری ماشین شناخته شده‌ و در حوزه‌های مالی و بانکداری، کسب ‌و کار، تجارت، سلامت، پزشکی، بیمه، رباتیک، هواپیمایی، خودرو، نظامی و سایر حوزه‌ها مورد استفاده قرار می‌گیرند. در سال‌های اخیر موارد متعددی از آسیب‌پذیری شبکه‌های عصبی عمیق نسبت به حملاتی مطرح شده که غالباً با افزودن اختلالات جمع‌شونده و غیر جمع‌شونده بر داده ورودی ایجاد می‌شوند. این اختلالات با وجود نامحسوس بودن در ورودی از دیدگاه عامل انسانی، خروجی شبکه آموزش دیده را تغییر می‌دهند. به اقداماتی که شبکه‌های عصبی عمیق را نسبت به حملات مقاوم‌ می‌نمایند، دفاع اطلاق می‌شود. برخی از روش‌های حمله مبتنی بر ابزارهایی نظیر گرادیان شبکه نسبت به ورودی، به دنبال شناسایی اختلال می‌باشند و برخی دیگر به تخمین آن ابزارها می‌پردازند و در تلاش هستند تا حتی بدون داشتن اطلاعاتی از آن‌ها، به اطلاعات آن‌ها دست پیدا کنند. رویکردهای دفاع نیز برخی روی تعریف تابع هزینه بهینه و همچنین معماری شبکه مناسب و برخی دیگر بر جلوگیری و یا اصلاح داده قبل از ورود به شبکه متمرکز می‌شوند. همچنین برخی رویکردها به تحلیل میزان مقاوم‌بودن شبکه نسبت به این حملات و ارائه محدوده اطمینان متمرکز شده‌اند. در این مقاله سعی شده است تا جدیدترین پژوهش‌ها در زمینه آسیب‌پذیری شبکه‌های عصبی عمیق  بررسی و مورد نقد قرار گیرند و کارایی آن‌ها با انجام آزمایش‌هایی مقایسه شود. در آزمایشات صورت گرفته در بین حملات محصور‌شده به <m:omath><m:ssub><m:ssubpr><m:ctrlpr></m:ctrlpr></m:ssubpr><m:e><m:r><m:rpr><m:scr m:val="roman"><m:sty m:val="bi"></m:sty></m:scr></m:rpr>l</m:r></m:e><m:sub><m:r><m:rpr><m:scr m:val="roman"><m:sty m:val="bi"></m:sty></m:scr></m:rpr>∞</m:r></m:sub></m:ssub></m:omath><img alt="" id="_x0000_i1025" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAABIAAAAVCAIAAADEqSm4AAAAAXNSR0IArs4c6QAAAAlwSFlzAAASdAAAEnQB3mYfeAAAAORJREFUOE+9lL0NwyAQhXFmiVNYmeC8QdJnBFgHtxkhlZvABpnAchHYhRy/IpIlc1KUq3wcn3joPdw55xi9DnTEEz/BrLWNp+PdnDMS0naQJqzsFMtzxQPI1R4R5vlu9r14Coa+SWXGzPry1O16pGB6vvvt51MblQwgSsy+ESUmjCoxYmSJyBSvG42Otn5l0mohphAvO42dr1Fo7LSou+BQFS3gUoVoYdbS2UZyDsBiZxSHlKISrjpTOC7RxNDVTfrefDj9wFbjxaLqywLs8dSxm5cciO3k5ieBolBe1aXt3V9/Ch+FRzRYrzQjSgAAAABJRU5ErkJggg==" style="width:10.8pt; height:12.6pt" >  و <m:omath><m:ssub><m:ssubpr><m:ctrlpr></m:ctrlpr></m:ssubpr><m:e><m:r><m:rpr><m:scr m:val="roman"><m:sty m:val="bi"></m:sty></m:scr></m:rpr>l</m:r></m:e><m:sub><m:r><m:rpr><m:scr m:val="roman"><m:sty m:val="bi"></m:sty></m:scr></m:rpr>2</m:r></m:sub></m:ssub></m:omath><img alt="" id="_x0000_i1025" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAA4AAAAVCAIAAAD5O0jeAAAAAXNSR0IArs4c6QAAAAlwSFlzAAASdAAAEnQB3mYfeAAAANFJREFUOE+dk7ERgzAMRSGzQAqOCcwI6TOCKVnFtJkilZmATJBLEbSLEtmSgw+c+KIKfA99+X9RImKRV4c8jKi/UQD4ovKeFXExihFlFneyU4WcWe1gbVMkyqzwvBOpmjo5gaDL40bk+VT9QqfrhZD2mCbZrAx58TVDntEceY9u5GHsu6701fWjxBL8/5hPgfg3bzZ7He0ATD31qIYZ54G8qBtJkT5Zxaq0sVGsLu+gFoLd5unmWAWdQl3DeCH2UbqOCFvNT3soL1lYBm5e5v9bL1WeLMN+E21SAAAAAElFTkSuQmCC" style="width:8.4pt; height:12.6pt" > ، روش AutoAttack کارایی بسیار بالایی دارد. البته باتوجه به برتری روش‌ AutoAttack نسبت به روش‌هایی نظیر MIFGSM، PGD و DeepFool این روش برای اجرا، مدت زمان بیشتری به خاطر ترکیبی بودن ساختار درونی آن نسبت به سایر روش‌های همردیف خود نیاز دارد. همچنین به مقایسه برخی از رویکردهای پرکاربرد دفاع در مقابل نمونه‌های خصمانه نیز پرداخته شد و از بین روش‌های مبتنی بر نواحی محصورشده به <m:omath><m:ssub><m:ssubpr><m:ctrlpr></m:ctrlpr></m:ssubpr><m:e><m:r><m:rpr><m:scr m:val="roman"><m:sty m:val="bi"></m:sty></m:scr></m:rpr>l</m:r></m:e><m:sub><m:r><m:rpr><m:scr m:val="roman"><m:sty m:val="bi"></m:sty></m:scr></m:rpr>∞</m:r></m:sub></m:ssub></m:omath><img alt="" id="_x0000_i1025" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAABEAAAAZCAIAAABYXFLAAAAAAXNSR0IArs4c6QAAAAlwSFlzAAASdAAAEnQB3mYfeAAAAOtJREFUOE/dlDEOwjAMRVPOQhkQJ0iPwM7K5q4cpVk5AlMX0htwgoqB+C7BdpKqSBVNNoSn2PVXvuyXVt57VRibwn5u/28NIubMhGbtvet07NWdk8q3UOmjBVGBXVN4n2aNr5Elel+vm0sa93yw5HTcZmuG/sq9h12GJHJQ4iyxU+IsaoqcBU2ZMxJMC83ZZtjdx1vAoW0N04OmqSgaydC0MRsiWTNyNHSWySGSQA50AtBaaao7Z4HKXJ3YmSFjYSKIQZwlIDQuvdN6P/ZiA835okCFROH9psLOF5EkTwJ6MEOXSaQLqx/+77wB0Z8mIh7VyysAAAAASUVORK5CYII=" style="width:10.2pt; height:15pt" >   حول داده، روش آموزش خصمانه مبتنی بر مشتقات PGD با پارامترهای مشخص، از سایر روش‌ها بهتر در مقابل اغلب روش‌های حمله مقاوم بوده است. لازم به ذکر است که روش‌های مختلف حمله خصمانه و دفاع نسبت به آن حملات که در این مقاله مورد بررسی قرار گرفت است در یک قالب مناسب و منعطف کدنویسی شده است. این قالب کدنویسی به عنوان یک پشتوانه پایدار ویژه تحقیق و پژوهش در حوزه یادگیری ماشین استاندارد و یادگیری ماشین خصمانه ویژه پژوهشگران و علاقه‌مندان از طریق آدرس<a href="https://github.com/khalooei/Robustness-framework" style="color:#0563c1; text-decoration:underline">https://github.com/khalooei/Robustness-framework</a>  در دسترس  قرار گرفته است. Nowadays the most commonly used method in various tasks of machine learning and artificial intelligence are neural networks. In spite of their different uses, neural networks and Deep neural networks (DNNs) have some vulnerabilities. A little distortion or adversarial perturbation in the input data for both additive and non-additive cases can be led to change the output of the trained model, and this could be a kind of DNN vulnerability. Despite the imperceptibility of the mentioned disturbance for human beings, DNN is vulnerable to these changes. Creating and applying any malicious perturbation named “attack”, penetrates DNNs and makes them incapable of doing the duty assigned to them. In this paper different attack approaches were categorized based on the signal applied in the attack procedure. Some approaches use the gradient signal for detecting the vulnerability of DNN and try to create a powerful attack. The other ones create a perturbation in a blind situation and change a portion of the input to create a potential malicious perturbation. Adversarial attacks include both black-box and White-box situations. White-box situation focuses on training loss function and the architecture of the model but black box situation focuses on the approximation of the main model and dealing with the restriction of the input-output model request. Making a deep neural network resilient against attacks is named “defense”. Defense approaches are divided into three categories. One of them tries to modify the input, the other one makes some changes in the developed model and also changes the loss function of the model. In the third defense approach some networks are first used for purification and refinement of the input before passing it to the main network. Furthermore, an analytical approach was presented for the entanglement and disentanglement representation of inputs of the trained model. The gradient is a very powerful signal usually used in learning and an attacking approaches. Besides, adversarial training is a well-known approach in changing a loss function method to defend against adversarial attacks. In this study the most recent research on the vulnerability of DNN through a critical literature review was presented. Literature and our experiments indicate that the projected gradient descent (PGD) and AutoAttack methods are successful approaches in the <m:omath><m:ssub><m:ssubpr><m:ctrlpr></m:ctrlpr></m:ssubpr><m:e><m:r><m:rpr><m:scr m:val="roman"><m:sty m:val="bi"></m:sty></m:scr></m:rpr>l</m:r></m:e><m:sub><m:r><m:rpr><m:scr m:val="roman"><m:sty m:val="bi"></m:sty></m:scr></m:rpr>2</m:r></m:sub></m:ssub><m:r><m:rpr><m:scr m:val="roman"><m:sty m:val="bi"></m:sty></m:scr></m:rpr> </m:r></m:omath><img alt="" id="_x0000_i1025" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAABIAAAAVCAIAAADEqSm4AAAAAXNSR0IArs4c6QAAAAlwSFlzAAASdAAAEnQB3mYfeAAAANlJREFUOE+tlM0RwiAQhYO1JB4yVgAleLcEOKYVcrUKT6SCWIHjQegFXf40ZpmA494IfNnHvpcQa21TX7t6BIi/YMaYwu6vu1mrJQ3HqdTuyUY1cV9xB3K1Rbj9eDfzuAFF+65IZcT0/QrU6djWYNPlDMcP+zIqGFApMfpWKTFgtRI9tpJoRsEY8cXEiEUgef02Gsz3K28m4uUik2YS8O52mO08wEy7Pqbn25aPaFEu1SJaLnNo3FK41plyWjNhy2GuUT6gOAajiOIUR2RiWPgY0hSQpuS3f8kToEmMY93DHgcAAAAASUVORK5CYII=" style="width:10.8pt; height:12.6pt" > and <m:omath><m:ssub><m:ssubpr><m:ctrlpr></m:ctrlpr></m:ssubpr><m:e><m:r><m:rpr><m:scr m:val="roman"><m:sty m:val="bi"></m:sty></m:scr></m:rpr>l</m:r></m:e><m:sub><m:r><m:rpr><m:scr m:val="roman"><m:sty m:val="bi"></m:sty></m:scr></m:rpr>∞</m:r></m:sub></m:ssub></m:omath><img alt="" id="_x0000_i1025" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAABIAAAAVCAIAAADEqSm4AAAAAXNSR0IArs4c6QAAAAlwSFlzAAASdAAAEnQB3mYfeAAAAORJREFUOE+9lL0NwyAQhXFmiVNYmeC8QdJnBFgHtxkhlZvABpnAchHYhRy/IpIlc1KUq3wcn3joPdw55xi9DnTEEz/BrLWNp+PdnDMS0naQJqzsFMtzxQPI1R4R5vlu9r14Coa+SWXGzPry1O16pGB6vvvt51MblQwgSsy+ESUmjCoxYmSJyBSvG42Otn5l0mohphAvO42dr1Fo7LSou+BQFS3gUoVoYdbS2UZyDsBiZxSHlKISrjpTOC7RxNDVTfrefDj9wFbjxaLqywLs8dSxm5cciO3k5ieBolBe1aXt3V9/Ch+FRzRYrzQjSgAAAABJRU5ErkJggg==" style="width:10.8pt; height:12.6pt" >  bounded attacks, respectively. Furthermore, our experiments indicate that AutoAttack is much more time-consuming than the other methods. In the defense concept, different experiments were conducted to compare different attacks in the adversarial training approaches. Our experimental results indicate that the PGD is much more efficient in adversarial training than the fast gradient sign method (FGSM) and its deviations like MIFGSM and covers a wider range of generalizations of the trained model on predefined datasets. Furthermore, AutoAttack integration with adversarial training works well, but it is not efficient in low epoch numbers. Aside from that, it has been proven that adversarial training is time-consuming. Furthermore, we released our code for researchers or individuals interested in extending or evaluating predefined models for standard and adversarial machine learning projects. A more detailed description of the framework can be found at <a href="https://github.com/khalooei/Robustness-framework" style="color:#0563c1; text-decoration:underline">https://github.com/khalooei/Robustness-framework</a> . آسیب‌پذیری شبکه‌های عصبی, مقاوم‌سازی, حمله, دفاع, شبکه‌های عصبی vulnerability of neural network, robustness, attack, defense, neural network 113 144 http://jsdp.rcisp.ac.ir/browse.php?a_code=A-10-31-6&slc_lang=fa&sid=1 Mohammad khalooei محمد خالوئی khalooei@aut.ac.ir 100319475328460012441 100319475328460012441 No Amirkabir University of Technology دانشگاه صنعتی امیرکبیر Mohammad Mehdi Homayounpour محمد مهدی همایون پور homayoun@aut.ac.ir 100319475328460012442 100319475328460012442 Yes Amirkabir University of Technology دانشگاه صنعتی امیرکبیردانشگاه صنعتی امیرکبیر Maryam Amirmazlaghani مریم امیرمزلقانی mazlaghani@aut.ac.ir 100319475328460012443 100319475328460012443 No Amirkabir University of Technology دانشگاه صنعتی امیرکبیر