گرادیان کاهشی چیست؟ — مفهوم و اجرا در توابع تک متغیره تا چند متغیره

این فیلم در یک نگاه

در این فیلم نخست به تعریف گرادیان کاهشی پرداختیم و دیدیم که این تعریف خیلی گویا نیست. پس شروع کردیم به باز کردن آن. اکسترمم (مینیمم و ماکسیمم) و نقطه زینی (Saddle Point) را تعریف کردیم.

تابع مشتق پذیر را تعریف کردیم. تابع چگالی به دمای آب را به عنوان یک نمونه از تابع ناپیوسته بررسی کردیم.

سپس به این پرداختیم که اصلا مفهوم الگوریتم بهینه‌سازی چیست و این که الگوریتم تکراری مرتبه دوم یعنی چه !
در ادامه توجیه کردیم که از نگاه کاربردی گرادیان کاهشی چیست و چرا از آن استفاده می‌کنیم. همین توضیحی که بالا برای شما دادم را تصویری توجیه کردیم.

آنگاه به اصل مطلب رسیدیم. مفهوم گرادیان کاهشی را با مثال کوهنوردی تشریح کردیم. وقتی از یک کوه به پایین میاییم در واقع الگوریتم گرادیان کاهشی را اجرا می‌کنیم.

سپس سراغ ریاضیات رفتیم. روی یک منحنی دوبعدی (یک تابع تک متغیری) روش اجرای گرادیان کاهشی را توضیح دادیم. فرمول یا رابطه عمومی گرادیان کاهشی را با هم درک کردیم.

دیدیم که در رابطه گرادیان کاهشی یک ضریب نرخ یادگیری (Learning Rate) وجود دارد. کاربرد نرخ یادگیری چیست؟ پاسخ این سوال را در یک انیمیشن و سپس یک مرجع مناسب درک کردیم.

در بخش بعدی سراغ بررسی اجرای گرادیان کاهشی با یک زبان برنامه نویسی مثل پایتون رفتیم. اگر با برنامه نویسی آشنا نیستید نگران نباشید. در این درس قرار نیست کدنویسی کنیم. یک مقاله را صرفا بررسی می‌کنیم که گرادیان کاهشی را کدنویسی کرده است. صرفا برای این که یک دید اجرایی بگیریم.

در بخش پایانی این فیلم در مورد گرادیان کاهشی چند متغیره یا Multivariate Gradient Descent صحبت کردیم. دیدیم که گرادیان کاهشی در توابع چندمتغیره به لحاظ نظری چندان نسبت به تک متغیره متفاوت نیست. با یک تصویر هم سعی کردیم مفهوم گرادیان کاهشی چندمتغیری را جا بیندازیم.

پس از این فیلم مطالعه مقاله گرادیان کاهشی چندمتغیره (+) می‌تواند برای شما مفید باشد.

در صورتی که تمایل دارید بجای مطالعه ادامه مقاله فیلم آن را تماشا کنید، روی این لینک (+) و یا پخش کننده پایین کلیک کنید.

گرادیان کاهشی چیست؟