به نظر میرسد که تعداد درجات آزادی (مثلا تعداد ورودی ها، خروجی ها و نرونهای هر لایه) برای طراحی یک شبکه چند لایه پیشخور زیاد باشد ولی باید توجه داشت که تعداد ورودیهای شبکه و تعداد خروجیهای شبکه بر اساس مسئله خاصی که شبکه قرار است حل کند به دست میآیند. به عبارت دیگر این پارامتر جزء پارامترهای آزاد طراح نیستند بلکه انتخاب آن ها به مسئله در حال بررسی بستگی دارد. علاوه بر این ویژگی های خروجی مطلوب شبکه در انتخاب نوع تابع محرک هر لایه تاثیر دارد.
پس از تعیین آرایش شبکه، میتوان آموزش شبکه را آغاز نمود. آموزش شبکه های عصبی به عنوان یک مسئله بهینه سازی غیرخطی شناخته شده است که هدف آن تعیین پارامترهای شبکه یعنی ماتریسهای وزن و بردارهای بایاس هر لایه است. پارامترهای شبکه طوری تعیین می شود که اندیس عملکرد شبکه که معمولا میانگین مربعات خطای پیش بینی حاصل از داده های آموزشی است کمینه گردد. روش یادگیری به کار رفته در این شبکه روش پس انتشار خطا است. قانون پس انتشار خطا از دو مسیر اصلی تشکیل شده است. در مسیر اول که مسیر رفت است داده های ورودی به شبکه اعمال میشوند و سپس در مقادیر اولیه وزنهای بین لایه ها ضرب شده و پس از انجام عملیات ریاضی که در هر لایه و در هر سلول انجام می شود. نهایتاً برداری به عنوان خروجی در لایه آخر شبکه تولید می شود. این خروجی در واقع پاسخ شبکه به ورودی داده شده به آن است. در این مرحله همه وزنهای ارتباطی لایه ها و پارامترهای سلولها ثابت است و تغییری نمیکند. در مسیر دوم که مسیر برگشت نامیده می شود خطا در خروجی محاسبه می شود و به شبکه بازگشت داده می شود. در حین بازگشت خطا و در واقع در مسیر برگشت، مقادیر پارامترها و وزنها تغییر میکنند. از آنجا که آموزش به صورت با ناظر انجام میگردد، خروجی مطلوب موجود است. با بهره گرفتن از تفاوت بین خروجی مطلوب و خروجی شبکه، خطا محاسبه شده و به شبکه برگشت داده می شود.
یکی از نکاتی که حین آموزش باید در نظر گرفته شود جلوگیری از فوق تنظیم است. در این حالت خطای شبکه فقط در نقاط آموزشی کم بوده و در نقاط میانی خطا زیاد می شود. برای رفع چنین نقیصهای معمولا در حین آموزش شبکه یک سری از داده ها جهت صحه گذاری در نظر گرفته میشوند. بدین ترتیب که در بازه های منظم از روند بهینه سازی، داده های حاصل از شبکه با بهره گرفتن از داده های صحهگذاری مورد بررسی قرار میگیرد. آموزش شبکه تا زمانی ادامه مییابد که خطای بهینه سازی مربوط به داده های صحهگذاری شروع به افزایش کند و به محض اینکه این خطا افزایش یابد آموزش شبکه متوقف می شود (منهاج، ۱۳۸۷).
شبکه های پرسپترون چند لایه میتوانند با هر تعداد لایه ساخته و به کار گرفته شوند، ولی قضیهای که ما در اینجا بدون اثبات میپذیریم بیان میکند که یک شبکه پرسپترون سه لایه قادر است هر نوع فضایی را تفکیک کند. این قضیه که قضیه کولموگوروف[۱۳] نامیده میشود ، بیانگر مفهوم بسیار مهمی است که میتوان در ساخت شبکه های عصبی از آن استفاده کرد (البرزی، ۱۳۸۰).
معیارهای ارزیابی خطا
برای ارزیابی کارایی روشهای پیش بینی بایستی از یک معیار ارزیابی خطا استفاده کرد. معیارهای ارزیابی متنوعی در این زمینه وجود دارد که تعدادی از آن ها در جدول زیر مشاهده می شود.
جدول ۲-۲٫ خلاصه ای از معیارهای ارزیابی
معیار ارزیابی
نام اختصاری
میانگین قدرمطلق خطا
MAE
میانگین قدرمطلق درصد خطا
MAPE
میانگین مربعات خطا
MSE
میانگین مربعات خطای نرمالیزه شده
NMSE
ریشه میانگین مربع خطا
RMSE
ریشه میانگین مربع خطای نرمالیزه شده
NRMSE
ریشه میانگین مربع درصد خطای پیش بینی
RMSPE
- میانگین قدرمطلق خطا[۱۴] کمیتی است که برای مقایسه میزان نزدیکی پیش بینی انجام شده و مقدار واقعی به کار برده می شود و به صورت میانگین قدر مطلق خطا محاسبه می شود.
که به ترتیب معرف مقدار پیش بینی شده و واقعی میباشند.
- میانگین قدرمطلق درصد خطا[۱۵] کمیتی است که برای ارزیابی دقت پیش بینی در سریهای زمانی به کار برده می شود و به صورت زیر محاسبه می شود.
که به ترتیب معرف مقدار پیش بینی شده و واقعی میباشند.
- میانگین مربعات خطا[۱۶] کمیتی است برای ارزیابی و مقایسه مقدار پیش بینی شده و مقدار واقعی کمیت مورد بررسی، به کار برده می شود و بر حسب میانگین مربع خطا تعریف می شود.
که به ترتیب معرف مقدار پیش بینی شده و واقعی میباشند.
- میانگین مربعات خطای نرمال شده[۱۷] کمیتی است که برای بررسی دقت پیش بینی بر حسب میانگین مربع خطا بر واریانس مقدار واقعی تعریف می شود.
که به ترتیب معرف مقدار پیش بینی شده و واقعی و Var معرف واریانس است.
-
- ضریب تعیین کمیتی است که میزان اطمینان پذیری نسبت به تابع را نشان میدهد.
- ریشه میانگین مربع خطا[۱۸] معیاری است برای اندازه گیری مقدار پیش بینی شده توسط یک مدل و مقدار مشاهده شده آن کمیت است و به صورت ریشه میانگین مربعات خطا تعریف می شود.
که به ترتیب معرف مقدار پیش بینی شده میباشند.
- ریشه میانگین مربع خطای نرمال شده[۱۹] معیاری برای اندازه گیری مقدار دقت پیش بینی است و در حالتی که مطلوب مقایشه دقت پیش بینی داده های مختلف با واحدهای متفاوتی است، مورد استفاده قرار میگیرد و به صورت ریشه میانگین مربعات خطا بر گستره تغییرات مورد بحث تعریف می شود.
- ریشه میانگین مربع خطای پیشبینی[۲۰] امید ریاضی مجموع انحراف معیار تابع برازش شده واقعی(g( از مقادیر پیش بینی شده در تمامی داده های مورد استفاده مورد بررسی قرار میگیرد.