پرسپترون چند لایه

شبکه‌ی پرسپترون که در دهه‌ی ‍۱۹۶۰ توسط روزنبلات ارائه شد یک لایه‌ی ورودی و یک لایه‌ی خروجی داشت. در این شبکه فقط لایه‌ی خروجی، لایه‌ی محاسباتی بود و لایه‌ی ورودی تنها به انتقال داده‌های ورودی به لایه‌ی خروجی می‌پرداخت. در لایه‌ی خروجی نیز پس از انجام محاسبات، خروجی‌های شبکه بدست می‌آمدند. گرچه این یک دستاورد چشمگیر بود که می‌توانست یاد بگیرد اما مینسکی و پاپرت در کتاب خود (Minsky and Papert, 1969) در سال ۱۹۶۹ نشان دادند که شبکه‌ی پرسپترون مسائل غیر خطی مانند XOR را نمی‌تواند حل کند. راه حل آن هم استفاده از لایه‌های بیشتر در این شبکه عصبی است که به آن پرسپترون چند لایه (Multilayer Perceptron یا به اختصار MLP) می‌گویند. با وجود اینکه راه حل مشخص بود اما سال‌ها طول کشید تا بتواند عملیاتی شود و در شبکه‌های عصبی به صورت عملی مورد استفاده قرار گیرد. پس از آن نیز با وجود آنکه این شبکه در عمل توانایی‌های خود را نشان داد، آنچه که به صورت ریاضی و نظری در مورد آن اثبات شده بود عملاً تحقق نیافت و در کاربردهای یادگیری عمیق با چالش‌هایی مواجه شد.

انواع معماری یادگیری عمیق

در یادداشت قبلی به چیستی یادگیری عمیق پرداختیم. یادگیری عمیق نوع خاصی از یادگیری ماشین است (Goodfellow et al., 2016) که در‌واقع به شبکه‌های عصبی عمیق اشاره دارد. انواع مخلفی از معماری‌های شبکه‌های عصبی برای یادگیری عمیق ارائه شده. در نوشتار حاضر قصد داریم انواع معماری‌های اصلی شبکه‌های عصبی عمیق را به صورت مختصر معرفی نماییم. در یادداشت‌های بعدی همین وبلاگ جزئیات بیشتری از این معماری‌ها ارائه خواهد شد.

 

یادگیری عمیق چیست؟

در سال‌های گذشته شاهد افزایش فزاینده‌ی تعداد کاربران اینترنت بودیم. شرکت Netcraft که خدمات سایبری و امنیت ارائه می‌دهد، در آماری که در وبسایت خود منتشر کرده تعداد وبسایت‌های فعال سال‌های گذشته را گزارش می‌دهد. این آمار در نمودار شکل ۱ نشان داده شده است. شرکت Netcraft در پایشی که در جولای ۲۰۲۱ انجام داده، تعداد وب‌سایت‌های موجود را 1,216,435,462 اعلام کرده. در نمودار شکل ۱ مشخص است که تعداد وب سایت‌ها در سال‌های گذشته سیر صعودی داشته‌اند. البته نزول نسبی نمودار در سال‌های اخیر را می‌توان به ظهور شبکه‌های اجتماعی و تمایل بیشتر کاربران اینترنت به استفاده از این شبکه‌ها نسبت داد. این رشد فزاینده در تعداد وبسایت‌ها، با افزایش محتوای موجود در اینترنت و تولید داده در سطح کلان همراه است. به همین دلیل است که عصر حاضر با نام عصر کلان داده نامگذاری شده است.

 

یک انقلابی در هوش مصنوعی

Geoffrey Everest Hinton روانشناس شناختی و دانشمند علوم کامپیوتر انگلیسی-کانادایی است و بیشتر به خاطر کارهایش در زمینه‌ی شبکه‌های عصبی مصنوعی شناخته شده‌است. از سال ۲۰۱۵ وی وقت خویش را بین گوگل و دانشگاه تورنتو تقسیم کرده. او یکی از اولین محققانی است که نشان داد می‌توان از الگوریتم پس‌انتشار تعمیم یافته برای آموزش شبکه عصبی چند لایه استفاده کرد که نقش مهمی در یادگیری عمیق دارد. او همچنین در مجموعه تحقیقاتی که منجر به پیدایش یادگیری عمیق شد به صورت فعال شرکت داشت. وی بنیانگذار و مشاور اصلی انستیتوی علمی وکتور در تورنتو در سال ۲۰۱۷ است. همچنین برندهٔ جوایزی همچون جایزه‌ی تورینگ در سال ۲۰۱۸ شده‌است.

معرفی چند مجموعه‌داده در موضوع داده‌کاوی خط سیر

در سیستم‌های هوشمند، الگوریتم‌های یادگیری با نظارت (supervised learning)‌ برای آموزش مدل‌ها نیازمند مجموعه داده‌هایی هستند که در آن‌ها خروجی‌های مورد انتظار برای ورودی‌ها مشخص شده است. این مجموعه‌داده‌ها که به نام مجموعه‌داده‌های آموزشی شناخته می‌شوند در کاربرد‌های مختلف یادگیری ماشین در دسترس هستند. واضح است که استفاده از داده‌های استاندارد که از دنیای واقعی جمع‌آوری شده‌اند، دقت و درجه‌ی اطمینان بالاتری را برای مدل مورد نظر فراهم می‌کنند. در عرصه‌ی داده‌کاوی خط سیر نیز که از الگوریتم‌های یادگیری ماشین متنوعی استفاده می‌شود، استفاده از مجموعه‌داده‌های آموزشی، متناسب با کاربرد، اهمیت بسیار زیادی دارد. مجموعه‌داده‌های خط‌سیر متنوع و مختلفی در دسترس پژوهشگران این عرصه قرار دارد که در این یادداشت به معرفی تعدادی از معروف‌ترین آن‌ها می‌پردازیم.