قضیه‌ی Kolmogorov و شبکه‌های عصبی

وقتی Minsky و Papert در سال ۱۹۶۹ کتاب معروف خود پرسپترون‌ها را نوشتند و در آن به نقد و بررس پرسپترون‌ها و نقاط ضعف و قدرت آن‌ها پرداختند نشان دادند که پرسپترون قادر به یادگیری و تخمین توابع غیر خطی نیست. اما آن‌ها این احتمال را که شبکه‌های چند لایه می‌توانند عمل‌کرد بهتری ارائه کنند باز گذاشتند. البته تقریباً بیست سال طول کشید تا کارایی شبکه‌های عصبی چندلایه اثبات شود.

مبانی نظری شبکه‌های عصبی feedforward اولین بار توسط Kolmogorov ارائه شد. او برای اولین بار نشان داد که یک تابع پیوسته از n متغیر، f(x₁, x₂, x₃,...,x_n)، می‌تواند به مجموع توابع یک متغیره نگاشت شود. Andrey Nikolaevich Kolmogorov ریاضی‌دان نابغه‌ی روسی در سال ۱۹۵۸ در یک مقاله قضیه‌ی زیر را اثبات کرد:  

داستان فراز و فرود‌های شبکه‌های عصبی

نوزاد انسان ناتوان‌ترین نوزاد در بین حیوانات است و بعد از تولد تا مدتی طولانی قادر به رفع نیاز‌های اولیه‌ی خود نیست. در بدو تولد بسیاری از مهارت‌ها و توانایی‌های بزرگ‌ترها را ندارد. مهارت‌هایی همچون راه رفتن، صحبت کردن، گرفتن و رها کردن اشیاء. نوزاد به خوبی نمی‌بیند و نمی‌شنود. حتی نسبت به خود و اندام خود آگاهی ندارد و هیچ شناختی نسبت به روز و شب ندارد. باید یاد بگیرد که هنگام خستگی بخوابد و بعد از همه‌ی این‌ها تازه با دنیایی پر از شگفتی و آموزه‌های جدید مواجه می‌شود. اما نوزاد انسان مغزی پیچیده و بسیار قدرتمند دارد که همزمان با تکامل اندام‌ها و رشد بدن تکامل می‌یابد و یاد می‌گیرد. توانایی‌ای که از انسان، آدم می‌سازد.

این موجود شگفت‌انگیز سال‌هاست که با این توانایی خود آشنا شده و از این همه پیچیدگی و عظمت شگفت‌زده است. بیش از نیم قرن است که انسان، حیران از عظمت درون خود، سعی دارد دستگاهی بسازد که بتواند گوشه‌ای از توانایی‌های مغز را تقلید کند. سیستم‌های عصبی مصنوعی امروزه به صورت گسترده در کاربردهای بسیار زیاد و متنوع مورد استفاده قرار می‌گیرند. کاربرد‌هایی مانند شناسایی دست‌خط، کمک به تشخیص‌های پزشکی، تشخیص گفتار، پردازش زبان طبیعی، بینایی ماشین، خودرو‌های خودران، پیش‌بینی بازار بورس و بسیاری دیگر.

داستان الهام گرفتن از کارکرد مغز برای ساخت شبکه‌های عصبی مصنوعی، داستانی زیبا و شگفت انگیز است. داستان نیم قرن تلاش و طی مسیری ناهموار با فراز و فرود‌های متعدد، شور و اشتیاق، دلسردی و یأس، امید و ناامیدی، برای اینکه بتوانیم به کامپیوتر‌ها یاد بدهیم که یاد بگیرند. در این نوشتار سعی بر این است که چندین دهه تلاش پژوهشگران و فراز و فرود‌ها و چالش‌های مسیر پیشرفت شبکه‌های عصبی از روز تولد تا به امروز به صورت خلاصه بیان شود.