A Spiking Neuron as Information Bottleneck

دسته بندی: سایبرنتیک: هوش مصنوعی
ویرایش:  
نویسندگان: Buesing L.,  Maass W.  
سری:  
 
ناشر:  
سال نشر:  
تعداد صفحات: 32 
زبان: English 
فرمت فایل : PDF (درصورت درخواست کاربر به PDF، EPUB یا AZW3 تبدیل می شود) 
حجم فایل: 709 کیلوبایت 

قیمت کتاب (تومان) : 46,000

محاسبات عصبی 22، 1-32 (2010). نرون ها هزاران قطار سنبله ورودی پیش سیناپسی را دریافت می کنند در حالی که یک قطار سنبله خروجی را ساطع می کنند. این کاهش ابعاد شدید، در نظر گرفتن یک نورون به‌عنوان گلوگاه برای انتقال اطلاعات را پیشنهاد می‌کند.
با بسط نتایج اخیر، ما یک قانون یادگیری ساده برای وزن‌های نورون‌های اسپک مشتق‌شده از چارچوب گلوگاه اطلاعاتی (IB) پیشنهاد می‌کنیم که از دست دادن اطلاعات مربوطه را به حداقل می‌رساند. اطلاعات ارسال شده در قطار خروجی اسپایک. در چارچوب IB، ارتباط اطلاعات با توجه به اطلاعات زمینه‌ای تعریف می‌شود، دومی علاوه بر فعالیت‌های پیش و پس سیناپسی، قانون یادگیری پیشنهادی را به عنوان عامل سوم وارد می‌کند. این قانون یادگیری با انگیزه نظری را به یک مدل قابل قبول برای پدیده‌های پلاستیسیته سیناپسی مشاهده‌شده تجربی شامل سه عامل تبدیل می‌کند. علاوه بر این، نشان می‌دهیم که قانون یادگیری IB پیشنهادی به نورون‌های spiking اجازه می‌دهد تا یک کد پیش‌بینی را بیاموزند، یعنی آن بخش‌هایی از ورودی خود را استخراج کنند که برای ورودی‌های آینده پیش‌بینی می‌کنند.
نظریه اطلاعات یک چارچوب نظری قدرتمند با تعداد زیادی مهم است. برنامه های کاربردی، از جمله در زمینه علوم اعصاب، مانند تجزیه و تحلیل داده های تجربی. نظریه اطلاعات همچنین اصول دقیقی را برای یادگیری در مدل های انتزاعی و واقعی تر بیولوژیکی شبکه های عصبی ارائه کرده است. به ویژه هدف یادگیری به حداکثر رساندن انتقال اطلاعات تک نورون ها و شبکه های عصبی، اصلی که اغلب InfoMax نامیده می شود، به طور فشرده در Linsker (1989)، Bell and Sejnowski (1995)، Chechik (2003)، Toyoizumi، Pfister، Aihara، و Gerstner مورد مطالعه قرار گرفته است. (2005) و پارا، بک و بل (2009). نشان داده شده است که این اصل یادگیری یک چارچوب ممکن برای تجزیه و تحلیل مؤلفه های مستقل است. علاوه بر این، می تواند با موفقیت جنبه های پلاستیسیته سیناپسی را که به طور تجربی در بافت عصبی مشاهده شده است، توضیح دهد. با این حال، یکی از محدودیت‌های این هدف یادگیری برای دستیابی به درک اصولی از فرآیندهای محاسباتی در سیستم‌های عصبی این است که هدف انواع محاسباتی، به حداکثر رساندن انتقال اطلاعات نیست (به عنوان مثال، از نورون‌های ورودی حسی به مناطقی در مغز که در آن تصمیم‌گیری انجام می‌شود. ساخته شده).
در عوض، یکی از ویژگی‌های محاسبات عمومی (به عنوان مثال، خوشه‌بندی و طبقه‌بندی داده‌ها، یا مرتب‌سازی فهرستی از عناصر بر اساس برخی رابطه‌ها) این است که برخی از اطلاعات موجود در ورودی را حذف می‌کنند. به طور مشابه، فرآیندهای یادگیری عمومی نیاز به حذف برخی از اطلاعات اولیه در دسترس برای دستیابی به قابلیت تعمیم دارند.
تیشبی، پریرا، و بیالک (1999) یک چارچوب نظری اطلاعات جدید، چارچوب تنگنای اطلاعاتی (IB) ایجاد کردند. ، که بر انتقال حداکثر مقدار اطلاعات مربوطه تمرکز دارد. این رویکرد گامی در جهت سازگاری بیشتر فرآیندهای محاسباتی و یادگیری برای تجزیه و تحلیل نظری اطلاعات برداشته است. ما در این مقاله بررسی می‌کنیم که آیا چارچوب IB می‌تواند درک اصول سازمانی را در پشت مکانیسم‌های انعطاف‌پذیری سیناپسی تأیید شده تجربی که عامل سومی را در بر می‌گیرد تقویت کند» (Sjostrom & Hausser, 2006; Hee et al., 2007).
اینها عبارتند از اثرات انعطاف پذیری که در آن دامنه تغییر وزن سیناپسی نه تنها به فعالیت شلیک نورون پیش و پس سیناپسی بستگی دارد، بلکه به سیگنال سومی نیز بستگی دارد که به عنوان مثال به شکل تعدیل کننده های عصبی یا ورودی های سیناپسی از سایر نورون ها منتقل می شود. چنین سیگنال های سومی به عنوان تعدیل دامنه پتانسیل عمل پس انتشار شناخته شده اند و در نتیجه بر تغییرات وزن های سیناپسی ناشی از پلاستیسیته وابسته به زمان سنبله (STDP) به طور جدی تأثیر می گذارند. اصول یک قاعده برای انعطاف پذیری سیناپسی است که محاسبات عمومی را در مدارهای عصبی ایجاد می کند: استخراج محرک های حسی موقتی (آهسته) (به عنوان مثال، Wiskott & Sejnowski، 2002 را ببینید).
استخراج ویژگی های مرتبط و نادیده گرفتن موارد نامربوط اطلاعات به دست آمده از داده های داده شده یک مشکل رایج در یادگیری ماشینی است، و همچنین به طور گسترده اعتقاد بر این است که یک گام اساسی برای پردازش عصبی جریان های ورودی حسی است. با این حال، اینکه کدام اطلاعات موجود در داده های ورودی باید مرتبط در نظر گرفته شود، به شدت به زمینه بستگی دارد.
در یک مقاله مهم، Tishby et al. (1999) یک تعریف نظری اطلاعاتی از ارتباط با توجه به یک زمینه معین ارائه کرد و همچنین یک الگوریتم دسته ای برای فشرده سازی داده ارائه کرد که از دست دادن اطلاعات مربوطه را به حداقل می رساند. این چارچوب، روش IB، با هدف ساخت یک نمایش ساده و فشرده Y (ویژگی های مربوطه، IB) از داده ورودی داده شده X است، که اطلاعات متقابل بالایی را با یک سیگنال مرتبط (یا هدف) R حفظ می کند، که زمینه یا متنی را ارائه می دهد. اطلاعات جانبی در چارچوب IB، مقدار اطلاعات مرتبط موجود در یک متغیر تصادفی به‌صراحت به‌عنوان اطلاعات متقابل این متغیر با سیگنال ارتباط R تعریف می‌شود. الگوریتم‌های متعدد ریشه‌دار در چارچوب IB به طور مثمر ثمری برای برنامه‌های یادگیری ماشین معمولی مانند خوشه‌بندی اسناد اعمال شده‌اند. ، طبقه بندی اسناد، طبقه بندی تصویر، و استخراج ویژگی برای تشخیص گفتار (به Harremoes & Tishby، 2007 مراجعه کنید).

Neural Computation 22, 1–32 (2010). Neurons receive thousands of presynaptic input spike trains while emitting a single output spike train. This drastic dimensionality reduction suggests considering a neuron as a bottleneck for information transmission.
Extending recent results, we propose a simple learning rule for the weights of spiking neurons derived from the information bottleneck (IB) framework that minimizes the loss of relevant information transmitted in the output spike train. In the IB framework, relevance of information is defined with respect to contextual information, the latter entering the proposed learning rule as a third factor besides pre- and postsynaptic activities. This renders the theoretically motivated learning rule a plausible model for experimentally observed synaptic plasticity phenomena involving three factors. Furthermore, we show that the proposed IB learning rule allows spiking neurons to learn a predictive code, that is, to extract those parts of their input that are predictive for future input.
Information theory is a powerful theoretical framework with numerous important applications, including in the context of neuroscience, such as the analysis of experimental data. Information theory has also provided rigorous principles for learning in abstract and more biological realistic models of neural networks. Especially the learning objective ofmaximizing information transmission of single neurons and neural networks, a principle often termed InfoMax, has been intensively studied in Linsker (1989), Bell and Sejnowski (1995), Chechik (2003), Toyoizumi, Pfister, Aihara, and Gerstner (2005), and Parra, Beck, and Bell (2009). This learning principle has been shown to be a possible framework for independent component analysis; furthermore, it could successfully explain aspects of synaptic plasticity experimentally observed in neural tissue. However, one limitation of this learning objective for gaining a principled understanding of computational processes in neural systems is that the goal of numerous types of computations is not a maximization of information transmission (e.g., from sensory input neurons to areas in the brain where decision are made).
Rather, a characteristic feature of generic computations (e.g., clustering and classification of data, or sorting a list of elements according to some relation) is that they remove some of the information contained in the input. Similarly, generic learning processes require the removal of some of the information originally available in order to achieve generalization capability.
Tishby, Pereira, and Bialek (1999) created a new information-theoretic framework, the information bottleneck (IB) framework, which focuses on transmitting the maximal amount of relevant information. This approach takes a step toward making computational and learning processes more amenable to information-theoretic analysis. We examine in this article whether the IB framework can foster an understanding of organizational principles behind experimentally verified synaptic plasticity mechanisms that involve a third factor" (Sjostrom & Hausser, 2006; Hee et al., 2007).
These are plasticity effects where the amplitude of the synaptic weight change depends not only on the firing activity of the pre- and postsynaptic neuron, but also on a third signal that is transmitted, for example, in the form of neuromodulators or synaptic inputs from other neurons. Such third signals are known to modulate the amplitude of the backpropagating action potential, and thereby to critically influence the changes of synaptic weights elicited by spike-timing-dependent plasticity (STDP). Furthermore, we examine in this article whether one can derive from IB principles a rule for synaptic plasticity that establishes generic computation in neural circuits: the extraction of temporally stable (slow) sensory stimuli (see, e.g., Wiskott & Sejnowski, 2002).
The extraction of relevant features and the neglect of irrelevant information from given data is a common problem in machine learning, and it is also widely believed to be an essential step for neural processing of sensory input streams. However, which information contained in the input data is to be considered relevant is highly dependent on the context.
In a seminal paper Tishby et al. (1999) proposed an information-theoretic definition of relevance with regard to a given context and also presented a batch algorithm for data compression minimizing the loss of relevant information. This framework, the IB method, is aimed at constructing a simple, compressed representation Y (relevant features, the IB) of the given input data X, which preserves high mutual information with a relevance (or target) signal R, which provides contextual or side information. In the IB framework, the amount of relevant information contained in a random variable is explicitly defined as themutual information of this variable with the relevance signal R. Multiple algorithms rooted in the IB framework have been fruitfully applied to typical machine learning applications such as document clustering, document classification, image classification, and feature extraction for speech recognition (see Harremoes & Tishby, 2007).