[DeepLearning]各種神經網路概要－Programmer Style

主要分兩大類:

一、前饋類神經網路feedforward neural network

是最先發明也是最簡單的人工神經網絡 [3]。它包含了安排在多個層中的多個神經元（節點）。相鄰層的節點有連接或者邊（edge）。所有的連接都配有權重。
在前饋網絡中，信息只單向移動——從輸入層開始前向移動，然後通過隱藏層（如果有的話），再到輸出層。在網絡中沒有循環或迴路。

前授型網路則如圖4所示，由圖4可看出，前授型網路是一種階層式網路，它包括許多的＂層＂（layer），如輸入層、隱藏層、輸出層等。每一層皆由一些神經元建構而成，而同一層中的神經元彼此不相連，不同層間的神經元則彼此相連。信號的傳輸方向也是單方向的，由輸入層傳輸至輸出層。這類型網路，最具代表性的是倒傳遞網路（Back-propagation net）。

未命名2

二、回饋類神經網路recurrent neural network

是2種人工神經網路的總稱。1種是時間遞歸神經網絡(recurrent neural network)，另1種是結構遞歸神經網絡(recursive neural network)。時間遞歸神經網路的神經元間連接構成有向圖；而結構遞歸神經網路利用相似的神經網路結構遞歸構造更為複雜的深度網路。時間遞歸神經網路可以描述動態時間行為，因為和前饋神經網絡(feedforward neural network)接受較特定結構的輸入不同，RNN將狀態在自身網路中循環傳遞，因此可以接受更廣泛的時間序列結構輸入。手寫識別是最早成功利用RNN的研究結果。

回歸型網路中的人工神經元彼此相連，對每個神經元而言，它的輸出連接至所有其它神經元，而它的輸入則來自所有其它神經元的輸出。所以我們可以說，網路中的每個神經元是平行地接受所有神經元輸入，再平行地將結果輸出到網路中其它神經元上。圖中的Vi表示神經元的狀態，χi是神經元的輸入值，表示神經元的起始狀態，而χ’i則表示收斂後的輸出值。這類型的網路，最具代表性的是霍普菲爾（Hopfiled）網路。

文章用圖