BAM模型 - 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)描述詳解

神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶功能可以分為兩種，一是自聯(lián)想記憶，另一種是異聯(lián)想記憶。Hopfield神經(jīng)網(wǎng)絡(luò)就屬于自聯(lián)想記憶。由Kosko B.1988 年提出的雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)BAM(Bidirectional Associative Memory)屬于異聯(lián)想記憶。BAM有離散型﹑連續(xù)型和自適應(yīng)型等多種形式。

8. CMAC模型

BP神經(jīng)網(wǎng)絡(luò)﹑Hopfield神經(jīng)網(wǎng)絡(luò)和BAM雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)分別屬于前饋和反饋神經(jīng)網(wǎng)絡(luò)，這主要是從網(wǎng)絡(luò)的結(jié)構(gòu)來劃分的。如果從神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近功能這個角度來分，神經(jīng)網(wǎng)絡(luò)可以分為全局逼近網(wǎng)絡(luò)和局部逼近網(wǎng)絡(luò)。當(dāng)神經(jīng)網(wǎng)絡(luò)的一個或多個可調(diào)參數(shù)（權(quán)值和閾值）在輸入空間的每一點對任何一個輸出都有影響，則稱該神經(jīng)網(wǎng)絡(luò)為全局逼近網(wǎng)絡(luò)，多層前饋BP網(wǎng)絡(luò)是全局逼近網(wǎng)絡(luò)的典型例子。對于每個輸入輸出數(shù)據(jù)對，網(wǎng)絡(luò)的每一個連接權(quán)均需進行調(diào)整，從而導(dǎo)致全局逼近網(wǎng)絡(luò)學(xué)習(xí)速度很慢，對于有實時性要求的應(yīng)用來說常常是不可容忍的。如果對網(wǎng)絡(luò)輸入空間的某個局部區(qū)域只有少數(shù)幾個連接權(quán)影響網(wǎng)絡(luò)輸出，則稱網(wǎng)絡(luò)為局部逼近網(wǎng)絡(luò)。對于每個輸入輸出數(shù)據(jù)對，只有少量的連接權(quán)需要進行調(diào)整，從而使局部逼近網(wǎng)絡(luò)具有學(xué)習(xí)速度快的優(yōu)點，這一點對于有實時性要求的應(yīng)用來說至關(guān)重要。目前常用的局部逼近神經(jīng)網(wǎng)絡(luò)有CMAC網(wǎng)絡(luò)、徑向基函數(shù)RBF網(wǎng)絡(luò)和B樣條網(wǎng)絡(luò)等，其結(jié)構(gòu)原理相似。

1975年J.S.Albus提出一種模擬小腦功能的神經(jīng)網(wǎng)絡(luò)模型，稱為Cerebellar Model Articulation Controller，簡稱CMAC。CMAC網(wǎng)絡(luò)是仿照小腦控制肢體運動的原理而建立的神經(jīng)網(wǎng)絡(luò)模型。小腦指揮運動時具有不假思索地作出條件反射迅速響應(yīng)的特點，這種條件反射式響應(yīng)是一種迅速聯(lián)想。

CMAC 網(wǎng)絡(luò)有三個特點：

(1)、作為一種具有聯(lián)想功能的神經(jīng)網(wǎng)絡(luò)，它的聯(lián)想具有局部推廣（或稱泛化）能力，因此相似的輸入將產(chǎn)生相似的輸出，遠離的輸入將產(chǎn)生獨立的輸出；

(2)、對于網(wǎng)絡(luò)的每一個輸出，只有很少的神經(jīng)元所對應(yīng)的權(quán)值對其有影響，哪些神經(jīng)元對輸出有影響則有輸入決定；

(3)、CMAC的每個神經(jīng)元的輸入輸出是一種線性關(guān)系，但其總體上可看做一種表達非線性映射的表格系統(tǒng)。由于CMAC網(wǎng)絡(luò)的學(xué)習(xí)只在線性映射部分，因此可采用簡單的δ算法，其收斂速度比BP算法快得多，且不存在局部極小問題。CMAC最初主要用來求解機械手的關(guān)節(jié)運動，其后進一步用于機械人控制、模式識別、信號處理以及自適應(yīng)控制等領(lǐng)域。

9. RBF模型

對局部逼近神經(jīng)網(wǎng)絡(luò)，除CMAC神經(jīng)網(wǎng)絡(luò)外，常用的還有徑向基函數(shù)RBF網(wǎng)絡(luò)和B樣條網(wǎng)絡(luò)等。徑向基函數(shù)（RBF，Radial Basis Function）神經(jīng)網(wǎng)絡(luò)，是由J.Moody 和C.Darken于20世紀80年代末提出的一種神經(jīng)網(wǎng)絡(luò)，徑向基函數(shù)方法在某種程度上利用了多維空間中傳統(tǒng)的嚴格插值法的研究成果。在神經(jīng)網(wǎng)絡(luò)的背景下，隱藏單元提供一個“函數(shù)”集，該函數(shù)集在輸入模式向量擴展至隱層空間時為其構(gòu)建了一個任意的“基”；這個函數(shù)集中的函數(shù)就被稱為徑向基函數(shù)。徑向基函數(shù)首先是在實多變量插值問題的解中引入的。徑向基函數(shù)是目前數(shù)值分析研究中的一個主要領(lǐng)域之一。

最基本的徑向基函數(shù)（RBF）神經(jīng)網(wǎng)絡(luò)的構(gòu)成包括三層，其中每一層都有著完全不同的作用。輸入層由一些感知單元組成，它們將網(wǎng)絡(luò)與外界環(huán)境連接起來；第二層是網(wǎng)絡(luò)中僅有的一個隱層，它的作用是從輸入空間到隱層空間之間進行非線性變換，在大多數(shù)情況下，隱層空間有較高的維數(shù)；輸出層是線性的，它為作用于輸入層的激活模式提供響應(yīng)。

基本的徑向基函數(shù)RBF網(wǎng)絡(luò)是具有單穩(wěn)層的三層前饋網(wǎng)絡(luò)。由于它模擬了人腦中局部調(diào)整、相互覆蓋接受域（或稱感受域，Receptive Field）的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，因此，RBF網(wǎng)絡(luò)是一種局部逼近網(wǎng)絡(luò)，現(xiàn)已證明它能以任意精度逼近任一連續(xù)函數(shù).

RBF網(wǎng)絡(luò)的常規(guī)學(xué)習(xí)算法，一般包括兩個不同的階段：

(1)、隱層徑向基函數(shù)的中心的確定階段。常見方法有隨機選取固定中心法；中心的自組織選擇法等。

(2)、徑向基函數(shù)權(quán)值學(xué)習(xí)調(diào)整階段。常見方法有中心的監(jiān)督選擇法；正則化嚴格插值法等。

10. SOM模型

芬蘭Helsink大學(xué)Kohonen T.教授提出一種自組織特征映射網(wǎng)絡(luò)SOM(Self-organizing feature Map)，又稱Kohonen網(wǎng)絡(luò)。Kohonen認為，一個神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時，將會分為不同的對應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ接胁煌捻憫?yīng)特征，而這個過程是自動完成的。SOM網(wǎng)絡(luò)正是根據(jù)這一看法提出的，其特點與人腦的自組織特性相類似。

自組織神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

(1)、定義：自組織神經(jīng)網(wǎng)絡(luò)是無導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)。它通過自動尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。

(2)、結(jié)構(gòu)：層次型結(jié)構(gòu)，具有競爭層。典型結(jié)構(gòu)：輸入層＋競爭層。

輸入層：接受外界信息，將輸入模式向競爭層傳遞，起“觀察”作用。

競爭層：負責(zé)對輸入模式進行“分析比較，尋找規(guī)律，并歸類。

自組織神經(jīng)網(wǎng)絡(luò)的原理

(1)、分類與輸入模式的相似性：分類是在類別知識等導(dǎo)師信號的指導(dǎo)下，將待識別的輸入模式分配到各自的模式類中，無導(dǎo)師指導(dǎo)的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類，而將不相似的分離開來，實現(xiàn)模式樣本的類內(nèi)相似性和類間分離性。由于無導(dǎo)師學(xué)習(xí)的訓(xùn)練樣本中不含期望輸出，因此對于某一輸入模式樣本應(yīng)屬于哪一類并沒有任何先驗知識。對于一組輸入模式，只能根據(jù)它們之間的相似程度來分為若干類，因此，相似性是輸入模式的聚類依據(jù)。

(2)、相似性測量：神經(jīng)網(wǎng)絡(luò)的輸入模式向量的相似性測量可用向量之間的距離來衡量。常用的方法有歐氏距離法和余弦法兩種。

(3)、競爭學(xué)習(xí)原理:競爭學(xué)習(xí)規(guī)則的生理學(xué)基礎(chǔ)是神經(jīng)細胞的側(cè)抑制現(xiàn)象：當(dāng)一個神經(jīng)細胞興奮后，會對其周圍的神經(jīng)細胞產(chǎn)生抑制作用。最強的抑制作用是競爭獲勝的“唯我獨興”，這種做法稱為“勝者為王”，（Winner-Take-All）。競爭學(xué)習(xí)規(guī)則就是從神經(jīng)細胞的側(cè)抑制現(xiàn)象獲得的。它的學(xué)習(xí)步驟為：A、向量歸一化；B、尋找獲勝神經(jīng)元；C、網(wǎng)絡(luò)輸出與權(quán)調(diào)整；D、重新歸一化處理。

SOM網(wǎng)絡(luò)的拓撲結(jié)構(gòu)：SOM網(wǎng)絡(luò)共有兩層。即：輸入層和輸出層。

(1)、輸入層：通過權(quán)向量將外界信息匯集到輸出層各神經(jīng)元。輸入層的形式與BP網(wǎng)相同，節(jié)點數(shù)與樣本維數(shù)相同。

(2)、輸出層：輸出層也是競爭層。其神經(jīng)元的排列有多種形式。分為一維線陣,二維平面陣和三維柵格陣。最典型的結(jié)構(gòu)是二維形式。它更具大腦皮層的形象。

輸出層的每個神經(jīng)元同它周圍的其他神經(jīng)元側(cè)向連接，排列成棋盤狀平面；輸入層為單層神經(jīng)元排列。

SOM權(quán)值調(diào)整域

SOM網(wǎng)采用的算法，稱為Kohonen算法，它是在勝者為王WTA(Winner-Take-All)學(xué)習(xí)規(guī)則基礎(chǔ)上加以改進的，主要區(qū)別是調(diào)整權(quán)向量與側(cè)抑制的方式不同：WTA：側(cè)抑制是“封殺”式的。只有獲勝神經(jīng)元可以調(diào)整其權(quán)值，其他神經(jīng)元都無權(quán)調(diào)整。Kohonen算法：獲勝神經(jīng)元對其鄰近神經(jīng)元的影響是由近及遠，由興奮逐漸變?yōu)橐种?。換句話說，不僅獲勝神經(jīng)元要調(diào)整權(quán)值，它周圍神經(jīng)元也要不同程度調(diào)整權(quán)向量。

SOM網(wǎng)絡(luò)運行原理

SOM網(wǎng)絡(luò)的運行分訓(xùn)練和工作兩個階段。在訓(xùn)練階段，網(wǎng)絡(luò)隨機輸入訓(xùn)練集中的樣本，對某個特定的輸入模式，輸出層會有某個節(jié)點產(chǎn)生最大響應(yīng)而獲勝，而在訓(xùn)練開始階段，輸出層哪個位置的節(jié)點將對哪類輸入模式產(chǎn)生最大響應(yīng)是不確定的。當(dāng)輸入模式的類別改變時，二維平面的獲勝節(jié)點也會改變。獲勝節(jié)點周圍的節(jié)點因側(cè)向相互興奮作用也產(chǎn)生較大影響，于是獲勝節(jié)點及其優(yōu)勝鄰域內(nèi)的所有節(jié)點所連接的權(quán)向量均向輸入方向作不同程度的調(diào)整，調(diào)整力度依鄰域內(nèi)各節(jié)點距離獲勝節(jié)點的遠近而逐漸減小。網(wǎng)絡(luò)通過自組織方式，用大量訓(xùn)練樣本調(diào)整網(wǎng)絡(luò)權(quán)值，最后使輸出層各節(jié)點成為對特定模式類敏感的神經(jīng)元，對應(yīng)的內(nèi)星權(quán)向量成為各輸入模式的中心向量。并且當(dāng)兩個模式類的特征接近時，代表這兩類的節(jié)點在位置上也接近。從而在輸出層形成能反應(yīng)樣本模式類分布情況的有序特征圖。

11. CPN模型

1987年美國學(xué)者RobertHecht —Nielson提出了對偶傳播神經(jīng)網(wǎng)絡(luò)(Counter--propagation Networks，簡記為CPN)。CPN最早是用來實現(xiàn)樣本選擇匹配系統(tǒng)的。它能存儲二進制或模擬值的模式對，因此CPN網(wǎng)絡(luò)可以用作聯(lián)想存儲﹑模式分類﹑函數(shù)逼近和數(shù)據(jù)壓縮等用途。與BP網(wǎng)相比，CPN的訓(xùn)練速度要快很多，所需的時間大約是BP網(wǎng)所需時間的1％。但是，它的應(yīng)用面卻因網(wǎng)絡(luò)的性能相對來說比較窄。

從網(wǎng)絡(luò)的拓撲結(jié)構(gòu)來看，CPN與BP網(wǎng)類似，CPN是一個三層的神經(jīng)網(wǎng)絡(luò)，只不過這競爭層和輸出層執(zhí)行的訓(xùn)練算法是不同的。所以，稱CPN 是一個異構(gòu)網(wǎng)。與同構(gòu)網(wǎng)相比，網(wǎng)絡(luò)的異構(gòu)性使它更接近于人腦。在人腦中存在有各種特殊的模塊，它們使用完成不同的運算。例如，在聽覺通道的每一層，其神經(jīng)元與神經(jīng)纖維在結(jié)構(gòu)上的排列與頻率的關(guān)系十分密切，對某一些頻率，其中某些相應(yīng)的神經(jīng)元會獲得最大的響應(yīng)。這種聽覺通道上的神經(jīng)元的有序排列一直延續(xù)到聽覺皮層。盡管許多低層次上的神經(jīng)元是預(yù)先排列好的，但高層次上的神經(jīng)元的組織則是通過學(xué)習(xí)自組織形成的。

在RobertHecht—Nielson提出的CPN神經(jīng)網(wǎng)絡(luò)中，其競爭層和輸出層分別執(zhí)行較早些時候出現(xiàn)的兩個著名算法：即Kohonen l981年提出的自組織映射SOM算法和Grossberg l969年提出的外星(Outstar)算法。人們將執(zhí)行自組織映射的層稱為Kohonen層，執(zhí)行外星算法的層則被稱為Grossberg層。按這種方法將這兩種算法組合在一起后所獲得的網(wǎng)絡(luò)，不僅提供了一種設(shè)計多級網(wǎng)訓(xùn)練算法的思路，解決了多級網(wǎng)絡(luò)的訓(xùn)練問題，突破了單極網(wǎng)的限制，而且還使得網(wǎng)絡(luò)具有了許多新的特點。多級網(wǎng)絡(luò)的訓(xùn)練問題主要是在解決隱藏層神經(jīng)元相應(yīng)的聯(lián)接權(quán)調(diào)整時，需要通過隱藏層神經(jīng)元的理想輸出來實現(xiàn)相關(guān)誤差的估計。然而，它們對應(yīng)的理想輸出又是未知的。在無導(dǎo)師訓(xùn)練中是不需要知道理想輸出的，因此可以考慮讓網(wǎng)絡(luò)的隱藏層執(zhí)行無導(dǎo)師學(xué)習(xí)。這是解決多級網(wǎng)絡(luò)訓(xùn)練的另一個思路。實際上，CPN就是將無導(dǎo)師訓(xùn)練算法與有導(dǎo)師訓(xùn)練算法結(jié)合在一起，用無導(dǎo)師訓(xùn)練解決網(wǎng)絡(luò)隱藏層的理想輸出未知的問題，用有導(dǎo)師訓(xùn)練解決輸出層按系統(tǒng)的要求給出指定的輸出結(jié)果的問題。

Kohonen提出的自組織映射由四部分組成，包括一個神經(jīng)元陣列(用它構(gòu)成CPN的Kohonen層)，一種比較選擇機制，一個局部互聯(lián)，一個自適應(yīng)過程。實際上，這一層將實現(xiàn)對輸入進行分類的功能。所以，該層可以執(zhí)行無導(dǎo)師的學(xué)習(xí)，以完成對樣本集中所含的分類信息的提取。

Grossberg層主要用來實現(xiàn)類表示。由于相應(yīng)的類應(yīng)該是用戶所要求的，所以，對應(yīng)每—個輸入向量，用戶明確地知道它對應(yīng)的理想輸出向量，故該層將執(zhí)行有導(dǎo)師的訓(xùn)練。兩層的有機結(jié)合，就構(gòu)成—個映射系統(tǒng)。所以，有人將CPN 看成一個有能力進行一定的推廣的查找表(Look—up table)。它的訓(xùn)練過程就是將輸入向量與相應(yīng)的輸出向量對應(yīng)起來。這些向量可以是二值的，也可以是連續(xù)的。一旦網(wǎng)絡(luò)完成了訓(xùn)練，對一個給定的輸入就可以給出一個對應(yīng)的輸出。網(wǎng)絡(luò)的推廣能力表明，當(dāng)網(wǎng)絡(luò)遇到一個不太完整的、或者是不完全正確的輸入時，只要該“噪音”是在有限的范圍內(nèi)，CPN 都可以產(chǎn)生一個正確的輸出。這是因為Kohonen 層可以找到這個含有噪音的輸入應(yīng)該屬于的分類，而對應(yīng)的Grossberg層則可以給出該分類的表示。從整個網(wǎng)絡(luò)來看，就表現(xiàn)出一種泛化能力。這使得網(wǎng)絡(luò)在模式識別、模式完善、信號處理等方面可以有較好的應(yīng)用。另外，上述映射的逆映射如果存在的話，可以通過對此網(wǎng)的簡單擴展，來實現(xiàn)相應(yīng)的逆變換。這被稱為全對傳網(wǎng)。

12. ART模型

在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中，當(dāng)網(wǎng)絡(luò)規(guī)模給定后，由權(quán)矩陣所能記憶的模式類別信息量總是有限的，新輸入的模式樣本必然會對已經(jīng)記憶的模式樣本產(chǎn)生抵消或遺忘，從而使網(wǎng)絡(luò)的分類能力受到影響?？繜o限擴大網(wǎng)絡(luò)規(guī)模解決上述問題是不現(xiàn)實的。如何保證在適當(dāng)增加網(wǎng)絡(luò)規(guī)模的同時，在過去記憶的模式和新輸入的訓(xùn)練模式之間作出某種折中，既能最大限度地接收新的模式信息，同時又能保證較少地影響過去的樣本模式呢？ ART網(wǎng)絡(luò)在一定程度上能較好解決此問題。

1976年，美國Boston大學(xué)CarpenterG.A.教授提出了自適應(yīng)共振理論ART(Adaptive Resonance Theory)。隨后Carpenter G.A.又與他的學(xué)生GrossbergS.合作提出了ART神經(jīng)網(wǎng)絡(luò)。

經(jīng)過多年的研究和發(fā)展，ART 網(wǎng)絡(luò)已有幾種基本形式：

(1)、ART1型神經(jīng)網(wǎng)絡(luò)：處理雙極性和二進制信號；

(2)、ART2型神經(jīng)網(wǎng)絡(luò)：它是ART1型的擴展，用于處理連續(xù)型模擬信號；

(3)、ART綜合系統(tǒng)：將ART1和ART2綜合在一起，系統(tǒng)具有識別﹑補充和撤消等綜合功能。即所謂的3R（Recognition﹑Reinforcement﹑Recall）功能。

(4)、ART3型神經(jīng)網(wǎng)絡(luò)：它是一種分級搜索模型，兼容前兩種結(jié)構(gòu)的功能并將兩層神經(jīng)網(wǎng)絡(luò)擴大為任意多層神經(jīng)元網(wǎng)絡(luò)，由于ART3型在神經(jīng)元的模型中納入了生物神經(jīng)元的生物電－化學(xué)反應(yīng)機制，因而它具備了很強的功能和擴展能力。

13. 量子神經(jīng)網(wǎng)絡(luò)

量子神經(jīng)網(wǎng)絡(luò)的概念出現(xiàn)于上個世紀90年代后期，一經(jīng)提出后便引起了不同領(lǐng)域的科學(xué)家的關(guān)注，人們在這個嶄新的領(lǐng)域進行了不同方向的探索，提出了很多想法和初步的模型，充分體現(xiàn)了量子神經(jīng)網(wǎng)絡(luò)研究的巨大潛力。主要研究方向可以概括為：

(1)、量子神經(jīng)網(wǎng)絡(luò)采用神經(jīng)網(wǎng)絡(luò)的連接思想來構(gòu)造量子計算機，通過神經(jīng)網(wǎng)絡(luò)模型來研究量子計算中的問題；

(2)、量子神經(jīng)網(wǎng)絡(luò)在量子計算機或量子器件的基礎(chǔ)上構(gòu)造神經(jīng)網(wǎng)絡(luò)，充分利用量子計算超高速、超并行、指數(shù)級容量的特點，來改進神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和性能；

(3)、量子神經(jīng)網(wǎng)絡(luò)作為一種混合的智能優(yōu)化算法在傳統(tǒng)的計算機上的實現(xiàn)，通過引入量子理論中的思想對傳統(tǒng)神經(jīng)網(wǎng)絡(luò)改進，利用量子理論中的概念、方法(如態(tài)疊加、“多宇宙”觀點等)，建立新的網(wǎng)絡(luò)模型；改善傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和性能；

(4)、基于腦科學(xué)、認知科學(xué)的研究。

以上整理的內(nèi)容主要摘自：

1. 《人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用》，2006，科學(xué)出版社

2. 《神經(jīng)網(wǎng)絡(luò)郵件分類算法研究》，2011，碩論，電子科技大學(xué)

3. 《人工神經(jīng)網(wǎng)絡(luò)原理、分類及應(yīng)用》，2014，期刊，科技資訊