神經(jīng)網(wǎng)絡(luò)模型的優(yōu)缺點(diǎn)

這里將神經(jīng)網(wǎng)絡(luò)大體分為4個(gè)部分：結(jié)構(gòu)，算子，參數(shù)，標(biāo)簽。

隨著技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)越來越復(fù)雜，能處理的邏輯也越來越多，比如不同的神經(jīng)網(wǎng)絡(luò)模型能處理圖像類、目標(biāo)檢測、圖像分割、關(guān)鍵點(diǎn)檢測、圖像生成、場景文字識(shí)別、度量學(xué)習(xí)、視頻分類和動(dòng)作定位等多種任務(wù)。
受到生物神經(jīng)元的啟發(fā)，1943年，美國數(shù)學(xué)邏輯學(xué)家沃爾特·皮茨和心理學(xué)家沃倫·麥克洛克提出了人工神經(jīng)元結(jié)構(gòu)，如圖所示。輸入的數(shù)據(jù)X1，X2，…，X{經(jīng)過加權(quán)和偏置后，由激活函數(shù)處理后得到輸出。

現(xiàn)在的神經(jīng)網(wǎng)絡(luò)模型大多采用分層結(jié)構(gòu)，包含輸入層、隱含層和輸出層。其中，輸入層用于數(shù)據(jù)的輸入，輸出層用于推理結(jié)果的輸出，隱含層則是神經(jīng)網(wǎng)絡(luò)中的合成層，介于輸人層(即特征)和輸出層(即預(yù)測)之間。神經(jīng)網(wǎng)絡(luò)包含一個(gè)或多個(gè)隱含層。含有隱含層的神經(jīng)網(wǎng)絡(luò)，隱含層的數(shù)量和節(jié)點(diǎn)越多，在非線性的激活函數(shù)下，神經(jīng)網(wǎng)絡(luò)就可以學(xué)習(xí)更深層次的特征。

算子
神經(jīng)網(wǎng)絡(luò)模型中各層每個(gè)節(jié)點(diǎn)的操作都是一個(gè)算子，也叫作函數(shù)。這些算子是神經(jīng)網(wǎng)絡(luò)的核心單元，用于將上一層的輸出數(shù)據(jù)作為輸人，計(jì)算后輸出到下一層節(jié)點(diǎn)。算子的種類非常多，總的來說分為激活函數(shù)、計(jì)算類算子、歸一化函數(shù)、特征提取函數(shù)、防過擬合算子、損失函數(shù)等。
激活函數(shù)
激活函數(shù)能對上一層的所有輸人求加權(quán)和，然后生成一個(gè)輸出值(通常為非線性值)，并將其傳遞給下一層，目標(biāo)是為神經(jīng)網(wǎng)絡(luò)引人非線性。典型的激活函數(shù)包括ReLU、Sigmoid等。計(jì)算類算子
計(jì)算類算子用于張量計(jì)算。張量是人工智能計(jì)算使用的主要數(shù)據(jù)結(jié)構(gòu)，最常見的是標(biāo)量、向量或矩陣。計(jì)算類算子包括張量間的加、減、乘、除，BiasAdd，矩陣乘等多種運(yùn)算。
歸一化函數(shù)
歸一化函數(shù)用于將不同表征的數(shù)據(jù)歸約到相同的尺度內(nèi)，來進(jìn)一步獲得高頻特征。主要的歸一化函數(shù)包括 BatchNorm、LRN等

特征提取

函數(shù)能提取待檢測目標(biāo)部分或全部的特征值，用于神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和推理，主要的特征提取函數(shù)包括 Convolution、FullConnection、Correlation和DeConvolution等口防過擬合算子
特征提取函數(shù)
防過擬合算子用于神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和推理，主要的防過擬合算子包括Pooling、Mean、ROIPooling 等。
參數(shù)
參數(shù)是指機(jī)器學(xué)習(xí)系統(tǒng)自行訓(xùn)練的模型變量。權(quán)重和偏置就是神經(jīng)網(wǎng)絡(luò)模型中的重要參數(shù)。假設(shè)輸入為義，X，···，，輸出為Y，則函數(shù)Y為
Y=ZwX+b則權(quán)重為 w，偏置為b，它們的值是機(jī)器學(xué)習(xí)系統(tǒng)通過連續(xù)的訓(xùn)練迭代逐漸學(xué)習(xí)到的。神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練過程中通過不斷修改權(quán)重和偏置來減小損失函數(shù)值，最終達(dá)到訓(xùn)練效果訓(xùn)練完成后，這些參數(shù)將被保存到神經(jīng)網(wǎng)絡(luò)模型中用于推理計(jì)算。
標(biāo)簽
標(biāo)簽用于神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和推理，表示神經(jīng)網(wǎng)絡(luò)模型可推理的范圍。嚴(yán)格意義上標(biāo)簽不屬于神經(jīng)網(wǎng)絡(luò)模型本身的組成部分，主要用于配合進(jìn)行結(jié)果的判斷，通常是一個(gè)單獨(dú)的文件。比如一個(gè)用于圖像分類模型的標(biāo)簽文件的內(nèi)容可能包括貓、狗、樹木等不同物品及其對應(yīng)的編號(hào)，而用于目標(biāo)分類模型的標(biāo)簽文件可能還包括具體物品在圖片中所處的區(qū)域參數(shù)。一般情況下，神經(jīng)網(wǎng)絡(luò)模型的輸出為一個(gè)編號(hào)，這就需要通過標(biāo)簽文件的編號(hào)來匹配最終的推理結(jié)果。