torch.nn

pytorch中文文檔鏈接：torch.nn

在复制__init__()函數(shù)里定義，定義的是一個(gè)類：

torch.nn.functional

pytorch中文文檔鏈接：torch.nn.functional

在复制__forward()__函數(shù)里定義，定義的是一個(gè)函數(shù)：

兩者的區(qū)別

torch.nn中是一個(gè)定義的類，以class xx來定義的，可以提取變化的學(xué)習(xí)參數(shù)。

torch.nn.functional是一個(gè)函數(shù)，由def function( )定義，是一個(gè)固定的運(yùn)算公式。

深度學(xué)習(xí)中會有很多權(quán)重是在不斷更新的，所以需要采用類的方式，以確保能在參數(shù)發(fā)生變化時(shí)仍能使用我們之前定好的運(yùn)算步驟。因此如果模型有可學(xué)習(xí)的參數(shù)，應(yīng)該使用nn.Module，否則兩個(gè)沒有區(qū)別。但是簡單的計(jì)算不需要新建一個(gè)類來做，所以使用nn.functional定義函數(shù)就可以。

即：層內(nèi)有复制variable的情況用复制nn定義，否則用复制nn.functional定義。

學(xué)習(xí)更多編程知識，請關(guān)注我的公眾號：

[代碼的路]