Python編程代碼示例

當(dāng)你在機(jī)器上啟動(dòng)某個(gè)程序時(shí)，它只是在自己的“bubble”里面運(yùn)行，這個(gè)氣泡的作用就是用來(lái)將同一時(shí)刻運(yùn)行的所有程序進(jìn)行分離。這個(gè)“bubble”也可以稱(chēng)之為進(jìn)程，包含了管理該程序調(diào)用所需要的一切。

例如，這個(gè)所謂的進(jìn)程環(huán)境包括該進(jìn)程使用的內(nèi)存頁(yè)，處理該進(jìn)程打開(kāi)的文件，用戶(hù)和組的訪問(wèn)權(quán)限，以及它的整個(gè)命令行調(diào)用，包括給定的參數(shù)。

此信息保存在UNIX/Linux系統(tǒng)的流程文件系統(tǒng)中，該系統(tǒng)是一個(gè)虛擬文件系統(tǒng)，可通過(guò)/proc目錄進(jìn)行訪問(wèn)。條目都已經(jīng)根據(jù)進(jìn)程ID排過(guò)序了，該ID是每個(gè)進(jìn)程的唯一標(biāo)識(shí)符。示例1顯示了具有進(jìn)程ID#177的任意選擇的進(jìn)程。

示例1:可用于進(jìn)程的信息

?

構(gòu)建程序代碼以及數(shù)據(jù)

程序越復(fù)雜，就越有助于將其分成較小的模塊。不僅僅源代碼是這樣，在機(jī)器上執(zhí)行的代碼也同樣適用于這條規(guī)則。該規(guī)則的典型范例就是使用子進(jìn)程并行執(zhí)行。這背后的想法就是：

單個(gè)進(jìn)程包含了可以單獨(dú)運(yùn)行的代碼段

某些代碼段可以同時(shí)運(yùn)行，因此原則上允許并行

使用現(xiàn)代處理器和操作系統(tǒng)的特性，例如可以使用處理器的所有核心，這樣就可以減少程序的總執(zhí)行時(shí)間

減少程序/代碼的復(fù)雜性，并將工作外包專(zhuān)門(mén)的代理

使用子進(jìn)程需要重新考慮程序的執(zhí)行方式，從線性到并行。它類(lèi)似于將公司的工作視角從普通員工轉(zhuǎn)變?yōu)榻?jīng)理——你必須關(guān)注誰(shuí)在做什么，某個(gè)步驟需要多長(zhǎng)時(shí)間，以及中間結(jié)果之間的依賴(lài)關(guān)系。
這有利于將代碼分割成更小的部分，這些更小的部分可以由專(zhuān)門(mén)用于此任務(wù)的代理執(zhí)行。如果還沒(méi)有想清楚，試想一下數(shù)據(jù)集的構(gòu)造原理，它也是同樣的道理，這樣就可以由單個(gè)代理進(jìn)行有效的處理。但是這也引出了一些問(wèn)題：

為什么要將代碼并行化?落實(shí)到具體案例中或者在努力的過(guò)程中，思考這個(gè)問(wèn)題有意義嗎?

程序是否打算只運(yùn)行一次，還是會(huì)定期運(yùn)行在類(lèi)似的數(shù)據(jù)集上?

能把算法分成幾個(gè)單獨(dú)的執(zhí)行步驟嗎?

數(shù)據(jù)是否允許并行化?如果不允許，那么數(shù)據(jù)組織將以何種方式進(jìn)行調(diào)整?

計(jì)算的中間結(jié)果是否相互依賴(lài)?

需要對(duì)硬件進(jìn)行調(diào)整嗎?

在硬件或算法中是否存在瓶頸，如何避免或者最小化這些因素的影響?

并行化的其他副作用有哪些?

可能的用例就是主進(jìn)程，以及后臺(tái)運(yùn)行的等待被激活的守護(hù)進(jìn)程(主/從)。此外，這可能是啟動(dòng)按需運(yùn)行的工作進(jìn)程的一個(gè)主要過(guò)程。在實(shí)踐中，主要的過(guò)程是一個(gè)饋線過(guò)程，它控制兩個(gè)或多個(gè)被饋送數(shù)據(jù)部分的代理，并在給定的部分進(jìn)行計(jì)算。

請(qǐng)記住，由于操作系統(tǒng)所需要的子進(jìn)程的開(kāi)銷(xiāo)，并行操作既昂貴又耗時(shí)。與以線性方式運(yùn)行兩個(gè)或多個(gè)任務(wù)相比，在并行的情況下，根據(jù)您的用例，可以在每個(gè)子過(guò)程中節(jié)省25%到30%的時(shí)間。例如，如果在系列中執(zhí)行了兩項(xiàng)消耗5秒的任務(wù)，那么總共需要10秒的時(shí)間，并且在并行化的情況下，在多核機(jī)器上平均需要8秒。這8秒中的3秒可能會(huì)在頭頂上消失，限制你的速度提高。

運(yùn)行與Python并行的函數(shù)

Python提供了四種可能的處理方式。首先可以使用multiprocessing模塊并行執(zhí)行功能。第二，進(jìn)程的替代方法是線程。從技術(shù)上講，這些都是輕量級(jí)的進(jìn)程，不在本文的范圍之內(nèi)。想了解更加詳細(xì)的內(nèi)容，可以看看Python的線程模塊。第三，可以使用os模塊的system()方法或subprocess模塊提供的方法調(diào)用外部程序，然后收集結(jié)果。

multiprocessing模塊涵蓋了一系列方法來(lái)處理并行執(zhí)行例程。這包括進(jìn)程，代理池，隊(duì)列以及管道。
清單1使用了五個(gè)代理程序池，同時(shí)處理三個(gè)值的塊。對(duì)于代理的數(shù)量和對(duì)chunksize的值都是任意選擇的，用于演示目的。根據(jù)處理器中核心的數(shù)量來(lái)調(diào)整這些值。

Pool.map()方法需要三個(gè)參數(shù) - 在數(shù)據(jù)集的每個(gè)元素上調(diào)用的函數(shù)，數(shù)據(jù)集本身和chunksize。在清單1中，我們使用square函數(shù)，并計(jì)算給定整數(shù)值的平方。此外，chunksize不是必須的。如果未明確設(shè)置，則默認(rèn)chunksize為1。

請(qǐng)注意，代理商的執(zhí)行訂單不能保證，但結(jié)果集的順序是正確的。它根據(jù)原始數(shù)據(jù)集的元素的順序包含平方值。

清單1：并行運(yùn)行函數(shù)

?