如何讓Python和Go互相調(diào)度

我們?cè)?jīng)研究過如何讓Python和Go互相調(diào)度，當(dāng)時(shí)發(fā)現(xiàn)，將Go語(yǔ)言寫的模塊打包成動(dòng)態(tài)鏈接庫(kù)，就能在Python中進(jìn)行調(diào)度：

優(yōu)劣互補(bǔ)! Python+Go結(jié)合開發(fā)的探討

Go的優(yōu)勢(shì)很明顯，從1億減到1，在我的設(shè)備上測(cè)試，用Go運(yùn)行只需要50ms，Python可能需要接近100倍的時(shí)間。

但是，這種寫法也有缺點(diǎn)：實(shí)在太麻煩了，大大增加了整個(gè)項(xiàng)目的耦合性。

那Python中有沒有辦法不通過打包成動(dòng)態(tài)鏈接庫(kù)的方法，用Python調(diào)度Go的任務(wù)呢？答案是Go celery.

https://github.com/gocelery/gocelery

我們可以用Go寫一個(gè)計(jì)算密集型任務(wù)的Worker，然后用Python的Celery beat來調(diào)度這個(gè)Worker，下面給大家演示一下：

1.編寫Go Worker

最好是將計(jì)算密集型的任務(wù)改造成Go語(yǔ)言版的，這樣收益才能最大化。

比如這里，我使用的是上回從1億減到1的老梗。

PS，別被下面這段代碼嚇到了，其實(shí)大部分是可以去掉的配置項(xiàng)，核心代碼就幾行。

輸入命令：

go run main.go

即可運(yùn)行該worker

2.編寫Python客戶端

每5秒調(diào)度一次1億減到1，不過不跑Python worker. 由于Go Worker在運(yùn)行，這里的minus會(huì)被Go Worker消費(fèi)。

另外請(qǐng)注意，這里的minus函數(shù)實(shí)際上只是為了能被識(shí)別到而編寫的，其內(nèi)容毫無(wú)意義，直接寫個(gè)pass都沒問題（因?yàn)閷?shí)際上是Go Worker在消費(fèi)）。

編寫完后，針對(duì)go_tasks模塊啟動(dòng)beat：

celery -A go_tasks beat

此時(shí)，調(diào)度器就會(huì)調(diào)度Go Worker執(zhí)行任務(wù)：

可以看到，我們成功用Python的Celery Beat調(diào)度了Go寫的Worker！可喜可賀。

接下來可以看看如果單純用Python的Worker做這樣的計(jì)算是有多耗時(shí)：

啟動(dòng)worker:

celery worker -A python_tasks -l info --pool=eventlet

啟動(dòng)beat調(diào)度器:

celery -A python_tasks beat

結(jié)果如下：

可以看到，Python從1億減到1平均需要5.2秒左右的時(shí)間，和Go版相差了100倍左右。

如果我們將調(diào)度器的頻率提高到每秒計(jì)算1次，Python版的Worker，其任務(wù)隊(duì)列一定會(huì)堵塞，因?yàn)閃orker消費(fèi)能力不夠強(qiáng)大。相比之下，Go版的Worker可就非常給力了。

因此，如果你的項(xiàng)目中有這種計(jì)算密集型的任務(wù)，可以嘗試將其提取成Go版本試試，說不定有驚喜呢。