0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Python import Hook 實(shí)現(xiàn)遠(yuǎn)程導(dǎo)入模塊

科技綠洲 ? 來(lái)源:Python實(shí)用寶典 ? 作者:Python實(shí)用寶典 ? 2023-11-02 11:45 ? 次閱讀

所謂的模塊導(dǎo)入,是指在一個(gè)模塊中使用另一個(gè)模塊的代碼的操作,它有利于代碼的復(fù)用。

也許你看到這個(gè)標(biāo)題,會(huì)說我怎么會(huì)發(fā)這么基礎(chǔ)的文章?

與此相反。恰恰我覺得這篇文章的內(nèi)容可以算是 Python 的進(jìn)階技能,會(huì)深入地探討并以真實(shí)案例講解 Python import Hook 的知識(shí)點(diǎn)。

當(dāng)然為了使文章更系統(tǒng)、全面,前面會(huì)有小篇幅講解基礎(chǔ)知識(shí)點(diǎn),但請(qǐng)你有耐心的往后讀下去,因?yàn)楹竺娌攀潜酒恼碌木A所在,希望你不要錯(cuò)過。

圖片

1. 導(dǎo)入系統(tǒng)的基礎(chǔ)

1.1 導(dǎo)入單元構(gòu)成

導(dǎo)入單元有多種,可以是模塊、包及變量等。

對(duì)于這些基礎(chǔ)的概念,對(duì)于新手還是有必要介紹一下它們的區(qū)別。

模塊 :類似 .py, .pyc, .pyd , .so,*.dll 這樣的文件,是 Python 代碼載體的最小單元。

還可以細(xì)分為兩種:

  • Regular packages:是一個(gè)帶有 init .py 文件的文件夾,此文件夾下可包含其他子包,或者模塊
  • Namespace packages

關(guān)于 Namespace packages,有的人會(huì)比較陌生,我這里摘抄官方文檔的一段說明來(lái)解釋一下。

Namespace packages 是由多個(gè) 部分 構(gòu)成的,每個(gè)部分為父包增加一個(gè)子包。各個(gè)部分可能處于文件系統(tǒng)的不同位置。部分也可能處于 zip 文件中、網(wǎng)絡(luò)上,或者 Python 在導(dǎo)入期間可以搜索的其他地方。命名空間包并不一定會(huì)直接對(duì)應(yīng)到文件系統(tǒng)中的對(duì)象;它們有可能是無(wú)實(shí)體表示的虛擬模塊。

命名空間包的 __path__ 屬性不使用普通的列表。而是使用定制的可迭代類型,如果其父包的路徑 (或者最高層級(jí)包的 sys.path) 發(fā)生改變,這種對(duì)象會(huì)在該包內(nèi)的下一次導(dǎo)入嘗試時(shí)自動(dòng)執(zhí)行新的對(duì)包部分的搜索。

命名空間包沒有 parent/__init__.py 文件。實(shí)際上,在導(dǎo)入搜索期間可能找到多個(gè) parent 目錄,每個(gè)都由不同的部分所提供。因此 parent/one 的物理位置不一定與 parent/two 相鄰。在這種情況下,Python 將為頂級(jí)的 parent 包創(chuàng)建一個(gè)命名空間包,無(wú)論是它本身還是它的某個(gè)子包被導(dǎo)入。

1.2 相對(duì)/絕對(duì)對(duì)導(dǎo)入

當(dāng)我們 import 導(dǎo)入模塊或包時(shí),Python 提供兩種導(dǎo)入方式:

  • 相對(duì)導(dǎo)入(relative import ):import foo.bar 或者 form foo import bar
  • 絕對(duì)導(dǎo)入(absolute import):from . import B 或 from ..A import B,其中.表示當(dāng)前模塊,..表示上層模塊

你可以根據(jù)實(shí)際需要進(jìn)行選擇,但有必要說明的是,在早期的版本( Python2.6 之前),Python 默認(rèn)使用的相對(duì)導(dǎo)入。而后來(lái)的版本中( Python2.6 之后),都以絕對(duì)導(dǎo)入為默認(rèn)使用的導(dǎo)入方式。

使用絕對(duì)路徑和相對(duì)路徑各有利弊:

  • 當(dāng)你在開發(fā)維護(hù)自己的項(xiàng)目時(shí),應(yīng)當(dāng)使用相對(duì)路徑導(dǎo)入,這樣可以避免硬編碼帶來(lái)的麻煩。
  • 而使用絕對(duì)路徑,會(huì)讓你模塊導(dǎo)入結(jié)構(gòu)更加清晰,而且也避免了重名的包沖突而導(dǎo)入錯(cuò)誤。

1.3 導(dǎo)入的標(biāo)準(zhǔn)寫法

在 PEP8 中有一條,對(duì)模塊的導(dǎo)入順序提出了要求,不同來(lái)源模塊導(dǎo)入,應(yīng)該有清晰的界限,使用一空行來(lái)分開。

  • import 語(yǔ)句應(yīng)當(dāng)分行書寫
# bad
import os,sys

# good
import os
import sys
  • import語(yǔ)句應(yīng)當(dāng)使用absolute import
# bad
from ..bar import  Bar

# good
from foo.bar import test
  • import語(yǔ)句應(yīng)當(dāng)放在文件頭部,置于模塊說明及docstring之后,全局變量之前
  • import語(yǔ)句應(yīng)該按照順序排列,每組之間用一個(gè)空格分隔,按照內(nèi)置模塊,第三方模塊,自己所寫的模塊調(diào)用順序,同時(shí)每組內(nèi)部按照字母表順序排列
# 內(nèi)置模塊
import os
import sys

# 第三方模塊
import flask

# 本地模塊
from foo import bar

2. import 的妙用

在 Python 中使用 import 關(guān)鍵字來(lái)實(shí)現(xiàn)模塊/包的導(dǎo)入,可以說是基礎(chǔ)中的基礎(chǔ)。

但這不是唯一的方法,還有 importlib.import_module()__import__() 等。

對(duì)于 __import__ ,普通的開發(fā)者,可能就會(huì)比較陌生。

和 import 不同的是,__import__ 是一個(gè)函數(shù),也正是因?yàn)檫@個(gè)原因,使得 __import__ 的使用會(huì)更加靈活,常常用于框架中,對(duì)于插件的動(dòng)態(tài)加載。

實(shí)際上,當(dāng)我們調(diào)用 import 導(dǎo)入模塊時(shí),其內(nèi)部也是調(diào)用了 __import__ ,請(qǐng)看如下兩種導(dǎo)入方法,他們是等價(jià)的。

# 使用 import
import os

# 使用 __import__
os = __import__('os')

通過舉一反三,下面兩種方法同樣也是等價(jià)的。

# 使用 import .. as ..
import pandas as pd

# 使用 __import__
pd = __import__('pandas')

上面我說 __import__ 常常用于插件的動(dòng)態(tài),事實(shí)上也只有它能做到(相對(duì)于 import 來(lái)說)。

插件通常會(huì)位于某一特定的文件夾下,在使用過程中,可能你并不會(huì)用到全部的插件,也可能你會(huì)新增插件。

如果使用 import 關(guān)鍵字這種硬編碼的方式,顯然太不優(yōu)雅了,當(dāng)你要新增/修改插件的時(shí)候,都需要你修改代碼。更合適的做法是,將這些插件以配置的方式,寫在配置文件中,然后由代碼去讀取你的配置,動(dòng)態(tài)導(dǎo)入你要使用的插件,即靈活又方便,也不容易出錯(cuò)。

假如我的一個(gè)項(xiàng)目中,有 plugin01 、plugin02、plugin03 、plugin04 四個(gè)插件,這些插件下都會(huì)實(shí)現(xiàn)一個(gè)核心方法 run() 。但有時(shí)候我不想使用全部的插件,只想使用 plugin02plugin04 ,那我就在配置文件中寫我要使用的兩個(gè)插件。

# my.conf
custom_plugins=['plugin02', 'plugin04']

那我如何使用動(dòng)態(tài)加載,并運(yùn)行他們呢?

# main.py

for plugin in conf.custom_plugins:
    __import__(plugin)
    sys.modules[plugin].run()

3. 理解模塊的緩存

在一個(gè)模塊內(nèi)部重復(fù)引用另一個(gè)相同模塊,實(shí)際并不會(huì)導(dǎo)入兩次,原因是在使用關(guān)鍵字 import 導(dǎo)入模塊時(shí),它會(huì)先檢索 sys.modules 里是否已經(jīng)載入這個(gè)模塊了,如果已經(jīng)載入,則不會(huì)再次導(dǎo)入,如果不存在,才會(huì)去檢索導(dǎo)入這個(gè)模塊。

來(lái)實(shí)驗(yàn)一下,在 my_mod02 這個(gè)模塊里,我 import 兩次 my_mod01 這個(gè)模塊,按邏輯每一次 import 會(huì)一次 my_mod01 里的代碼(即打印 in mod01),但是驗(yàn)證結(jié)果是,只打印了一次。

$ cat my_mod01.py                 
print('in mod01')                    

$ cat my_mod02.py                 
import my_mod01                                        
import my_mod01     

$ python my_mod02.py              
in mod01

該現(xiàn)象的解釋是:因?yàn)橛?sys.modules 的存在。

sys.modules 是一個(gè)字典(key:模塊名,value:模塊對(duì)象),它存放著在當(dāng)前 namespace 所有已經(jīng)導(dǎo)入的模塊對(duì)象。

# test_module.py

import sys
print(sys.modules.get('json', 'NotFound'))

import json
print(sys.modules.get('json', 'NotFound'))

運(yùn)行結(jié)果如下,可見在 導(dǎo)入后 json 模塊后,sys.modules 才有了 json 模塊的對(duì)象。

$ python test_module.py
NotFound
< module 'json' from 'C:Python27libjson__init__.pyc' >

由于有緩存的存在,使得我們無(wú)法重新載入一個(gè)模塊。

但若你想反其道行之,可以借助 importlib 這個(gè)神奇的庫(kù)來(lái)實(shí)現(xiàn)。事實(shí)也確實(shí)有此場(chǎng)景,比如在代碼調(diào)試中,在發(fā)現(xiàn)代碼有異常并修改后,我們通常要重啟服務(wù)再次載入程序。這時(shí)候,若有了模塊重載,就無(wú)比方便了,修改完代碼后也無(wú)需服務(wù)的重啟,就能繼續(xù)調(diào)試。

還是以上面的例子來(lái)理解,my_mod02.py 改寫成如下

# my_mod02.py

import importlib
import my_mod01
importlib.reload(my_mod01)

使用 python3 來(lái)執(zhí)行這個(gè)模塊,與上面不同的是,這邊執(zhí)行了兩次 my_mod01.py

$ python3 my_mod02.py
in mod01
in mod01

4. 查找器與加載器

如果指定名稱的模塊在 sys.modules 找不到,則將發(fā)起調(diào)用 Python 的導(dǎo)入?yún)f(xié)議以查找和加載該模塊。

此協(xié)議由兩個(gè)概念性模塊構(gòu)成,即 查找器加載器。

一個(gè) Python 的模塊的導(dǎo)入,其實(shí)可以再細(xì)分為兩個(gè)過程:

  • 由查找器實(shí)現(xiàn)的模塊查找
  • 由加載器實(shí)現(xiàn)的模塊加載

4.1 查找器是什么?

查找器(finder),簡(jiǎn)單點(diǎn)說,查找器定義了一個(gè)模塊查找機(jī)制,讓程序知道該如何找到對(duì)應(yīng)的模塊。

其實(shí) Python 內(nèi)置了多個(gè)默認(rèn)查找器,其存在于 sys.meta_path 中。

但這些查找器對(duì)應(yīng)使用者來(lái)說,并不是那么重要,因此在 Python 3.3 之前, Python 解釋將其隱藏了,我們稱之為隱式查找器。

# Python 2.7
 >> > import sys
 >> > sys.meta_path
[]
 >> >

由于這點(diǎn)不利于開發(fā)者深入理解 import 機(jī)制,在 Python 3.3 后,所有的模塊導(dǎo)入機(jī)制都會(huì)通過 sys.meta_path 暴露,不會(huì)在有任何隱式導(dǎo)入機(jī)制。

# Python 3.7
> >> import sys
> >> sys.meta_path
[< class '_frozen_importlib.BuiltinImporter' >, 
 < class '_frozen_importlib.FrozenImporter' >, 
 < class '_frozen_importlib_external.PathFinder' >, 
 < class '_frozen_importlib_external.PathFinder' >]
> >>

觀察一下 Python 默認(rèn)的這幾種查找器 (finder),可以分為三種:

  • 一種知道如何導(dǎo)入內(nèi)置模塊
  • 一種知道如何導(dǎo)入凍結(jié)模塊
  • 一種知道如何導(dǎo)入來(lái)自 import path 的模塊 (即 path based finder)。

那我們能不能自已定義一個(gè)查找器呢?當(dāng)然可以,你只要:

  1. 定義一個(gè)實(shí)現(xiàn)了 find_module 方法的類(py2和py3均可),或者實(shí)現(xiàn) find_loader 類方法(僅 py3 有效),如果找到模塊需要返回一個(gè) loader 對(duì)象或者 ModuleSpec 對(duì)象(后面會(huì)講),沒找到需要返回 None
  2. 定義完后,要使用這個(gè)查找器,必須注冊(cè)它,將其插入在 sys.meta_path 的首位,這樣就能優(yōu)先使用。
import sys

class MyFinder(object):
    @classmethod
    def find_module(cls, name, path, target=None):
        print("Importing", name, path, target)
        # 將在后面定義
        return MyLoader()

# 由于 finder 是按順序讀取的,所以必須插入在首位
sys.meta_path.insert(0, MyFinder)

查找器可以分為兩種:

object
 +-- Finder (deprecated)
      +-- MetaPathFinder
      +-- PathEntryFinder

這里需要注意的是,在 3.4 版前,查找器會(huì)直接返回 加載器(Loader)對(duì)象,而在 3.4 版后,查找器則會(huì)返回模塊規(guī)格說明(ModuleSpec),其中 包含加載器。

而關(guān)于什么是 加載器 和 模塊規(guī)格說明, 請(qǐng)繼續(xù)往后看。

4.2 加載器是什么?

查找器只負(fù)責(zé)查找定位找模,而真正負(fù)責(zé)加載模塊的,是加載器(loader)。

一般的 loader 必須定義名為 load_module() 的方法。

為什么這里說一般,因?yàn)?loader 還分多種:

object
 +-- Finder (deprecated)
 |    +-- MetaPathFinder
 |    +-- PathEntryFinder
 +-- Loader
      +-- ResourceLoader --------+
      +-- InspectLoader          |
           +-- ExecutionLoader --+
                                 +-- FileLoader
                                 +-- SourceLoader

通過查看源碼可知,不同的加載器的抽象方法各有不同。

加載器通常由一個(gè) 查找器 返回。詳情參見 PEP 302。

那如何自定義我們自己的加載器呢?

你只要:

  1. 定義一個(gè)實(shí)現(xiàn)了 load_module 方法的類
  2. 對(duì)與導(dǎo)入有關(guān)的屬性(點(diǎn)擊查看詳情)進(jìn)行校驗(yàn)
  3. 創(chuàng)建模塊對(duì)象并綁定所有與導(dǎo)入相關(guān)的屬性變量到該模塊上
  4. 將此模塊保存到 sys.modules 中(順序很重要,避免遞歸導(dǎo)入)
  5. 然后加載模塊(這是核心)
  6. 若加載出錯(cuò),需要能夠處理拋出異常( ImportError),若加載成功,則返回 module 對(duì)象

若你想看具體的例子,可以接著往后看。

4.3 模塊的規(guī)格說明

導(dǎo)入機(jī)制在導(dǎo)入期間會(huì)使用有關(guān)每個(gè)模塊的多種信息,特別是加載之前。大多數(shù)信息都是所有模塊通用的。模塊規(guī)格說明的目的是基于每個(gè)模塊來(lái)封裝這些導(dǎo)入相關(guān)信息。

模塊的規(guī)格說明會(huì)作為模塊對(duì)象的 __spec__ 屬性對(duì)外公開。有關(guān)模塊規(guī)格的詳細(xì)內(nèi)容請(qǐng)參閱 ModuleSpec。

在 Python 3.4 后,查找器不再返回加載器,而是返回 ModuleSpec 對(duì)象,它儲(chǔ)存著更多的信息

  • 模塊名
  • 加載器
  • 模塊絕對(duì)路徑

那如何查看一個(gè)模塊的 ModuleSpec ?

這邊舉個(gè)例子

$ cat my_mod02.py
import my_mod01
print(my_mod01.__spec__)

$ python3 my_mod02.py
in mod01
ModuleSpec(name='my_mod01', loader=< _frozen_importlib_external.SourceFileLoader object at 0x000000000392DBE0 >, origin='/home/MING/my_mod01.py')

從 ModuleSpec 中可以看到,加載器是包含在內(nèi)的,那我們?nèi)绻匦录虞d一個(gè)模塊,是不是又有了另一種思路了?

來(lái)一起驗(yàn)證一下。

現(xiàn)在有兩個(gè)文件:

一個(gè)是 my_info.py

# my_info.py
name='python'

另一個(gè)是:main.py

# main.py
import my_info

print(my_info.name)

# 加一個(gè)斷點(diǎn)
import pdb;pdb.set_trace()

# 再加載一次
my_info.__spec__.loader.load_module()

print(my_info.name)

main.py 處,我加了一個(gè)斷點(diǎn),目的是當(dāng)運(yùn)行到斷點(diǎn)處時(shí),我修改 my_info.py 里的 name 為 ming ,以便驗(yàn)證重載是否有效?

$ python3 main.py
python
> /home/MING/main.py(9)< module >()
- > my_info.__spec__.loader.load_module()
(Pdb) c
ming

從結(jié)果來(lái)看,重載是有效的。

4.4 導(dǎo)入器是什么?

導(dǎo)入器(importer),也許你在其他文章里會(huì)見到它,但其實(shí)它并不是個(gè)新鮮的東西。

它只是同時(shí)實(shí)現(xiàn)了查找器和加載器兩種接口的對(duì)象,所以你可以說導(dǎo)入器(importer)是查找器(finder),也可以說它是加載器(loader)。

5. 遠(yuǎn)程導(dǎo)入模塊

由于 Python 默認(rèn)的 查找器和加載器 僅支持本地的模塊的導(dǎo)入,并不支持實(shí)現(xiàn)遠(yuǎn)程模塊的導(dǎo)入。

為了讓你更好的理解 Python Import Hook 機(jī)制,我下面會(huì)通過實(shí)例演示,如何自己實(shí)現(xiàn)遠(yuǎn)程導(dǎo)入模塊的導(dǎo)入器。

5.1 動(dòng)手實(shí)現(xiàn)導(dǎo)入器

當(dāng)導(dǎo)入一個(gè)包的時(shí)候,Python 解釋器首先會(huì)從 sys.meta_path 中拿到查找器列表。

默認(rèn)順序是:內(nèi)建模塊查找器 -> 凍結(jié)模塊查找器 -> 第三方模塊路徑(本地的 sys.path)查找器

若經(jīng)過這三個(gè)查找器,仍然無(wú)法查找到所需的模塊,則會(huì)拋出ImportError異常。

因此要實(shí)現(xiàn)遠(yuǎn)程導(dǎo)入模塊,有兩種思路。

  • 一種是實(shí)現(xiàn)自己的元路徑導(dǎo)入器;
  • 另一種是編寫一個(gè)鉤子,添加到sys.path_hooks里,識(shí)別特定的目錄命名模式。

我這里選擇第一種方法來(lái)做為示例。

實(shí)現(xiàn)導(dǎo)入器,我們需要分別查找器和加載器。

首先是查找器

由源碼得知,路徑查找器分為兩種

  • MetaPathFinder
  • PathEntryFinder

這里使用 MetaPathFinder 來(lái)進(jìn)行查找器的編寫。

在 Python 3.4 版本之前,查找器必須實(shí)現(xiàn) find_module() 方法,而 Python 3.4+ 版,則推薦使用 find_spec() 方法,但這并不意味著你不能使用 find_module(),但是在沒有 find_spec() 方法時(shí),導(dǎo)入?yún)f(xié)議還是會(huì)嘗試 find_module() 方法。

我先舉例下使用 find_module() 該如何寫。

from importlib import abc

class UrlMetaFinder(abc.MetaPathFinder):
    def __init__(self, baseurl):
        self._baseurl = baseurl

    def find_module(self, fullname, path=None):
        if path is None:
            baseurl = self._baseurl
        else:
            # 不是原定義的url就直接返回不存在
            if not path.startswith(self._baseurl):
                return None
            baseurl = path

        try:
            loader = UrlMetaLoader(baseurl)
            # loader.load_module(fullname)
        except Exception:
            return None

若使用 find_spec() ,要注意此方法的調(diào)用需要帶有兩到三個(gè)參數(shù)

第一個(gè)是被導(dǎo)入模塊的完整限定名稱,例如 foo.bar.baz。第二個(gè)參數(shù)是供模塊搜索使用的路徑條目。對(duì)于最高層級(jí)模塊,第二個(gè)參數(shù)為 None,但對(duì)于子模塊或子包,第二個(gè)參數(shù)為父包 __path__ 屬性的值。如果相應(yīng)的 __path__ 屬性無(wú)法訪問,將引發(fā) ModuleNotFoundError。第三個(gè)參數(shù)是一個(gè)將被作為稍后加載目標(biāo)的現(xiàn)有模塊對(duì)象。導(dǎo)入系統(tǒng)僅會(huì)在重加載期間傳入一個(gè)目標(biāo)模塊。

from importlib import abc
from importlib.machinery import ModuleSpec

class UrlMetaFinder(abc.MetaPathFinder):
    def __init__(self, baseurl):
        self._baseurl = baseurl
    def find_spec(self, fullname, path=None, target=None):
        if path is None:
            baseurl = self._baseurl
        else:
            # 不是原定義的url就直接返回不存在
            if not path.startswith(self._baseurl):
                return None
            baseurl = path

        try:
            loader = UrlMetaLoader(baseurl)
            return ModuleSpec(fullname, loader, is_package=loader.is_package(fullname))
        except Exception:
            return None

接下來(lái)是加載器

由源碼得知,路徑查找器分為兩種

  • FileLoader
  • SourceLoader

按理說,兩種加載器都可以實(shí)現(xiàn)我們想要的功能,我這里選用 SourceLoader 來(lái)示范。

在 SourceLoader 這個(gè)抽象類里,有幾個(gè)很重要的方法,在你寫實(shí)現(xiàn)加載器的時(shí)候需要注意

  • get_code:獲取源代碼,可以根據(jù)自己場(chǎng)景實(shí)現(xiàn)實(shí)現(xiàn)。
  • exec_module:執(zhí)行源代碼,并將變量賦值給 module.dict
  • get_data:抽象方法,必須實(shí)現(xiàn),返回指定路徑的字節(jié)碼。
  • get_filename:抽象方法,必須實(shí)現(xiàn),返回文件名

在一些老的博客文章中,你會(huì)經(jīng)常看到 加載器 要實(shí)現(xiàn) load_module() ,而這個(gè)方法早已在 Python 3.4 的時(shí)候就被廢棄了,當(dāng)然為了兼容考慮,你若使用 load_module() 也是可以的。

from importlib import abc

class UrlMetaLoader(abc.SourceLoader):
    def __init__(self, baseurl):
        self.baseurl = baseurl

    def get_code(self, fullname):
        f = urllib2.urlopen(self.get_filename(fullname))
        return f.read()

    def load_module(self, fullname):
        code = self.get_code(fullname)
        mod = sys.modules.setdefault(fullname, imp.new_module(fullname))
        mod.__file__ = self.get_filename(fullname)
        mod.__loader__ = self
        mod.__package__ = fullname
        exec(code, mod.__dict__)
        return None

    def get_data(self):
        pass

    def execute_module(self, module):
        pass

    def get_filename(self, fullname):
        return self.baseurl + fullname + '.py'

當(dāng)你使用這種舊模式實(shí)現(xiàn)自己的加載時(shí),你需要注意兩點(diǎn),很重要:

  • execute_module 必須重載,而且不應(yīng)該有任何邏輯,即使它并不是抽象方法。
  • load_module,需要你在查找器里手動(dòng)執(zhí)行,才能實(shí)現(xiàn)模塊的加載。。

做為替換,你應(yīng)該使用 execute_module()create_module() 。由于基類里已經(jīng)實(shí)現(xiàn)了 execute_modulecreate_module(),并且滿足我們的使用場(chǎng)景。我這邊可以不用重復(fù)實(shí)現(xiàn)。和舊模式相比,這里也不需要在設(shè)查找器里手動(dòng)執(zhí)行 execute_module()

import urllib.request as urllib2

class UrlMetaLoader(importlib.abc.SourceLoader):
    def __init__(self, baseurl):
        self.baseurl = baseurl

    def get_code(self, fullname):
        f = urllib2.urlopen(self.get_filename(fullname))
        return f.read()

    def get_data(self):
        pass

    def get_filename(self, fullname):
        return self.baseurl + fullname + '.py'

查找器和加載器都有了,別忘了往sys.meta_path 注冊(cè)我們自定義的查找器(UrlMetaFinder)。

def install_meta(address):
    finder = UrlMetaFinder(address)
    sys.meta_path.append(finder)

所有的代碼都解析完畢后,我們將其整理在一個(gè)模塊(my_importer.py)中

# my_importer.py
import sys
import importlib
import urllib.request as urllib2

class UrlMetaFinder(importlib.abc.MetaPathFinder):
    def __init__(self, baseurl):
        self._baseurl = baseurl


    def find_module(self, fullname, path=None):
        if path is None:
            baseurl = self._baseurl
        else:
            # 不是原定義的url就直接返回不存在
            if not path.startswith(self._baseurl):
                return None
            baseurl = path

        try:
            loader = UrlMetaLoader(baseurl)
        except Exception:
            return None

class UrlMetaLoader(importlib.abc.SourceLoader):
    def __init__(self, baseurl):
        self.baseurl = baseurl

    def get_code(self, fullname):
        f = urllib2.urlopen(self.get_filename(fullname))
        return f.read()

    def get_data(self):
        pass

    def get_filename(self, fullname):
        return self.baseurl + fullname + '.py'

def install_meta(address):
    finder = UrlMetaFinder(address)
    sys.meta_path.append(finder)

5.2 搭建遠(yuǎn)程服務(wù)端

最開始我說了,要實(shí)現(xiàn)一個(gè)遠(yuǎn)程導(dǎo)入模塊的方法。

我還缺一個(gè)在遠(yuǎn)端的服務(wù)器,來(lái)存放我的模塊,為了方便,我使用python自帶的 http.server 模塊用一條命令即可實(shí)現(xiàn)。

$ mkdir httpserver && cd httpserver
$ cat >my_info.py< EOF
name='Python編程時(shí)光'
print('ok')
EOF

$ cat my_info.py
name='Python編程時(shí)光'
print('ok')
$ 
$ python3 -m http.server 12800
Serving HTTP on 0.0.0.0 port 12800 (http://0.0.0.0:12800/) ...
...

一切準(zhǔn)備好,我們就可以驗(yàn)證了。

>> > from my_importer import install_meta
 >> > install_meta('http://localhost:12800/') # 往 sys.meta_path 注冊(cè) finder 
 >> > import my_info  # 打印ok,說明導(dǎo)入成功
ok
 >> > my_info.name  # 驗(yàn)證可以取得到變量
'Python編程時(shí)光'

至此,我實(shí)現(xiàn)了一個(gè)簡(jiǎn)易的可以導(dǎo)入遠(yuǎn)程服務(wù)器上的模塊的導(dǎo)入器。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 模塊
    +關(guān)注

    關(guān)注

    7

    文章

    2707

    瀏覽量

    47476
  • 代碼
    +關(guān)注

    關(guān)注

    30

    文章

    4788

    瀏覽量

    68616
  • python
    +關(guān)注

    關(guān)注

    56

    文章

    4797

    瀏覽量

    84690
  • HOOK
    +關(guān)注

    關(guān)注

    0

    文章

    15

    瀏覽量

    8384
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    python模塊安裝方法

    Python模塊呢?import語(yǔ)句自定義模塊可以采用import語(yǔ)句來(lái)進(jìn)行引入,其操作步驟是先導(dǎo)入
    發(fā)表于 04-04 14:57

    python花式導(dǎo)包的八種方法

    的原理就是使用 pip 來(lái)安裝那些沒有安裝的包,然后使用Python的__import__()函數(shù)來(lái)引入新安裝的模塊。8. 遠(yuǎn)程導(dǎo)入
    發(fā)表于 03-10 16:51

    python包、模塊和庫(kù)是什么

    有一個(gè)名為 demo.py 的文件,文件內(nèi)容如下 name="Python編程時(shí)光"print("導(dǎo)入成功") 直接使用 import 語(yǔ)句就可以導(dǎo)入,
    的頭像 發(fā)表于 03-09 16:47 ?2326次閱讀

    python模塊屬性及字符串導(dǎo)入模塊介紹

    python可以通過點(diǎn)號(hào)或字典,獲取模塊屬性。 已經(jīng)導(dǎo)入模塊存放在sys.modules字典,通過getattr獲取模塊屬性
    的頭像 發(fā)表于 02-21 11:27 ?746次閱讀

    python模塊相對(duì)導(dǎo)入from和import介紹1

    無(wú)包文件**init**.py下,python通過import module導(dǎo)入模塊時(shí),先搜索程序運(yùn)行主目錄。 程序運(yùn)行主目錄為運(yùn)行的py文件所在目錄,而不是執(zhí)行
    的頭像 發(fā)表于 02-21 14:15 ?1036次閱讀

    簡(jiǎn)述python模塊import和from及all

    python指定導(dǎo)入目錄路徑,稱為包導(dǎo)入。 通過import和from導(dǎo)入模塊。
    的頭像 發(fā)表于 02-21 14:20 ?1252次閱讀

    淺析python模塊創(chuàng)建和from及import使用

    python模塊通過用python程序編寫的.py文件即可創(chuàng)建,通過from及import語(yǔ)句導(dǎo)入模塊
    的頭像 發(fā)表于 02-21 14:44 ?853次閱讀

    import模塊導(dǎo)入方法

    : 一般通過 import 語(yǔ)句實(shí)現(xiàn)模塊導(dǎo)入和使用, import 本質(zhì)上是使用了內(nèi)置函數(shù) __imp
    的頭像 發(fā)表于 09-11 17:31 ?1229次閱讀

    rom…import導(dǎo)入代碼介紹

    rom…import導(dǎo)入 基本語(yǔ)法格式如下: from 模塊import 成員1,成員2,… 如果希望導(dǎo)入一個(gè)
    的頭像 發(fā)表于 09-11 17:35 ?944次閱讀

    如何實(shí)現(xiàn)__import__()動(dòng)態(tài)導(dǎo)入

    import () 動(dòng)態(tài)導(dǎo)入 import 語(yǔ)句本質(zhì)上就是調(diào)用內(nèi)置函數(shù) import (),我們可以通過它實(shí)現(xiàn)動(dòng)態(tài)
    的頭像 發(fā)表于 09-11 17:38 ?1137次閱讀

    Python導(dǎo)入包操作和本質(zhì)

    導(dǎo)入包操作和本質(zhì) 常見方式如下: import a.aa.module_AA : 按模塊路徑導(dǎo)入 在使用時(shí),必須加完整名稱來(lái)引用. 比如: a.aa.module_AA.fun_AA(
    的頭像 發(fā)表于 09-12 17:41 ?900次閱讀

    python如何導(dǎo)入模塊

    Python是一種強(qiáng)大的編程語(yǔ)言,它支持模塊化編程,使得開發(fā)者可以將代碼分解為可重用且獨(dú)立的模塊模塊是一個(gè)包含函數(shù)、類和變量等定義的文件,我們可以使用
    的頭像 發(fā)表于 11-22 14:46 ?959次閱讀

    Python怎么導(dǎo)入math模板

    用math模塊,首先需要在Python腳本或交互式解釋器中導(dǎo)入它。導(dǎo)入math模塊的方法有兩種,分別是導(dǎo)
    的頭像 發(fā)表于 11-22 14:49 ?2404次閱讀

    python如何import自己的模塊

    Python中,我們可以通過import語(yǔ)句來(lái)引入自己的模塊導(dǎo)入自己的模塊可以提高代碼的可重用性,使代碼更加清晰和易于維護(hù)。在本文章中,
    的頭像 發(fā)表于 11-22 14:57 ?3177次閱讀

    如何用import導(dǎo)入一個(gè)包

    Python中,import語(yǔ)句用于導(dǎo)入代碼所需的模塊或包。模塊Python代碼的集合,而包
    的頭像 發(fā)表于 11-22 14:59 ?1163次閱讀