0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Python開發(fā)者必備工具集

科技綠洲 ? 來源:Python開發(fā)者 ? 作者:Python開發(fā)者 ? 2023-10-16 11:14 ? 次閱讀

這篇文章會提供一些優(yōu)化代碼的工具。會讓代碼變得更簡潔,或者更迅速。

當(dāng)然這些并不能代替算法設(shè)計,但是還是能讓 Python 加速很多倍。

其實前面講算法的文章,也有提到過。比如適用于雙向隊列的 deque,以及在合適的條件下運用 bisect 和 heapq 來提升算法的性能。

而且前面也提到過,Python 提供了當(dāng)今最高級也是最有效的排序算法(list.sort)。

另外還有一個功能多樣又迅速的散列表(dict)。而且如果寫迭代器封裝、功能性代碼或者是某種額外擴展的時候,或許CyToolz可以用得到。當(dāng)然在itertools 和 functools 模塊中,還有很多函數(shù)可以帶來很高效的代碼。

這篇文章主要講優(yōu)化單處理器的代碼,下面會介紹一些一些高效的函數(shù)實現(xiàn),也有已經(jīng)封裝好的拓展模塊,還包括速度更快的 Python 解釋器。

當(dāng)然多處理器版本確實能大幅提高運行效率。如果想了解多核編程,可以從multiprocessing 模塊開始。而且也能找到非常多的關(guān)于分布式計算的第三方工具。這里可以看一下 Python wiki 上的關(guān)于 Parallel Processing 的內(nèi)容。

接下來,會說一些關(guān)于Python 加速工具的選單。

NumPy、SciPy、Sage 和 Pandas

先說 NumPy,它的核心是一個多維數(shù)字?jǐn)?shù)組的實現(xiàn)。除了這個數(shù)據(jù)結(jié)構(gòu)之外,還實現(xiàn)了若干個函數(shù)和運算符,可以高效地進行數(shù)組運算。并且對于被調(diào)用的次數(shù)進行了精簡。它可以被用來進行極其高效的數(shù)學(xué)運算。

SciPy 和 Sage 都將 NumPy 內(nèi)置為自身的一部分,同時內(nèi)置了其他的不同的工具,從而可以用于特定科學(xué)、數(shù)學(xué)和高性能計算的模塊。

Pandas 是一個側(cè)重于數(shù)據(jù)分析的工具。如果處理大量半結(jié)構(gòu)化數(shù)據(jù)的時候,可能也會用到 Pandas 相關(guān)的工具,比如 Blaze。

PyPy、Pyston、Parakeet、Psyco 和 Unladen Swallow

讓代碼運行的更快,侵入性最小的就是使用實時編譯器(JIT 編譯)。以前的話我們可以直接安裝 Psyco。安裝之后導(dǎo)入 psyco,然后調(diào)用 psyco.full()。代碼運行速度就可以明顯提升。運行 Python 代碼的時候,它可以實時監(jiān)控程序,會將一部分代碼編譯為了機器碼。

現(xiàn)在好多 Psyco 等加速器的項目已經(jīng)停止維護了,不過類似的功能在 PyPy 中得到了繼承。PyPy 為了方便分析、優(yōu)化和翻譯,用 Python 語言將 Python 重新實現(xiàn)了一遍,這樣就可以 JIT 編譯。而且 PyPy 可以直接將代碼翻譯成像 C 那樣的性能更高的語言。

Unladen Swallow 是一個 Python 的 JIT 編譯器。是 Python 解釋器的一本版本,被稱為底層虛擬機(LLVM)。不過這個開發(fā)已經(jīng)停止了。

Pyston 是一個與 LLVM 平臺較為接近的 Python 的 JIT 編譯器。很多時候已經(jīng)優(yōu)于 Python 的實現(xiàn),但不過還有很多地方不完善。

GPULib、PyStream、PyCUDA 和 PyOpenCL

這四個都是用在圖像處理單元來實現(xiàn)代碼的加速。前面講的都是用代碼優(yōu)化來實現(xiàn)加速的。而這些都是從硬件層面上進行加速,如果有一個強大的 GPU,我們可以用 GPU 來計算,從而減少 CPU 寶貴的資源。

PyStream 古老一點。GPULib 提供了基于 GPU 的各種形式的數(shù)據(jù)計算。

如果用 GPU 加速自己的代碼,可以用 PyCUDA 和 PyOpenCL。

Pyrex、Cython、Numba 和 Shedskin

這四個項目都致力于將 Python 代碼翻譯為 C、C++和 LLVM 的代碼。Shedskin 會將代碼編譯為 C++語言。Pyrex、Cython 編譯的主要目標(biāo)是 C 語言。Cython 也是 Pyrex 的一個分支。

而且,Cython 還有 NumPy 數(shù)組的額外支持。

如果面向數(shù)組和數(shù)學(xué)計算的時候,Numba 是更好的選擇導(dǎo)入時會自動生成相應(yīng)的 LLVM 的代碼。升級版本是 NumbaPro,還提供了對 GPU 的支持。

SWIG、F2PY、Boost.Python

這些工具可以將其他的語言封裝為 Python 的模塊。第一個可以封裝 C/C++語言。F2PY 可以封裝 Fortran。Boost.Python 可以封裝 C++語言。

SUIG 只要啟動一個命令行工具,往里面輸入 C 或者 C++的頭文件,封裝器代碼就會自動生成。除了 Python,而且可以成為其他語言的封裝器,比如 Java 和 PHP。

ctypes、llvm-py 和 CorePy2

這些模塊可以幫助我們實現(xiàn)Python 底層對象的操作。ctypes 模塊可以用于在內(nèi)存中構(gòu)建編譯 C 的對象。并且調(diào)用共享庫中的 C 的函數(shù)。不過 ctypes 已經(jīng)包含在 Python 的標(biāo)準(zhǔn)庫里面了。

llvm-py 主要提供LLVM 的 Python 接口。以便于構(gòu)建代碼,然后編譯他們。也可以在 Python 中構(gòu)建它的編譯器。當(dāng)然搞出自己編程語言也是可以的。CorePy2 也可以進行加速,不過這個加速是運行在匯編層的。

Weave、Cinpy 和 PyInline

這三個包,就可以讓我們在 Python 代碼中直接使用 C 語言或者其他的高級語言?;旌洗a,依然可以保持整潔。可以使用 Python 代碼的字符串的多行特性,可以使其他的代碼按照自身的風(fēng)格來進行排版。

其他工具

如果我們要節(jié)省內(nèi)存,就不能使用 JIT 了。一般 JIT 都太耗費內(nèi)存。有一句話說的很對,時間和內(nèi)存經(jīng)常不能兼得,而我們在工程開發(fā)中,總是要尋找他們的平衡點。至于其他的一些東西,比如 Micro Python 項目,這個是用在嵌入式設(shè)備或者微控制器上面使用的。

如果只是想在 Python 環(huán)境中工作,然后想用別的語言,可以看看這個項目Julia。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 代碼
    +關(guān)注

    關(guān)注

    30

    文章

    4796

    瀏覽量

    68704
  • 排序算法
    +關(guān)注

    關(guān)注

    0

    文章

    53

    瀏覽量

    10081
  • python
    +關(guān)注

    關(guān)注

    56

    文章

    4797

    瀏覽量

    84785
  • 開發(fā)者
    +關(guān)注

    關(guān)注

    1

    文章

    579

    瀏覽量

    17033
收藏 人收藏

    評論

    相關(guān)推薦

    LabVIEW開發(fā)者必備技巧寶典 第一部分

    LabVIEW開發(fā)者必備技巧寶典由電子發(fā)燒友網(wǎng)論壇出品,集結(jié)眾多大牛、工程師的經(jīng)驗之作。為廣大LabVIEW開發(fā)工程師提供開發(fā)、調(diào)試技巧,助力LabVIEW工程師。
    發(fā)表于 11-20 10:55

    LabVIEW開發(fā)者必備技巧寶典第一部分

    LabVIEW開發(fā)者必備技巧寶典由電子發(fā)燒友網(wǎng)論壇出品,集結(jié)眾多大牛、工程師的經(jīng)驗之作。為廣大LabVIEW開發(fā)工程師提供開發(fā)、調(diào)試技巧,助力LabVIEW工程師。更多精彩內(nèi)容:htt
    發(fā)表于 11-21 15:17

    LabVIEW開發(fā)者必備技巧寶典第二部分

    LabVIEW開發(fā)者必備技巧寶典第二部分:由電子發(fā)燒友網(wǎng)論壇整理出品,集結(jié)眾多大牛、工程師的經(jīng)驗之作。為廣大LabVIEW開發(fā)工程師提供開發(fā)、調(diào)試技巧,助力LabVIEW工程師。
    發(fā)表于 11-26 15:32

    LabVIEW開發(fā)者必備技巧寶典第三部分

    LabVIEW開發(fā)者必備技巧寶典第三部分分享給大家,請叫我雷鋒。
    發(fā)表于 12-05 11:40

    LabVIEW開發(fā)者必備技巧寶典第四部分

    LabVIEW開發(fā)者必備技巧寶典由電子發(fā)燒友網(wǎng)論壇出品,集結(jié)眾多大牛、工程師的經(jīng)驗之作。為廣大LabVIEW開發(fā)工程師提供開發(fā)、調(diào)試技巧,助力LabVIEW工程師。
    發(fā)表于 12-13 12:03

    LabVIEW開發(fā)者必備技巧寶典第四部分

    LabVIEW開發(fā)者必備技巧寶典由電子發(fā)燒友網(wǎng)論壇出品,集結(jié)眾多大牛、工程師的經(jīng)驗之作。為廣大LabVIEW開發(fā)工程師提供開發(fā)、調(diào)試技巧,助力LabVIEW工程師。更多精彩內(nèi)容:htt
    發(fā)表于 12-13 15:02

    開發(fā)者福音!谷歌云APP引擎開始支持Python 3.7

    `Python表示很開心!谷歌云推出了第二代App Engine引擎標(biāo)準(zhǔn)runtime,這是對平臺的重大升級,允許開發(fā)者使用最新版本流行語言、框架和庫輕松運行web應(yīng)用程序。想要嘗鮮的小伙伴們,猛戳
    發(fā)表于 08-14 10:12

    AUTOSCOPE開發(fā)者工具

    AUTOSCOPE軟件開發(fā)者工具包(SDK)提供了一些必要工具;包括AUTOSCOPE視頻檢測系統(tǒng)和現(xiàn)有交通管理應(yīng)用程序的必要集成工具;開發(fā)
    發(fā)表于 04-11 21:11 ?37次下載

    2018年受到眾多開發(fā)者關(guān)注的7個Python類庫

    幾個還不太知名的庫引起了Python開發(fā)者的關(guān)注。
    的頭像 發(fā)表于 10-02 09:30 ?4798次閱讀

    Python開發(fā)者最容易忽略的10個要點

    Python是一門簡單易學(xué)的編程語言,語法簡潔而清晰,并且擁有豐富和強大的類庫。與其它大多數(shù)程序設(shè)計語言使用大括號不一樣 ,它使用縮進來定義語句塊。 在平時的工作中,Python開發(fā)者很容易犯一些
    的頭像 發(fā)表于 01-02 10:13 ?1005次閱讀

    開發(fā)者必備的七大工具,提升應(yīng)用程序開發(fā)工作效率

    隨著應(yīng)用程序變得越來越復(fù)雜,新興技術(shù)棧越來越多,應(yīng)用程序開發(fā)變成一個令人生畏的任務(wù)。但是,網(wǎng)上有許多可用的工具能在應(yīng)用程序開發(fā)過程中給我們提供很大幫助。本文列出了一些我用過的工具,希望
    的頭像 發(fā)表于 10-23 16:22 ?3161次閱讀

    MCU開發(fā)者案頭必備,全新MCUXpresso軟件與工具指南,速來下載!

    經(jīng)驗告訴我們,成功的嵌入式開發(fā)除了要有MCU豐富的硬件資源支持,也少不了軟件和工具的助力。而一直以來,軟件與工具的進步滯后于MCU硬件迭代的速度,這也是不爭的事實。 為了幫助開發(fā)者跨越
    的頭像 發(fā)表于 03-29 08:20 ?1267次閱讀

    OpenHarmony開發(fā)者大會 開發(fā)工具分論壇:聚能量贏未來,工具助力應(yīng)用創(chuàng)新

    日前,以“開源正當(dāng)時,共贏新未來”為主題的開放原子開源基金會OpenHarmony開發(fā)者大會2023(以下簡稱“大會”)在北京舉行,“開發(fā)工具分論壇”于當(dāng)天下午召開。在本次論壇上,各位演講嘉賓重點
    的頭像 發(fā)表于 05-08 14:42 ?1301次閱讀
    OpenHarmony<b class='flag-5'>開發(fā)者</b>大會 <b class='flag-5'>開發(fā)工具</b>分論壇:聚能量贏未來,<b class='flag-5'>工具</b>助力應(yīng)用創(chuàng)新

    華為云開發(fā)者桌面全新發(fā)布 CodeArts IDE for Python,極致優(yōu)雅云原生開發(fā)體驗

    近日,華為云正式發(fā)布 CodeArts IDE for Python,這是一款內(nèi)置華為自研 Python 語言服務(wù),提供智能編程、靈活調(diào)試能力的可擴展桌面開發(fā)工具,為華為云開發(fā)者提供卓
    的頭像 發(fā)表于 05-10 00:27 ?1248次閱讀
    華為云<b class='flag-5'>開發(fā)者</b>桌面全新發(fā)布 CodeArts IDE for <b class='flag-5'>Python</b>,極致優(yōu)雅云原生<b class='flag-5'>開發(fā)</b>體驗

    云端AI開發(fā)者工具怎么用

    云端AI開發(fā)者工具通常包括代碼編輯器、模型訓(xùn)練平臺、自動化測試工具、代碼管理工具等。這些工具不僅降低了AI
    的頭像 發(fā)表于 12-05 13:31 ?142次閱讀