如何在python代碼中使用HTTP代理IP

如何在python代碼中使用HTTP代理IP。

以下代碼主要圍繞第一次接觸HTTP代理IP的python新手來寫。（步驟注釋清晰）

直接把下面示例代碼中的HTTP代理API，替換成你后臺生成的代理API鏈接，就可以跑起來了。

以下是一個示例代碼，只是一個基礎的演示，具體的代碼還是要根據(jù)你業(yè)務的實際情況去寫的。

示例代碼中的HTTP代理IP，我使用的是華益云的HTTP代理，注冊就送1萬個高匿爬蟲IP，有效期是一年，對于調(diào)試代碼來說這個時間是非常的友好。（步驟注釋清晰）

華益云-企業(yè)級HTTP爬蟲代理IP供應商-點我免費領(lǐng)取示例代碼demo中同款10000個高匿IP

打開代理API，獲取里面的IP，使用IP訪問目標網(wǎng)站，其實代碼中就是執(zhí)行這個過程而已，然后加了幾個錯誤判斷有助于代碼的穩(wěn)定運行。（步驟注釋清晰）

复制# 需要安裝此依賴
# pip install requests
import requests

def main():
    # 發(fā)送給服務器的標識
    userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
    # 代理api（這里我推薦使用www.9vps.com華益云HTTP代理的API，注冊就送1萬IP）
    proxyUrl = "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&"
    # 請求代理url，獲取代理ip 
    outPutProxy = getProxy(proxyUrl, userAgent)
    if len(outPutProxy)==0:
        # 沒有獲取到代理
        return
    
    # 目標請求網(wǎng)站
    url = "https://www.qq.com/"
    content = None
    for _ in range(0, 3):
        # 最多嘗試三次
        try:
            # 從列表中取出一個代理出來
            px = outPutProxy.pop(0)
            proxy = {
                "http": "http://"+px,
                "https": "http://"+px
            }
            content = requestGet(url, userAgent, proxy)
            break
        except Exception as e:
            print(e)
            if (len(outPutProxy) == 0):
                # 如果發(fā)現(xiàn)沒有代理了，就去獲取下。
                outPutProxy = getProxy(proxyUrl, userAgent)
    
    print(content)
def getProxy(proxyUrl, userAgent):
    proxyIps=""
    outPutProxy = []
    try:
        proxyIps = requestGet(proxyUrl, userAgent, None)
        print(proxyIps)
        # {"code":3002,"data":[],"msg":"error!用戶名或密碼錯誤","success":false}
        if "{" in proxyIps:
            raise Exception("[錯誤]"+proxyIps)
        outPutProxy = proxyIps.split("\n")
        
    except Exception as e:
        print(e)
    print("總共獲取了"+str(len(outPutProxy))+"個代理")
    return outPutProxy

def requestGet(url, userAgent, proxy):
    headers = {
        "User-Agent": userAgent
    }
    response = None
    if (proxy):
        # 有代理的時候走這個
        response = requests.get(url, headers=headers, timeout=5, proxies=proxy) 
    else:
        # 沒有代理走這個
        response = requests.get(url, headers=headers, timeout=5)
    # 設置編碼，防止亂碼
    # requests 庫會幫我們自動分析這個網(wǎng)頁的字符編碼
    response.encoding = response.apparent_encoding
    return response.text

main()

或者直接百度搜索：華益云HTTP代理

審核編輯：湯梓紅