python代理服務

『壹』 如何使用python實現爬蟲代理IP池

第一步：找IP資源

IP資源並不豐富，換句話說是供不應求的，因此一般是使用動態IP。

免費方法，直接在網路上找，在搜索引擎中一搜索特別多能夠提供IP資源的網站，進行採集即可。

付費方法，通過購買芝麻ip上的IP資源，並進行提取，搭建IP池。

『貳』 python隨便給了個代理IP居然也能正常訪問，這是為啥

不同的狀態碼代表著不同含義。
200並不代表正常訪問並獲取到返回值。只是表明正確處理了請求而已。
你隨便設置的代理ip有可能真的存在這是一方面，另一方面代理只是鏈接與轉發功能。200的狀態碼也並不能表示代理成功讓你訪問到了目標網址並獲取到了正確的返回信息。

常見的狀態碼有很多，404、400、500等等。
以下資料摘自（csdn博客：https://blog.csdn.net/xiaoxiaode_shu/article/details/80700801）
1開頭的http狀態碼
表示臨時響應並需要請求者繼續執行操作的狀態代碼。

100 （繼續） 請求者應當繼續提出請求。 伺服器返回此代碼表示已收到請求的第一部分，正在等待其餘部分。
101 （切換協議） 請求者已要求伺服器切換協議，伺服器已確認並准備切換。

2開頭的http狀態碼
表示請求成功

200 成功處理了請求，一般情況下都是返回此狀態碼；
201 請求成功並且伺服器創建了新的資源。
202 接受請求但沒創建資源；
203 返回另一資源的請求；
204 伺服器成功處理了請求，但沒有返回任何內容；
205 伺服器成功處理了請求，但沒有返回任何內容；
206 處理部分請求；

3xx （重定向）
重定向代碼，也是常見的代碼

300 （多種選擇） 針對請求，伺服器可執行多種操作。 伺服器可根據請求者 (user agent) 選擇一項操作，或提供操作列表供請求者選擇。
301 （永久移動） 請求的網頁已永久移動到新位置。 伺服器返回此響應（對 GET 或 HEAD 請求的響應）時，會自動將請求者轉到新位置。
302 （臨時移動） 伺服器目前從不同位置的網頁響應請求，但請求者應繼續使用原有位置來進行以後的請求。
303 （查看其他位置） 請求者應當對不同的位置使用單獨的 GET 請求來檢索響應時，伺服器返回此代碼。
304 （未修改） 自從上次請求後，請求的網頁未修改過。 伺服器返回此響應時，不會返回網頁內容。
305 （使用代理） 請求者只能使用代理訪問請求的網頁。 如果伺服器返回此響應，還表示請求者應使用代理。
307 （臨時重定向） 伺服器目前從不同位置的網頁響應請求，但請求者應繼續使用原有位置來進行以後的請求。

4開頭的http狀態碼表示請求出錯

400 伺服器不理解請求的語法。
401 請求要求身份驗證。 對於需要登錄的網頁，伺服器可能返回此響應。
403 伺服器拒絕請求。
404 伺服器找不到請求的網頁。
405 禁用請求中指定的方法。
406 無法使用請求的內容特性響應請求的網頁。
407 此狀態代碼與 401類似，但指定請求者應當授權使用代理。
408 伺服器等候請求時發生超時。
409 伺服器在完成請求時發生沖突。 伺服器必須在響應中包含有關沖突的信息。
410 如果請求的資源已永久刪除，伺服器就會返回此響應。
411 伺服器不接受不含有效內容長度標頭欄位的請求。
412 伺服器未滿足請求者在請求中設置的其中一個前提條件。
413 伺服器無法處理請求，因為請求實體過大，超出伺服器的處理能力。
414 請求的 URI（通常為網址）過長，伺服器無法處理。
415 請求的格式不受請求頁面的支持。
416 如果頁面無法提供請求的范圍，則伺服器會返回此狀態代碼。
417 伺服器未滿足」期望」請求標頭欄位的要求。

5開頭狀態碼並不常見，但是我們應該知道

500 （伺服器內部錯誤） 伺服器遇到錯誤，無法完成請求。
501 （尚未實施） 伺服器不具備完成請求的功能。 例如，伺服器無法識別請求方法時可能會返回此代碼。
502 （錯誤網關） 伺服器作為網關或代理，從上游伺服器收到無效響應。
503 （服務不可用） 伺服器目前無法使用（由於超載或停機維護）。 通常，這只是暫時狀態。
504 （網關超時） 伺服器作為網關或代理，但是沒有及時從上游伺服器收到請求。
505 （HTTP 版本不受支持） 伺服器不支持請求中所用的 HTTP 協議版本。

『叄』 python爬蟲 如何自己用雲伺服器上搭建代理伺服器 並使用requests測試代理

1、簡介
使用同一個ip頻繁爬取一個網站，久了之後會被該網站的伺服器屏蔽。所以這個時候需要使用代理伺服器。通過ip欺騙的方式去爬取網站

可以使用http://yum.iqianyue.com.com/proxy中找到很多伺服器代理地址

2、應用
# *-*coding:utf-8*-*
from urllib import request
def use_porxy(porxy_addr,url):
porxy = request.ProxyHandler({'http':porxy_addr})
opener = request.build_opener(porxy, request.ProxyHandler)
request.install_opener(opener)
data = request.urlopen(url).read().decode('utf-8')
return data
data = use_porxy("114.115.182.59:128","http://www..com")
print(len(data))

『肆』 Python設計模式 - 代理模式

"""

代理模式(Proxy)：為某個對象提供一種代理以控制對這個對象的訪問。

注意：代理模式和策略模式的類圖很相近，實現方法也是一樣的，但是應用場景很不一樣，體現了不同的思想。

    策略模式中同一外部對象訪問上下文對象的操作一樣，但是裡面的策略對象不同。

    代理模式中不同的外部對象訪問代理對象的操作一樣，但是裡面的真實對象是一樣的。

代理模式在訪問對象時引入一定程度的間接性，因為這種間接性，可以附加多種用途。

應用場景：

1、遠程代理。為一個對象在不同的地址空間提供局部代表。這樣可以隱藏一個對象存在於不同地址空間的事實。

2、虛擬代理。當要創建耗時很長的對象時，可以使用虛擬代理。虛擬代理完成的工作為新建真實對象，並在新建的過程中給出提示。比如在網頁載入圖片的過程中，虛擬代理可以用一個圖片框暫時替代真實的圖片。

3、安全代理。用於控制真實對象訪問是的許可權。

4、智能指引。當調用真實的對象時，代理處理另外一些事情，比如計算真實對象的引用次數、是否鎖定等等。

"""

import time

class SalesManager:

    def talk(self):

        print("銷售經理准備談")

class Proxy:

    def __init__(self):

        self.busy = 'No'

        self.sales = None

    def talk(self):

        print("代理檢查銷售經理的可訪問性")

        if self.busy == 'No':

            self.sales = SalesManager()

            time.sleep(0.1)

            self.sales.talk()

        else:

            time.sleep(0.1)

            print("銷售經理正忙")

class NoTalkProxy(Proxy):

    def talk(self):

        print("代理檢查銷售經理的可訪問性")

        time.sleep(0.1)

        print("該銷售經理也不會跟你說話不論他/她是否正忙")

if __name__ == '__main__':

    p = Proxy()

    p.talk()

    p.busy = 'Yes'

    p.talk()

    p = NoTalkProxy()

    p.talk()

    p.busy = 'Yes'

    p.talk()

『伍』 python中，進行爬蟲抓取怎麼樣能夠使用代理IP

網路數據量越來越大，從網頁中獲取信息變得越來越困難，如何有效地抓取並利用信息，已成為網路爬蟲一個巨大的挑戰。下面IPIDEA為大家講明爬蟲代理IP的使用方法。

1.利用爬蟲腳本每天定時爬取代理網站上的ip，寫入MongoDB或者其他的資料庫中，這張表作為原始表。

2.使用之前需要做一步測試，就是測試這個ip是否有效，方法就是利用curl訪問一個網站查看返回值，需要創建一張新表，循環讀取原始表有效則插入，驗證之後將其從原始表中刪除，驗證的同時能夠利用響應時間來計算這個ip的質量，和最大使用次數，有一個演算法能夠參考一種基於連接代理優化管理的多線程網路爬蟲處理方法。

3.把有效的ip寫入ip代理池的配置文件，重新載入配置文件。

4.讓爬蟲程序去指定的dailiy的服務ip和埠，進行爬取。

『陸』 「2022 年」崔慶才 Python3 爬蟲教程 - 代理的使用方法

前面我們介紹了多種請求庫，如 urllib、requests、Selenium、Playwright 等用法，但是沒有統一梳理代理的設置方法，本節我們來針對這些庫來梳理下代理的設置方法。

在本節開始之前，請先根據上一節了解一下代理的基本原理，了解了基本原理之後我們可以更好地理解和學習本節的內容。

另外我們需要先獲取一個可用代理，代理就是 IP 地址和埠的組合，就是 : 這樣的格式。如果代理需要訪問認證，那就還需要額外的用戶名密碼兩個信息。

那怎麼獲取一個可用代理呢？

使用搜索引擎搜索 「代理」 關鍵字，可以看到許多代理服務網站，網站上會有很多免費或付費代理，比如快代理的免費 HTTP 代理：https://www.kuaidaili.com/free/ 上面就寫了很多免費代理，但是這些免費代理大多數情況下並不一定穩定，所以比較靠譜的方法是購買付費代理。付費代理的各大代理商家都有套餐，數量不用多，穩定可用即可，我們可以自行選購。

另外除了購買付費 HTTP 代理，我們也可以在本機配置一些代理軟體，具體的配置方法可以參考 https://setup.scrape.center/proxy-client，軟體運行之後會在本機創建 HTTP 或 SOCKS 代理服務，所以代理地址一般都是 127.0.0.1: 這樣的格式，不同的軟體用的埠可能不同。

這里我的本機安裝了一部代理軟體，它會在本地 7890 埠上創建 HTTP 代理服務，即代理為 127.0.0.1:7890。另外，該軟體還會在 7891 埠上創建 SOCKS 代理服務，即代理為 127.0.0.1:7891，所以只要設置了這個代理，就可以成功將本機 IP 切換到代理軟體連接的伺服器的 IP 了。

在本章下面的示例里，我使用上述代理來演示其設置方法，你也可以自行替換成自己的可用代理。

設置代理後，測試的網址是 http://httpbin.org/get，訪問該鏈接我們可以得到請求的相關信息，其中返回結果的 origin 欄位就是客戶端的 IP，我們可以根據它來判斷代理是否設置成功，即是否成功偽裝了 IP。

好，接下來我們就來看下各個請求庫的代理設置方法吧。

首先我們以最基礎的 urllib 為例，來看一下代理的設置方法，代碼如下：

運行結果如下：

這里我們需要藉助 ProxyHandler 設置代理，參數是字典類型，鍵名為協議類型，鍵值是代理。注意，此處代理前面需要加上協議，即 http:// 或者 https://，當請求的鏈接是 HTTP 協議的時候，會使用 http 鍵名對應的代理，當請求的鏈接是 HTTPS 協議的時候，會使用 https 鍵名對應的代理。不過這里我們把代理本身設置為了 HTTP 協議，即前綴統一設置為了 http://，所以不論訪問 HTTP 還是 HTTPS 協議的鏈接，都會使用我們配置的 HTTP 協議的代理進行請求。

創建完 ProxyHandler 對象之後，我們需要利用 build_opener 方法傳入該對象來創建一個 Opener，這樣就相當於此 Opener 已經設置好代理了。接下來直接調用 Opener 對象的 open 方法，即可訪問我們所想要的鏈接。

運行輸出結果是一個 JSON，它有一個欄位 origin，標明了客戶端的 IP。驗證一下，此處的 IP 確實為代理的 IP，並不是真實的 IP。這樣我們就成功設置好代理，並可以隱藏真實 IP 了。

如果遇到需要認證的代理，我們可以用如下的方法設置：

這里改變的只是 proxy 變數，只需要在代理前面加入代理認證的用戶名密碼即可，其中 username 就是用戶名，password 為密碼，例如 username 為 foo，密碼為 bar，那麼代理就是 foo:[email protected]:7890。

如果代理是 SOCKS5 類型，那麼可以用如下方式設置代理：

此處需要一個 socks 模塊，可以通過如下命令安裝：

這里需要本地運行一個 SOCKS5 代理，運行在 7891 埠，運行成功之後和上文 HTTP 代理輸出結果是一樣的：

結果的 origin 欄位同樣為代理的 IP，代理設置成功。

對於 requests 來說，代理設置非常簡單，我們只需要傳入 proxies 參數即可。

這里以我本機的代理為例，來看下 requests 的 HTTP 代理設置，代碼如下：

運行結果如下：

和 urllib 一樣，當請求的鏈接是 HTTP 協議的時候，會使用 http 鍵名對應的代理，當請求的鏈接是 HTTPS 協議的時候，會使用 https 鍵名對應的代理，不過這里統一使用了 HTTP 協議的代理。

運行結果中的 origin 若是代理伺服器的 IP，則證明代理已經設置成功。

如果代理需要認證，那麼在代理的前面加上用戶名和密碼即可，代理的寫法就變成如下所示：

這里只需要將 username 和 password 替換即可。

如果需要使用 SOCKS 代理，則可以使用如下方式來設置：

這里我們需要額外安裝一個包 requests[socks]，相關命令如下所示：

運行結果是完全相同的：

另外，還有一種設置方式，即使用 socks 模塊，也需要像上文一樣安裝 socks 庫。這種設置方法如下所示：

使用這種方法也可以設置 SOCKS 代理，運行結果完全相同。相比第一種方法，此方法是全局設置的。我們可以在不同情況下選用不同的方法。

httpx 的用法本身就與 requests 的使用非常相似，所以其也是通過 proxies 參數來設置代理的，不過與 requests 不同的是，proxies 參數的鍵名不能再是 http 或 https，而需要更改為 http:// 或 https://，其他的設置是一樣的。

對於 HTTP 代理來說，設置方法如下：

對於需要認證的代理，也是改下 proxy 的值即可：

這里只需要將 username 和 password 替換即可。

運行結果和使用 requests 是類似的，結果如下：

對於 SOCKS 代理，我們需要安裝 httpx-socks 庫，安裝方法如下：

這樣會同時安裝同步和非同步兩種模式的支持。

對於同步模式，設置方法如下：

對於非同步模式，設置方法如下：

和同步模式不同的是，transport 對象我們用的是 AsyncProxyTransport 而不是 SyncProxyTransport，同時需要將 Client 對象更改為 AsyncClient 對象，其他的不變，運行結果是一樣的。

Selenium 同樣可以設置代理，這里以 Chrome 為例來介紹其設置方法。

對於無認證的代理，設置方法如下：

運行結果如下：

代理設置成功，origin 同樣為代理 IP 的地址。

如果代理是認證代理，則設置方法相對比較繁瑣，具體如下所示：

這里需要在本地創建一個 manifest.json 配置文件和 background.js 腳本來設置認證代理。運行代碼之後，本地會生成一個 proxy_auth_plugin.zip 文件來保存當前配置。

運行結果和上例一致，origin 同樣為代理 IP。

SOCKS 代理的設置也比較簡單，把對應的協議修改為 socks5 即可，如無密碼認證的代理設置方法為：

運行結果是一樣的。

對於 aiohttp 來說，我們可以通過 proxy 參數直接設置。HTTP 代理設置如下：

如果代理有用戶名和密碼，像 requests 一樣，把 proxy 修改為如下內容：

這里只需要將 username 和 password 替換即可。

對於 SOCKS 代理，我們需要安裝一個支持庫 aiohttp-socks，其安裝命令如下：

我們可以藉助於這個庫的 ProxyConnector 來設置 SOCKS 代理，其代碼如下：

運行結果是一樣的。

另外，這個庫還支持設置 SOCKS4、HTTP 代理以及對應的代理認證，可以參考其官方介紹。

對於 Pyppeteer 來說，由於其默認使用的是類似 Chrome 的 Chromium 瀏覽器，因此其設置方法和 Selenium 的 Chrome 一樣，如 HTTP 無認證代理設置方法都是通過 args 來設置的，實現如下：

運行結果如下：

同樣可以看到設置成功。

SOCKS 代理也一樣，只需要將協議修改為 socks5 即可，代碼實現如下：

運行結果也是一樣的。

相對 Selenium 和 Pyppeteer 來說，Playwright 的代理設置更加方便，其預留了一個 proxy 參數，可以在啟動 Playwright 的時候設置。

對於 HTTP 代理來說，可以這樣設置：

在調用 launch 方法的時候，我們可以傳一個 proxy 參數，是一個字典。字典有一個必填的欄位叫做 server，這里我們可以直接填寫 HTTP 代理的地址即可。

運行結果如下：

對於 SOCKS 代理，設置方法也是完全一樣的，我們只需要把 server 欄位的值換成 SOCKS 代理的地址即可：

運行結果和剛才也是完全一樣的。

對於有用戶名和密碼的代理，Playwright 的設置也非常簡單，我們只需要在 proxy 參數額外設置 username 和 password 欄位即可，假如用戶名和密碼分別是 foo 和 bar，則設置方法如下：

這樣我們就能非常方便地為 Playwright 實現認證代理的設置。

以上我們就總結了各個請求庫的代理使用方式，各種庫的設置方法大同小異，學會了這些方法之後，以後如果遇到封 IP 的問題，我們可以輕鬆通過加代理的方式來解決。

本節代碼：https://github.com/Python3WebSpider/ProxyTest

『柒』 python爬蟲ip代理哪家好巨量http免費

python爬蟲ip代理，超多IP，質量很高，使用中很穩定，IP連通率也極高。

一手率IP資源池：巨量HTTP代理IP池，均通過自營機房機櫃託管，當前全國部署200+城市，每日穩定產出千萬ip池，對於IP的純凈度、使用率更有保障。

獨家加密協議，更安全：IP採用隧道加密模式搭建，支持HTTP/HTTPS和SOCKS，以及一條隧道二種協議同時使用。

多種購買套餐類型：提供不限量ip套餐、按次/按量/包時ip套餐、獨享靜態長效ip套餐，獨家定製套餐

多種IP時長類型：IP時長從以前的1-5分鍾單一套餐，升級到現在的1-5分鍾，5-10分鍾，10-20分鍾，30-60分鍾套餐，以及推出隧道代理及獨享長效IP代理，能有效滿足各類業務場景。

IP提取策略：單次提取最高100個IP，間隔1秒，同時支持多並發提取與使用。

IP池數量：每日穩定輸出近千萬去重IP，並且每日0點，IP池自動更新，常年使用非重復性IP資源。

多元化套餐價格：通過不同的IP時長，提供更符合現價比的價格，同時常年推出活動，均能享受超低價格。

獨家免費套餐：不論新老用戶，注冊、實名均能領取永久免費使用的套餐。

『捌』 如何為 windows 下的 python 的 pip 工具設置代理伺服器

在安裝pip前，請確認你win系統中已耐纖宏經安裝好了python，和easy_install工具，如果系統安昌冊裝成功，easy_install在目錄C:\Python27\Scripts 下面，進入命令行，然後把目錄切換到python的安裝目錄下的Script文件夾下，運行 easy_inatall pip
pip安裝成豎櫻功後，在cmd下執行pip，將會有如下提示.