pythonip代理伺服器

㈠ python中，進行爬蟲抓取怎麼樣能夠使用代理IP

網路數據量越來越大，從網頁中獲取信息變得越來越困難，如何有效地抓取並利用信息，已成為網路爬蟲一個巨大的挑戰。下面IPIDEA為大家講明爬蟲代理IP的使用方法。

1.利用爬蟲腳本每天定時爬取代理網站上的ip，寫入MongoDB或者其他的資料庫中，這張表作為原始表。

2.使用之前需要做一步測試，就是測試這個ip是否有效，方法就是利用curl訪問一個網站查看返回值，需要創建一張新表，循環讀取原始表有效則插入，驗證之後將其從原始表中刪除，驗證的同時能夠利用響應時間來計算這個ip的質量，和最大使用次數，有一個演算法能夠參考一種基於連接代理優化管理的多線程網路爬蟲處理方法。

3.把有效的ip寫入ip代理池的配置文件，重新載入配置文件。

4.讓爬蟲程序去指定的dailiy的服務ip和埠，進行爬取。

㈡ 如何處理python爬蟲ip被封

1、放慢爬取速度，減小對於目標網站造成的壓力。但是這樣會減少單位時間類的爬取量。
第二種方法是通過設置IP等手段，突破反爬蟲機制繼續高頻率爬取。網站的反爬機制會檢查來訪的IP地址，為了防止IP被封，這時就可以使用HTTP，來切換不同的IP爬取內容。使用代理IP簡單的來講就是讓代理伺服器去幫我們得到網頁內容，然後再轉發回我們的電腦。要選擇高匿的ip，IPIDEA提供高匿穩定的IP同時更注重用戶隱私的保護，保障用戶的信息安全。
2、這樣目標網站既不知道我們使用代理，更不會知道我們真實的IP地址。
3、建立IP池，池子盡可能的大，且不同IP均勻輪換。
如果你需要大量爬去數據，建議你使用HTTP代理IP，在IP被封掉之前或者封掉之後迅速換掉該IP，這里有個使用的技巧是循環使用，在一個IP沒有被封之前，就換掉，過一會再換回來。這樣就可以使用相對較少的IP進行大量訪問。以上就是關於爬蟲IP地址受限問題的相關介紹。

㈢ 如何通過python+selenium實現：修改加密的代理IP

修改加密的 IP 並不是你的最終目的呀？你的目的是想讓輸入帳號自動化呀？你帳號是不變的呀？那就想辦法讓 selenium+chromedriver 去捕捉彈出來的帳號輸入框，然後實現自動輸入。

㈣ python隨便給了個代理IP居然也能正常訪問，這是為啥

不同的狀態碼代表著不同含義。
200並不代表正常訪問並獲取到返回值。只是表明正確處理了請求而已。
你隨便設置的代理ip有可能真的存在這是一方面，另一方面代理只是鏈接與轉發功能。200的狀態碼也並不能表示代理成功讓你訪問到了目標網址並獲取到了正確的返回信息。

常見的狀態碼有很多，404、400、500等等。
以下資料摘自（csdn博客：https://blog.csdn.net/xiaoxiaode_shu/article/details/80700801）
1開頭的http狀態碼
表示臨時響應並需要請求者繼續執行操作的狀態代碼。

100 （繼續） 請求者應當繼續提出請求。 伺服器返回此代碼表示已收到請求的第一部分，正在等待其餘部分。
101 （切換協議） 請求者已要求伺服器切換協議，伺服器已確認並准備切換。

2開頭的http狀態碼
表示請求成功

200 成功處理了請求，一般情況下都是返回此狀態碼；
201 請求成功並且伺服器創建了新的資源。
202 接受請求但沒創建資源；
203 返回另一資源的請求；
204 伺服器成功處理了請求，但沒有返回任何內容；
205 伺服器成功處理了請求，但沒有返回任何內容；
206 處理部分請求；

3xx （重定向）
重定向代碼，也是常見的代碼

300 （多種選擇） 針對請求，伺服器可執行多種操作。 伺服器可根據請求者 (user agent) 選擇一項操作，或提供操作列表供請求者選擇。
301 （永久移動） 請求的網頁已永久移動到新位置。 伺服器返回此響應（對 GET 或 HEAD 請求的響應）時，會自動將請求者轉到新位置。
302 （臨時移動） 伺服器目前從不同位置的網頁響應請求，但請求者應繼續使用原有位置來進行以後的請求。
303 （查看其他位置） 請求者應當對不同的位置使用單獨的 GET 請求來檢索響應時，伺服器返回此代碼。
304 （未修改） 自從上次請求後，請求的網頁未修改過。 伺服器返回此響應時，不會返回網頁內容。
305 （使用代理） 請求者只能使用代理訪問請求的網頁。 如果伺服器返回此響應，還表示請求者應使用代理。
307 （臨時重定向） 伺服器目前從不同位置的網頁響應請求，但請求者應繼續使用原有位置來進行以後的請求。

4開頭的http狀態碼表示請求出錯

400 伺服器不理解請求的語法。
401 請求要求身份驗證。 對於需要登錄的網頁，伺服器可能返回此響應。
403 伺服器拒絕請求。
404 伺服器找不到請求的網頁。
405 禁用請求中指定的方法。
406 無法使用請求的內容特性響應請求的網頁。
407 此狀態代碼與 401類似，但指定請求者應當授權使用代理。
408 伺服器等候請求時發生超時。
409 伺服器在完成請求時發生沖突。 伺服器必須在響應中包含有關沖突的信息。
410 如果請求的資源已永久刪除，伺服器就會返回此響應。
411 伺服器不接受不含有效內容長度標頭欄位的請求。
412 伺服器未滿足請求者在請求中設置的其中一個前提條件。
413 伺服器無法處理請求，因為請求實體過大，超出伺服器的處理能力。
414 請求的 URI（通常為網址）過長，伺服器無法處理。
415 請求的格式不受請求頁面的支持。
416 如果頁面無法提供請求的范圍，則伺服器會返回此狀態代碼。
417 伺服器未滿足」期望」請求標頭欄位的要求。

5開頭狀態碼並不常見，但是我們應該知道

500 （伺服器內部錯誤） 伺服器遇到錯誤，無法完成請求。
501 （尚未實施） 伺服器不具備完成請求的功能。 例如，伺服器無法識別請求方法時可能會返回此代碼。
502 （錯誤網關） 伺服器作為網關或代理，從上游伺服器收到無效響應。
503 （服務不可用） 伺服器目前無法使用（由於超載或停機維護）。 通常，這只是暫時狀態。
504 （網關超時） 伺服器作為網關或代理，但是沒有及時從上游伺服器收到請求。
505 （HTTP 版本不受支持） 伺服器不支持請求中所用的 HTTP 協議版本。

㈤ 我用的是Python3.6版本，訪問代理伺服器的地址、想抓些IP地址，但是老是報錯

我剛剛寫完這個抓IP的腳本，你都沒有headers，網站肯定不讓你抓啊

給你前面的代碼截圖，自己看下吧

㈥ python 如何編寫代理伺服器

frombottleimportrun,route,request,response
fromurllib.requestimporturlopen
@route('<url:re:.*>')
defget_method(url):
data=urlopen(url)
returndata.read()
run(host='0.0.0.0',port=3456,debug=True)

我簡單寫一個，使用bottle框架，注意不要該ie的代理，使用別的瀏覽器如firefox代理到

127.0.0.1:3456

㈦ python 爬蟲 ip池怎麼做

Python爬蟲採集信息都是採用IP進行更改，不然就不能快速的爬取信息，可以加入採用這類方式，就失去了快速抓取的意義。
所以，如果要大批量的抓取信息，就不能避免的使用IP池，針對Python爬蟲使用的IP池，是如何搭建起來的呢？接下來和大家說明一下如何建爬蟲IP池的問題。
第一步：找IP資源
IP資源並不豐富，換句話說是供不應求的，因此一般是使用動態IP。
免費方法，直接在網路上找，在搜索引擎中一搜索特別多能夠提供IP資源的網站，進行採集即可。
付費方法，通過購買芝麻代理上的IP資源，並進行提取，搭建IP池。
第二步，檢測可用IP保存
提取到的IP，可以進一步進行檢測是否可用，比如訪問某個固定的網站，找出訪問成功的IP進行保存。
第三步，隨機調用IP
在爬蟲需要使用IP時，可用讀取保存IP的文件，進行隨機調用IP。
本文介紹了如何建爬蟲的IP池方法，可以說搭建IP池很容易，可有些IP的時效性很短，使用之前還可以再測試一次的。如果考慮免費IP，那麼對於IP的效果性要做好心理准備的。

㈧ 如何使用Python實現爬蟲代理IP池

第一步：找IP資源

IP資源並不豐富，換句話說是供不應求的，因此一般是使用動態IP。

免費方法，直接在網路上找，在搜索引擎中一搜索特別多能夠提供IP資源的網站，進行採集即可。

付費方法，通過購買芝麻ip上的IP資源，並進行提取，搭建IP池。