python代理伺服器搭建

① 怎樣設置代理伺服器

相信很多了解互聯網工作的朋友對代理IP有簡單的說HTTP代理伺服器，位於Web客戶端和Web伺服器之間的角色，就叫HTTP代理伺服器。它有什麼用呢？最顯著的作用就是可以匿名訪問，使用HTTP代理伺服器，通過隱藏本地實際IP地址，達到繼續訪問目標網站的目的。

HTTP伺服器代理怎麼設置？最先在互聯網上找到你必須的代理IP，為了更好地確保更安全性的掩藏當地具體IP地址，使用IP均為高匿名代理IP，安全系數更強。

當確定代理IP後，點一下電腦瀏覽器上的專用工具比如IPIDEA可以提取IP，開啟Internet選擇項，在聯接中打開設置，勾選定伺服器代理，填寫你的代理IP，保存就可以。此刻你開啟網路搜索框，查看IP發生的便是代理IP地址了。

提供IP定製服務，可以針對python爬蟲開發者需要，協助搭建HTTP代理伺服器，並提供專人定期維護服務。如果你所需IP數量較少。

② 「2022 年」崔慶才 Python3 爬蟲教程 - 代理的使用方法

前面我們介紹了多種請求庫，如 urllib、requests、Selenium、Playwright 等用法，但是沒有統一梳理代理的設置方法，本節我們來針對這些庫來梳理下代理的設置方法。

在本節開始之前，請先根據上一節了解一下代理的基本原理，了解了基本原理之後我們可以更好地理解和學習本節的內容。

另外我們需要先獲取一個可用代理，代理就是 IP 地址和埠的組合，就是 : 這樣的格式。如果代理需要訪問認證，那就還需要額外的用戶名密碼兩個信息。

那怎麼獲取一個可用代理呢？

使用搜索引擎搜索 「代理」 關鍵字，可以看到許多代理服務網站，網站上會有很多免費或付費代理，比如快代理的免費 HTTP 代理：https://www.kuaidaili.com/free/ 上面就寫了很多免費代理，但是這些免費代理大多數情況下並不一定穩定，所以比較靠譜的方法是購買付費代理。付費代理的各大代理商家都有套餐，數量不用多，穩定可用即可，我們可以自行選購。

另外除了購買付費 HTTP 代理，我們也可以在本機配置一些代理軟體，具體的配置方法可以參考 https://setup.scrape.center/proxy-client，軟體運行之後會在本機創建 HTTP 或 SOCKS 代理服務，所以代理地址一般都是 127.0.0.1: 這樣的格式，不同的軟體用的埠可能不同。

這里我的本機安裝了一部代理軟體，它會在本地 7890 埠上創建 HTTP 代理服務，即代理為 127.0.0.1:7890。另外，該軟體還會在 7891 埠上創建 SOCKS 代理服務，即代理為 127.0.0.1:7891，所以只要設置了這個代理，就可以成功將本機 IP 切換到代理軟體連接的伺服器的 IP 了。

在本章下面的示例里，我使用上述代理來演示其設置方法，你也可以自行替換成自己的可用代理。

設置代理後，測試的網址是 http://httpbin.org/get，訪問該鏈接我們可以得到請求的相關信息，其中返回結果的 origin 欄位就是客戶端的 IP，我們可以根據它來判斷代理是否設置成功，即是否成功偽裝了 IP。

好，接下來我們就來看下各個請求庫的代理設置方法吧。

首先我們以最基礎的 urllib 為例，來看一下代理的設置方法，代碼如下：

運行結果如下：

這里我們需要藉助 ProxyHandler 設置代理，參數是字典類型，鍵名為協議類型，鍵值是代理。注意，此處代理前面需要加上協議，即 http:// 或者 https://，當請求的鏈接是 HTTP 協議的時候，會使用 http 鍵名對應的代理，當請求的鏈接是 HTTPS 協議的時候，會使用 https 鍵名對應的代理。不過這里我們把代理本身設置為了 HTTP 協議，即前綴統一設置為了 http://，所以不論訪問 HTTP 還是 HTTPS 協議的鏈接，都會使用我們配置的 HTTP 協議的代理進行請求。

創建完 ProxyHandler 對象之後，我們需要利用 build_opener 方法傳入該對象來創建一個 Opener，這樣就相當於此 Opener 已經設置好代理了。接下來直接調用 Opener 對象的 open 方法，即可訪問我們所想要的鏈接。

運行輸出結果是一個 JSON，它有一個欄位 origin，標明了客戶端的 IP。驗證一下，此處的 IP 確實為代理的 IP，並不是真實的 IP。這樣我們就成功設置好代理，並可以隱藏真實 IP 了。

如果遇到需要認證的代理，我們可以用如下的方法設置：

這里改變的只是 proxy 變數，只需要在代理前面加入代理認證的用戶名密碼即可，其中 username 就是用戶名，password 為密碼，例如 username 為 foo，密碼為 bar，那麼代理就是 foo:[email protected]:7890。

如果代理是 SOCKS5 類型，那麼可以用如下方式設置代理：

此處需要一個 socks 模塊，可以通過如下命令安裝：

這里需要本地運行一個 SOCKS5 代理，運行在 7891 埠，運行成功之後和上文 HTTP 代理輸出結果是一樣的：

結果的 origin 欄位同樣為代理的 IP，代理設置成功。

對於 requests 來說，代理設置非常簡單，我們只需要傳入 proxies 參數即可。

這里以我本機的代理為例，來看下 requests 的 HTTP 代理設置，代碼如下：

運行結果如下：

和 urllib 一樣，當請求的鏈接是 HTTP 協議的時候，會使用 http 鍵名對應的代理，當請求的鏈接是 HTTPS 協議的時候，會使用 https 鍵名對應的代理，不過這里統一使用了 HTTP 協議的代理。

運行結果中的 origin 若是代理伺服器的 IP，則證明代理已經設置成功。

如果代理需要認證，那麼在代理的前面加上用戶名和密碼即可，代理的寫法就變成如下所示：

這里只需要將 username 和 password 替換即可。

如果需要使用 SOCKS 代理，則可以使用如下方式來設置：

這里我們需要額外安裝一個包 requests[socks]，相關命令如下所示：

運行結果是完全相同的：

另外，還有一種設置方式，即使用 socks 模塊，也需要像上文一樣安裝 socks 庫。這種設置方法如下所示：

使用這種方法也可以設置 SOCKS 代理，運行結果完全相同。相比第一種方法，此方法是全局設置的。我們可以在不同情況下選用不同的方法。

httpx 的用法本身就與 requests 的使用非常相似，所以其也是通過 proxies 參數來設置代理的，不過與 requests 不同的是，proxies 參數的鍵名不能再是 http 或 https，而需要更改為 http:// 或 https://，其他的設置是一樣的。

對於 HTTP 代理來說，設置方法如下：

對於需要認證的代理，也是改下 proxy 的值即可：

這里只需要將 username 和 password 替換即可。

運行結果和使用 requests 是類似的，結果如下：

對於 SOCKS 代理，我們需要安裝 httpx-socks 庫，安裝方法如下：

這樣會同時安裝同步和非同步兩種模式的支持。

對於同步模式，設置方法如下：

對於非同步模式，設置方法如下：

和同步模式不同的是，transport 對象我們用的是 AsyncProxyTransport 而不是 SyncProxyTransport，同時需要將 Client 對象更改為 AsyncClient 對象，其他的不變，運行結果是一樣的。

Selenium 同樣可以設置代理，這里以 Chrome 為例來介紹其設置方法。

對於無認證的代理，設置方法如下：

運行結果如下：

代理設置成功，origin 同樣為代理 IP 的地址。

如果代理是認證代理，則設置方法相對比較繁瑣，具體如下所示：

這里需要在本地創建一個 manifest.json 配置文件和 background.js 腳本來設置認證代理。運行代碼之後，本地會生成一個 proxy_auth_plugin.zip 文件來保存當前配置。

運行結果和上例一致，origin 同樣為代理 IP。

SOCKS 代理的設置也比較簡單，把對應的協議修改為 socks5 即可，如無密碼認證的代理設置方法為：

運行結果是一樣的。

對於 aiohttp 來說，我們可以通過 proxy 參數直接設置。HTTP 代理設置如下：

如果代理有用戶名和密碼，像 requests 一樣，把 proxy 修改為如下內容：

這里只需要將 username 和 password 替換即可。

對於 SOCKS 代理，我們需要安裝一個支持庫 aiohttp-socks，其安裝命令如下：

我們可以藉助於這個庫的 ProxyConnector 來設置 SOCKS 代理，其代碼如下：

運行結果是一樣的。

另外，這個庫還支持設置 SOCKS4、HTTP 代理以及對應的代理認證，可以參考其官方介紹。

對於 Pyppeteer 來說，由於其默認使用的是類似 Chrome 的 Chromium 瀏覽器，因此其設置方法和 Selenium 的 Chrome 一樣，如 HTTP 無認證代理設置方法都是通過 args 來設置的，實現如下：

運行結果如下：

同樣可以看到設置成功。

SOCKS 代理也一樣，只需要將協議修改為 socks5 即可，代碼實現如下：

運行結果也是一樣的。

相對 Selenium 和 Pyppeteer 來說，Playwright 的代理設置更加方便，其預留了一個 proxy 參數，可以在啟動 Playwright 的時候設置。

對於 HTTP 代理來說，可以這樣設置：

在調用 launch 方法的時候，我們可以傳一個 proxy 參數，是一個字典。字典有一個必填的欄位叫做 server，這里我們可以直接填寫 HTTP 代理的地址即可。

運行結果如下：

對於 SOCKS 代理，設置方法也是完全一樣的，我們只需要把 server 欄位的值換成 SOCKS 代理的地址即可：

運行結果和剛才也是完全一樣的。

對於有用戶名和密碼的代理，Playwright 的設置也非常簡單，我們只需要在 proxy 參數額外設置 username 和 password 欄位即可，假如用戶名和密碼分別是 foo 和 bar，則設置方法如下：

這樣我們就能非常方便地為 Playwright 實現認證代理的設置。

以上我們就總結了各個請求庫的代理使用方式，各種庫的設置方法大同小異，學會了這些方法之後，以後如果遇到封 IP 的問題，我們可以輕鬆通過加代理的方式來解決。

本節代碼：https://github.com/Python3WebSpider/ProxyTest

③ python 如何編寫代理伺服器

frombottleimportrun,route,request,response
fromurllib.requestimporturlopen
@route('<url:re:.*>')
defget_method(url):
data=urlopen(url)
returndata.read()
run(host='0.0.0.0',port=3456,debug=True)

我簡單寫一個，使用bottle框架，注意不要該ie的代理，使用別的瀏覽器如firefox代理到

127.0.0.1:3456

④ Nginx+Python 怎麼搞才好

介紹NGINX和Python如何配合使用
Python以易用，有趣而出名，它讓軟體開發變得簡單，據說運行性能也高於其他腳本語言（php最新版本PHP 7的性能好像可以與Python一較高下）
每一個人都希望自己的網站或應用可以運行得更快。但是每一個網站在大流量和流量激增時都容易遇到性能問題，甚至當機，業務繁忙時，這種情況會更加糟糕。其實無論流量是穩定增長，還是陡峭增長，所有網站都面臨性能和當機的困擾。

NGINX和NGINX插件的出現就是為了解決這個問題。他們通過三種不同的方式來改善網站性能：

1、web服務 – 最初開發NGINX是為了解決 C10K 問題 – 可以輕松支撐10,000或更多的並發連接。使用NGINX為你的Python應用提供web服務，可以讓你的網站運行更快，即便在小流量的情況下也有效果。當你的用戶成千上萬時，確定無疑，它可以提供更高的性能，更少的崩潰，以及更少的當機時間。你也可以使用NGINX提供靜態文件緩存或者微緩存服務，一個獨立的NGINX反向代理也是很好的選擇（見下一段）。

2、反向代理– 你可以在應用服務的前端用NGINX做反向代理。NGINX接收Web請求並分發到你的應用服務。這個「怪招」可以讓你的網站運行得更快，減少當機，消費更少的服務資源，而且可以提高安全性。你也可以在反向代理伺服器上緩存靜態資源（非常高效），添加靜態內容的微緩存，以減少應用自身的負載，等等。

3、為多個應用服務提供動態均衡 – 通過布署反向代理服務。通過多應用服務並行運行和NGINX或者NGINX插件來做流量負載均衡。通過這種布署，根據流量需要，增長穩定性和運行時間需要，你可以很輕松地在線擴展網站性能。如果你需要讓給定用戶的會話在同一個服務上，你只需要配置負載均衡以支持會話持久化。

不管是為你的Python應用提供網站服務，還是做反向代理服務，還是做負載均衡，或者三者都用，NGINX和NGINX插件都會給你帶來優勢。

這是本系列（由兩部分組成）中的第一篇文章，將會介紹五個提升Python應用性能的技巧，包括如何使用NGINX或NGINX插件提供web服務，如何實現靜態文件的緩存，如何為動態內容做微緩存。在第二部分，我們將介紹如果用NGINX或NGINX插件提供反向代理服務，以及如何為多個應用服務提供負載均衡。

技巧 1– 定位Python性能瓶頸
有兩種截然不同的情況會讓你的Python應用遇到性能問題– 第一，每天有海量用戶；第二，高負載。大部分網站長都不需要擔心性能問題，因為他們的負載很小，根據我們的拙見，他們應該努力降低響應時間。將響應時間控制在毫秒級是一個非常困難且不被關注的工作。但可以讓我們的用戶體驗更好，業績更優秀。

但是這篇博文和剩下的第二部分，將關注每個人都確實關注的場景：當網站繁忙時可能會出現的性能問題，如性能大幅下降和當機。還有黑客模擬大量用戶攻擊造成的流量激增，同時提高網站性能也是處理攻擊的重要步驟。

像Apache HTTP Server這樣的系統會為每個用戶分配一定數量的內存，隨著用戶的不斷增加，物理內存不堪重負。伺服器開始使用磁碟的交換分區，性能直線下降，性能問題和當機接踵而至。這篇博文中所介紹的遷移到NGINX，有助於解決這一問題。

Python特別容易出現內存相關的性能問題，因為與其他腳本語言相比，Python通常是使用更多的內存來執行任務（所以執行速度快）。所以在相同條件下，與用其他語言寫的應用相比，你的Python應用更容易在少量用戶的情況下而「絆倒」。

優化你的應用對解決問題會有所幫助，但要解決流量相關的性能問題，這通常不是最好最快的方式。這篇博文及剩下的第二部分，將介紹一種最好並且最快的方式。在實施這些措施之後，再採取一切方法優化你的應用，或者使用微服務架構重寫。

技巧 2 – 選擇單服務或者微服務布署
小網站在單個伺服器上就可以運行得很好。大的網站需要多個伺服器。但如果你處於中間地帶–或者你的網站從一個小網站變成一個大網站– 你可以做一些有趣的選擇。

如果你使用單機布署，大流量和瀏覽激增會給你帶來很大的風險。你的擴展手段非常有限，無外乎優化你的應用，把web服務切換到NGINX,使用一個更大更快的伺服器，或者使用內容分發網路（CDN）。所有這些可選項的實施都耗時耗錢，而且在實施過程中還有引入bug的風險。

另外一個很顯然的風險是單機布署存在單點故障問題 – 很多問題可以導致你的站點掛掉，而且沒有快速簡單的解決方案。

使用NGINX做為應用的代理服務

如果你把服務切換成NGINX並且使用單機布署，你可以自由地選擇使用開源的NGINX或者NGINX插件。NGINX包括企業級支持和一些擴展功能。像實時活動監測這樣的擴展功能是支持單機布署的。如果做為反向代理，採用分布式布署，你可以使用其他NGINX插件，如負載均衡和會話持久化。

有很多事情都要考慮周詳，除非你確定你的網站在未來很長時間內都是一個小網站，不需要關心當機問題，否則，你要明白，單機布署存在很多風險。分布式布署比較易於擴展 – 單點故障可以通過工程解決，性能可以按需調整，可以快速擴充伺服器能力。

技巧 3 – 使用NGINX替換你的Web服務
在Web時代的早期，Apache就是web服務的同義詞。但NGINX自2000年出現以來，迅速流行開來；現在已經是排名第一的web服務，被1,000, 10,000多個網站和世界上最繁忙的100,000多個網站使用。

NGINX最初是為了解決C10K問題而開發 – 在給定內存預算下支持10,000+並發。其他web服務需要為每個連接分配內存塊，所以他們會耗盡物理內存，當數以千記的用戶在同一時間訪問一個網站，它會變慢甚至崩潰。NGINX處理器可以單獨處理一個請求，也可以優雅地擴展，同時處理多個用戶。（這可以很好地解決額外問題，後面會詳述。）

一個高層NGINX架構圖如下所示。

NGINX 架構, 選自開源應用架構第二卷

在上圖，一個Python應用服務被布署在後端的應用服務塊中，如圖所示，它通過FastCGI被訪問。NGINX不「知道」怎麼運行Python,所以它需要一個網關連結需要的環境。FastCGI是一個被PHP，Pyhton和其他語言廣泛使用的介面。

但是，連結Python和NGINX的流行方案是網路服務網關介面(WSGI)。WSGI工作在多線程和多進程環境下，所以他兼容本文所提到的所有布署選項。

如果你將web服務遷移到NGINX，這里有一些有用的軟體：

Configuring gunicorn – 「Green Unicorn」是一個流行的WSGI服務，配合NGINX使用。
Configuring uWSGI – 另一個流行的WSGI服務,配合NGINX使用. uWSGI包含NGINX指令支持。
Using uWSGI, NGINX, and Django – 一個流行的Python web框架。

下面的代碼片斷將向你展示如何配置NGINX和uWSGI – 這個案例中的工程使用Python框架Django。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

http
{
...
upstream
django {
server
127.0.0.1:29000;
}

server
{
listen
80;
server_name
myapp.example.com;

root
/var/www/myapp/html;

location
/ {
index
index.html;
}

location
/static/
{
alias
/var/django/projects/myapp/static/;
}

location
/main {
include
/etc/nginx/uwsgi_params;
uwsgi_pass
django;

uwsgi_param
Host $host;
uwsgi_param
X-Real-IP $remote_addr;
uwsgi_param
X-Forwarded-For $proxy_add_x_forwarded_for;
uwsgi_param
X-Forwarded-Proto $http_x_forwarded_proto;
}
}
}

技巧 4 – 實現靜態文件緩存
緩存靜態內容包括：為不經常變更的文件保存副本 – 不經常是指數小時或者永遠 – 副本保存在其他位置而不是應用服務中。典型的靜態內容是網頁中經常用到的JPEG圖片。

緩存靜態文件是提升應用性能的常用手段，經常被用到：

1、用戶瀏覽器
2、互聯網提供商 – 從公司網路到互聯網提供商(ISP)
3、web服務, 也就是本文所講的

在web服務端實現靜態文件緩存有兩個好處：
1、為用戶提供快速服務 – NGINX 專門為靜態文件緩存做過優化，對靜態內容請求的處理比應用服務要快。
2、減少應用服務負載– 應用服務不需要處理已經緩存的靜態文件，已經由web服務接管。

緩存靜態文件在單伺服器上也可以很好的實現，但底層硬體資源仍然是由web服務和應用服務所共享。如果web服務要處理頻率的靜態文件訪問 – 甚至是海量 – 應用服務可以使用的硬體資源就會變少，一些功能可能就會變慢。

如果要支持瀏覽器緩存，需要正確設置靜態文件的頭部信息。如HTTPCache Control（特別是它的max age設置），Expires，和Entity標記。如果想深入了解，參見NGINX Plus的管理員指南：使用NGINX為uWSGI和Django提供應用網關

下面的NGINX配置代碼用來緩存靜態文件，包括JPEG文件，GIF文件，PNG文件，MP4文件，Powerpoint文件，和一些其他文件，請把www.example.com替換成你自己的網址。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

server
{
#
substitute your web server's URL for

"www.example.com"
server_name
www.example.com;
root
/var/www/example.com/htdocs;
index
index.php;
access_log
/var/log/nginx/example.com.access.log;
error_log
/var/log/nginx/example.com.error.log;

location
/ {
try_files
$uri $uri/ /index.php?$args;
}

location
~ \.php$ {
try_files
$uri =404;
include
fastcgi_params;
#
substitute the socket, or address and port, of your Python server
fastcgi_pass
unix:/var/run/php5-fpm.sock;
#fastcgi_pass
127.0.0.1:9000;
}

location
~* .(ogg|ogv|svg|svgz|eot|otf|woff|mp4|ttf|css|rss|atom|js|jpg
|jpeg|gif|png|ico|zip|tgz|gz|rar|bz2|doc|xls|exe|ppt|tar|mid
|midi|wav|bmp|rtf)$
{
expires
max;
log_not_found
off;
access_log
off;
}
}

技巧 5 – 實現微服務
微緩存可以很明顯的大幅提升Python， PHP和一些其他語言開發的應用服務性能，根據是否適合緩存，可以把網頁分成三類：

靜態文件 – 這類文件適合緩存，見技巧4所述。
動態，非個性化頁面 – 因為它們需要刷新，這些文件通常不適合做緩存。例如未登錄前的電商用戶所看到的頁面（見下一點） – 可用商品和推薦相似商品經常要發生改變，所以必須生成新頁面。但是，如果有另外一個用戶，在10毫秒之後發送同樣請求，將前一用戶看到的網頁緩存並發送給後一用戶就變得合情合理。
動態，個性化頁面 –這些不適合緩存，因為它們是針對具體用戶的，同一個用戶不希望兩次看到同一個個性化頁面。例如一個電商用戶登錄後的頁面不應該展示給另外一個用戶。

靜態文件和非個化性動態內容可以緩存

微緩存適用於上面提到的第二類頁面–動態，非個性化頁面。「微」是指很短的時間。如果你的網站在一秒內要多次生成同一個頁面，如果你把這個頁面只緩存一秒，並不影響該頁面的刷新。但這個短暫的緩存可以極大的降低應用服務的負載，特別是流量較大時。將原來在一個緩存區間內，同一內容生成10，或者20，甚至100次，調整為只生成一次並緩存，為其他用戶提供緩存內容。

這個效果是很神奇的。一個服務如果一秒鍾要處理大量請求會變得很慢，但如果只處理一個請求，就會變得很快。（包括任何個性化頁面）。我們自己的Owen Garrett有一篇博客對微服務的優勢做了詳情介紹，裡面還有配置代碼。主要要修改的地方是把代理緩存過期時間設為一秒，只需要幾行配置代碼就可以搞定。

1
2
3
4
5
6

proxy_cache_path
/tmp/cache keys_zone=cache:10m levels=1:2

inactive=600s max_size=100m;
server
{
proxy_cache
cache;
proxy_cache_valid
200

1s;
...
}

更多配置樣例，參見Tyler Hicks Wright關於Python和uWSGI如何使用NGINX的博客。

總結
在第一部分，我們回顧了一下在單機環境下提高Python應用性能的解決方案，還有緩存的使用，在單機情況下緩存可以應用於反向代理伺服器或者獨立緩存服務（緩存比獨立服務性能更好）。在下一部分，我們將會介紹分布式環境下的性能提升方案。

如果你想在應用中使用更多的NGINX Plus特性，如實時事件監測，在線修改配置，你可以馬上開通30天免費試用，或者聯系我們，可以獲得一個真實例子。

⑤ 怎麼將自己的電腦設置為代理伺服器

供你參考：
一.代理伺服器硬體和軟體基本要求
1) 伺服器的配置跟用戶數有關。
如果用戶數在20人以內，一般的PC電腦就可以作為代理伺服器了。推薦PII晶元，內存128M，硬碟10G。如果用戶數在20人以上100人以下，需要選用專業的伺服器作為代理伺服器，伺服器一定要專用，即專門作為代理伺服器來用。推薦PIII晶元，內存256M，硬碟20G。如果用戶數在100人以上，需要選擇高配置的伺服器作為代理伺服器，伺服器一定要專用，即專門作為代理伺服器來用。推薦雙CPU，內存1G，硬碟40G。
2) 網卡配置。
盡量選用性能比較穩定的網卡作為伺服器網卡，100M網卡。推薦品牌：原裝D-Link，3COM。由於是作為伺服器網卡，盡量選用高性能中高價位的網卡。
3) 操作系統。
如果客戶端用戶數在10人以上，我們推薦您安裝Win2000 Advanced Server，並打好最新補丁。Win98隻適合10用戶網路環境，Win NT需要打太多的補丁，Win2000 Professional只適合個人和家庭電腦，所以最好選用Win2000 Advanced Server。
4) 殺毒軟體及防火牆軟體。
我們推薦您用Norton殺毒軟體及Norton防火牆軟體來保護您的伺服器。為了方便調試代理伺服器，請在代理伺服器安裝調試成功後，再安裝和使用殺毒軟體和防火牆軟體。
二.區域網網路環境配置要求
確認區域網連接通暢，能夠相互ping成功。
伺服器的IP設置有幾個需要注意的地方：
1) 檢查伺服器的網路屬性，確保裡面沒有多餘的無用的TCP/IP協議，如果伺服器是Win98操作系統，操作系統安裝過程中會自動添加一些無存在的撥號適配器及相應的TCP/IP協議，需要刪除這些多餘的網卡適配器和相應的TCP/IP協議。否則很容易引起網卡沖突。
2) 如果伺服器安裝了兩塊網卡或者多塊，在網卡IP設置上需要注意，不要將網卡的IP設置在一個網段內，這樣會造成路由混亂。比如一塊網卡是192.168.0.1，另一塊網卡就不要設置成192.168.0.2，可以設置為192.168.1.1。
3) 伺服器的網卡一般不要設置網關，尤其是連接區域網的網卡，不要設置網關，否則很容易造成路由沖突。

如果沒有配置好區域網，建議按照下面的方法配置區域網。分配好區域網機器的IP。一般是192.168.0.1、192.168.0.2、192.168.0.3、…192.168.0.254，其中伺服器是192.168.0.1，其他IP地址為客戶端的IP地址。子網掩碼為255.255.255.0，DNS為192.168.0.1。如果客戶端操作系統是Win98，請設置網關指向192.168.0.1，DNS主機名填本地機器名。

三.代理伺服器有很多種的，以Wingate為例，簡單介紹一下：

1）做代理伺服器的計算機需要兩個網卡（例如外網卡192.168.168.9、內網卡192.168.0.1）。外網卡如果是靜態公網IP，請按照ISP設置，如果是動態獲得的公網IP，則不用設置，如果是專網IP，例如192.168.168.9（IP）255.255.255.0（MASK）192.168.168.1（GATEWAY） 202.99.160.68（公網DNS，當然代理伺服器本身提供DNS服務的話也可以設置為192.168.168.9或192.168.0.1）。內網卡設置，例如192.168.0.1（IP）255.255.255.0（MASK），請不要設置內網卡的默認網關，DNS可以設置也可以不設置。

2）安裝wingate全部默認（不知道你有沒有CD-KEY），重起後打開管理控制窗口（可以設密碼，也可以不設置密碼，最初的密碼為空就可以進去）。然後修改HTTP代理的埠如8080，一定要注意一下哪些介面可以做代理，例如可以設置為任意介面。SOCKS5代理默認就已經啟用，默認服務埠是1080。

3）客戶機（在網吧內）網卡設置，例如192.168.0.2（IP）255.255.255.0（MASK），其他不用設置。
客戶機IE設置使用代理伺服器，例如192.168.0.1（IP）8080（HTTP）；192.168.0.1（IP）1080（SOCKS5）

客戶機（在網吧以外，就像您在家）設置。如果代理伺服器的外網卡IP是靜態公網IP，如218.16.66.1，只需要您的IE設置使用代理伺服器，例如218.16.66.1（IP）8080（HTTP）；218.16.66.1（IP）1080（SOCKS5）。如果代理伺服器的外網卡IP是動態公網IP，則需要DDNS的支持，不再贅述。如果代理伺服器的外網卡IP是靜態內網IP，則需要在網吧路由器上作埠映射，不再贅述。

4）wingate功能強大，使用簡單。

⑥ 如何為 windows 下的 python 的 pip 工具設置代理伺服器

在安裝pip前，請確認你win系統中已耐纖宏經安裝好了python，和easy_install工具，如果系統安昌冊裝成功，easy_install在目錄C:\Python27\Scripts 下面，進入命令行，然後把目錄切換到python的安裝目錄下的Script文件夾下，運行 easy_inatall pip
pip安裝成豎櫻功後，在cmd下執行pip，將會有如下提示.

⑦ python 怎麼通過代理伺服器

1 proxy_handle = urllib.request.ProxyHandler({'http':random.choice(proxy_list)})
2 opener = urllib.request.build_opener(proxy_handle)
3 response = opener.open(url)

proxy_list 為並鍵代沖蔽游理ip列表散銷

⑧ python中，進行爬蟲抓取怎麼樣能夠使用代理IP

網路數據量越來越大，從網頁中獲取信息變得越來越困難，如何有效地抓取並利用信息，已成為網路爬蟲一個巨大的挑戰。下面IPIDEA為大家講明爬蟲代理IP的使用方法。

1.利用爬蟲腳本每天定時爬取代理網站上的ip，寫入MongoDB或者其他的資料庫中，這張表作為原始表。

2.使用之前需要做一步測試，就是測試這個ip是否有效，方法就是利用curl訪問一個網站查看返回值，需要創建一張新表，循環讀取原始表有效則插入，驗證之後將其從原始表中刪除，驗證的同時能夠利用響應時間來計算這個ip的質量，和最大使用次數，有一個演算法能夠參考一種基於連接代理優化管理的多線程網路爬蟲處理方法。

3.把有效的ip寫入ip代理池的配置文件，重新載入配置文件。

4.讓爬蟲程序去指定的dailiy的服務ip和埠，進行爬取。

⑨ python 爬蟲 ip池怎麼做

Python爬蟲採集信息都是採用IP進行更改，不然就不能快速的爬取信息，可以加入採用這類方式，就失去了快速抓取的意義。
所以，如果要大批量的抓取信息，就不能避免的使用IP池，針對Python爬蟲使用的IP池，是如何搭建起來的呢？接下來和大家說明一下如何建爬蟲IP池的問題。
第一步：找IP資源
IP資源並不豐富，換句話說是供不應求的，因此一般是使用動態IP。
免費方法，直接在網路上找，在搜索引擎中一搜索特別多能夠提供IP資源的網站，進行採集即可。
付費方法，通過購買芝麻代理上的IP資源，並進行提取，搭建IP池。
第二步，檢測可用IP保存
提取到的IP，可以進一步進行檢測是否可用，比如訪問某個固定的網站，找出訪問成功的IP進行保存。
第三步，隨機調用IP
在爬蟲需要使用IP時，可用讀取保存IP的文件，進行隨機調用IP。
本文介紹了如何建爬蟲的IP池方法，可以說搭建IP池很容易，可有些IP的時效性很短，使用之前還可以再測試一次的。如果考慮免費IP，那麼對於IP的效果性要做好心理准備的。

⑩ python爬蟲 如何自己用雲伺服器上搭建代理伺服器 並使用requests測試代理

1、簡介
使用同一個ip頻繁爬取一個網站，久了之後會被該網站的伺服器屏蔽。所以這個時候需要使用代理伺服器。通過ip欺騙的方式去爬取網站

可以使用http://yum.iqianyue.com.com/proxy中找到很多伺服器代理地址

2、應用
# *-*coding:utf-8*-*
from urllib import request
def use_porxy(porxy_addr,url):
porxy = request.ProxyHandler({'http':porxy_addr})
opener = request.build_opener(porxy, request.ProxyHandler)
request.install_opener(opener)
data = request.urlopen(url).read().decode('utf-8')
return data
data = use_porxy("114.115.182.59:128","http://www..com")
print(len(data))