python3https

① 《笨辦法學python3》pdf下載在線閱讀，求百度網盤雲資源

《「笨辦法」學Python 3：進階篇》（[美] 澤德·A.肖）電子書網盤下載免費在線閱讀

資源鏈接：

鏈接：https://pan..com/s/1uWc9_D0W8DURcjwlgYA7Eg

書名：「笨辦法」學Python 3：進階篇

作者：[美] 澤德·A.肖

譯者：王巍巍

出版社：人民郵電出版社

出版年份：2020-6

頁數：202

內容簡介：

本書是《「笨辦法」學Python 3》一書的進階篇，《「笨辦法」學Python 3》介紹了用Python 3編程的基礎知識，而本書則通過52個精心設計的習題幫助讀者超越基礎，提升水平。這52個習題大部分都結合實際演示，並配有附加挑戰，每個習題都可以幫讀者掌握一項關鍵的實踐技能，包括使用文本編輯器管理復雜的項目、利用功能強大的數據結構、應用演算法處理數據結構、掌握必要的文本分析和處理技術、使用SQL有效且合邏輯地建模存儲數據，以及學習強大的命令行工具等。本書旨在幫助讀者從單純地編寫能運行的代碼跨越到編寫能解決實際問題的高質量Python代碼，成為一名高階的Python程序員。

本書適合所有已經開始使用Python的技術人員，包括初級開發人員和已經升級到Python 3.6版本以上的經驗豐富的Python程序員。

作者簡介：

澤德·A. 肖（Zed A.Shaw） 是《「笨辦法」學Python（第3版）》《「笨辦法」學Python 3》《「笨辦法」學Ruby（第3版）》《「笨辦法」學C語言》等多本備受歡迎的技術書的作者，他的書在全世界有數百萬讀者。他還是諸多開源項目的創建者，擁有近20年的編程和寫作經驗。他大部分空閑時間致力於繪畫和藝術史的研究。

② python3 獲取title的編寫

水平有限，不會造輪子，只為學習。

在原來寫埠掃描的基礎上進一步爬取web服務的title信息，方便收集信息。
適用於在外網收集資產形成IP字典後去批量獲取title，意在最快地尋找脆弱點。
自行安裝BeautifulSoup4、requests庫。
V1.0
python3 寫的單線程爬取web系統的title信息。
註解
1.使用BeautifulSoup4庫來解析HTML，爬取title信息；
2.列印title時，帶有顏色的輸出；
3.在開放443、4433、8443埠時，採用https進行訪問；
4.解決SSL認證問題；

V1.0.1
python3 單線程寫的爬取網站title信息。增加了OptionParser模塊，運行時看起來比較舒服。
註解
1.依然是從IP字典里爬取，實際運行腳本時，即使沒有獲取title，也應該手動訪問開放的埠，往往有意外驚喜；
2.埠內置在腳本里，可自行修改；

V1.1
python3寫的多線程爬取web系統的title。
註解
1.只是使用threading模塊，沒有添加到隊列，也沒有加鎖；本身port_list也不多；

V1.2
python3 寫的多線程加隊列的來爬取web系統的title信息。
註解
1.增加了queue隊列，和多線程配合使用。更加實用；

V1.3
python3 寫的多線程加隊列的來爬取web系統的title信息。
增加result輸出結果到文本，適應於內外網埠掃描並獲取title

python3 編寫掃描IP網段如192.168.1.0/24某些指定應用埠爬取title信息。 在代理進行內網滲透時內網資產不容易找到。
適用於內網、外網環境。
自行安裝BeautifulSoup4、requests庫。
V2.0
python3寫的掃描IP段並爬取title信息，收集資產。
註解
1.使用ipaddress模塊獲取C段地址，也可以是B段；
2.只使用threading模塊，沒有添加隊列queue；

V2.1
python3 寫的多線程掃描IP段爬取title。在一定線程下，代理探測內網資產title的非常使用。
註解
1.port_list列表移動到scan方法里；
2.將IP添加到queue隊列，而不是埠；

V2.2
python3 寫的多線程掃描IP段爬取title。
註解
1.只是增加了result_out方法，將結果輸出到指定文件；

https://github.com/aedoo/WebServiceScanner/blob/master/webservicescanner.py

③ 「2022 年」崔慶才 Python3 爬蟲教程 - 代理的使用方法

前面我們介紹了多種請求庫，如 urllib、requests、Selenium、Playwright 等用法，但是沒有統一梳理代理的設置方法，本節我們來針對這些庫來梳理下代理的設置方法。

在本節開始之前，請先根據上一節了解一下代理的基本原理，了解了基本原理之後我們可以更好地理解和學習本節的內容。

另外我們需要先獲取一個可用代理，代理就是 IP 地址和埠的組合，就是 : 這樣的格式。如果代理需要訪問認證，那就還需要額外的用戶名密碼兩個信息。

那怎麼獲取一個可用代理呢？

使用搜索引擎搜索 「代理」 關鍵字，可以看到許多代理服務網站，網站上會有很多免費或付費代理，比如快代理的免費 HTTP 代理：https://www.kuaidaili.com/free/ 上面就寫了很多免費代理，但是這些免費代理大多數情況下並不一定穩定，所以比較靠譜的方法是購買付費代理。付費代理的各大代理商家都有套餐，數量不用多，穩定可用即可，我們可以自行選購。

另外除了購買付費 HTTP 代理，我們也可以在本機配置一些代理軟體，具體的配置方法可以參考 https://setup.scrape.center/proxy-client，軟體運行之後會在本機創建 HTTP 或 SOCKS 代理服務，所以代理地址一般都是 127.0.0.1: 這樣的格式，不同的軟體用的埠可能不同。

這里我的本機安裝了一部代理軟體，它會在本地 7890 埠上創建 HTTP 代理服務，即代理為 127.0.0.1:7890。另外，該軟體還會在 7891 埠上創建 SOCKS 代理服務，即代理為 127.0.0.1:7891，所以只要設置了這個代理，就可以成功將本機 IP 切換到代理軟體連接的伺服器的 IP 了。

在本章下面的示例里，我使用上述代理來演示其設置方法，你也可以自行替換成自己的可用代理。

設置代理後，測試的網址是 http://httpbin.org/get，訪問該鏈接我們可以得到請求的相關信息，其中返回結果的 origin 欄位就是客戶端的 IP，我們可以根據它來判斷代理是否設置成功，即是否成功偽裝了 IP。

好，接下來我們就來看下各個請求庫的代理設置方法吧。

首先我們以最基礎的 urllib 為例，來看一下代理的設置方法，代碼如下：

運行結果如下：

這里我們需要藉助 ProxyHandler 設置代理，參數是字典類型，鍵名為協議類型，鍵值是代理。注意，此處代理前面需要加上協議，即 http:// 或者 https://，當請求的鏈接是 HTTP 協議的時候，會使用 http 鍵名對應的代理，當請求的鏈接是 HTTPS 協議的時候，會使用 https 鍵名對應的代理。不過這里我們把代理本身設置為了 HTTP 協議，即前綴統一設置為了 http://，所以不論訪問 HTTP 還是 HTTPS 協議的鏈接，都會使用我們配置的 HTTP 協議的代理進行請求。

創建完 ProxyHandler 對象之後，我們需要利用 build_opener 方法傳入該對象來創建一個 Opener，這樣就相當於此 Opener 已經設置好代理了。接下來直接調用 Opener 對象的 open 方法，即可訪問我們所想要的鏈接。

運行輸出結果是一個 JSON，它有一個欄位 origin，標明了客戶端的 IP。驗證一下，此處的 IP 確實為代理的 IP，並不是真實的 IP。這樣我們就成功設置好代理，並可以隱藏真實 IP 了。

如果遇到需要認證的代理，我們可以用如下的方法設置：

這里改變的只是 proxy 變數，只需要在代理前面加入代理認證的用戶名密碼即可，其中 username 就是用戶名，password 為密碼，例如 username 為 foo，密碼為 bar，那麼代理就是 foo:[email protected]:7890。

如果代理是 SOCKS5 類型，那麼可以用如下方式設置代理：

此處需要一個 socks 模塊，可以通過如下命令安裝：

這里需要本地運行一個 SOCKS5 代理，運行在 7891 埠，運行成功之後和上文 HTTP 代理輸出結果是一樣的：

結果的 origin 欄位同樣為代理的 IP，代理設置成功。

對於 requests 來說，代理設置非常簡單，我們只需要傳入 proxies 參數即可。

這里以我本機的代理為例，來看下 requests 的 HTTP 代理設置，代碼如下：

運行結果如下：

和 urllib 一樣，當請求的鏈接是 HTTP 協議的時候，會使用 http 鍵名對應的代理，當請求的鏈接是 HTTPS 協議的時候，會使用 https 鍵名對應的代理，不過這里統一使用了 HTTP 協議的代理。

運行結果中的 origin 若是代理伺服器的 IP，則證明代理已經設置成功。

如果代理需要認證，那麼在代理的前面加上用戶名和密碼即可，代理的寫法就變成如下所示：

這里只需要將 username 和 password 替換即可。

如果需要使用 SOCKS 代理，則可以使用如下方式來設置：

這里我們需要額外安裝一個包 requests[socks]，相關命令如下所示：

運行結果是完全相同的：

另外，還有一種設置方式，即使用 socks 模塊，也需要像上文一樣安裝 socks 庫。這種設置方法如下所示：

使用這種方法也可以設置 SOCKS 代理，運行結果完全相同。相比第一種方法，此方法是全局設置的。我們可以在不同情況下選用不同的方法。

httpx 的用法本身就與 requests 的使用非常相似，所以其也是通過 proxies 參數來設置代理的，不過與 requests 不同的是，proxies 參數的鍵名不能再是 http 或 https，而需要更改為 http:// 或 https://，其他的設置是一樣的。

對於 HTTP 代理來說，設置方法如下：

對於需要認證的代理，也是改下 proxy 的值即可：

這里只需要將 username 和 password 替換即可。

運行結果和使用 requests 是類似的，結果如下：

對於 SOCKS 代理，我們需要安裝 httpx-socks 庫，安裝方法如下：

這樣會同時安裝同步和非同步兩種模式的支持。

對於同步模式，設置方法如下：

對於非同步模式，設置方法如下：

和同步模式不同的是，transport 對象我們用的是 AsyncProxyTransport 而不是 SyncProxyTransport，同時需要將 Client 對象更改為 AsyncClient 對象，其他的不變，運行結果是一樣的。

Selenium 同樣可以設置代理，這里以 Chrome 為例來介紹其設置方法。

對於無認證的代理，設置方法如下：

運行結果如下：

代理設置成功，origin 同樣為代理 IP 的地址。

如果代理是認證代理，則設置方法相對比較繁瑣，具體如下所示：

這里需要在本地創建一個 manifest.json 配置文件和 background.js 腳本來設置認證代理。運行代碼之後，本地會生成一個 proxy_auth_plugin.zip 文件來保存當前配置。

運行結果和上例一致，origin 同樣為代理 IP。

SOCKS 代理的設置也比較簡單，把對應的協議修改為 socks5 即可，如無密碼認證的代理設置方法為：

運行結果是一樣的。

對於 aiohttp 來說，我們可以通過 proxy 參數直接設置。HTTP 代理設置如下：

如果代理有用戶名和密碼，像 requests 一樣，把 proxy 修改為如下內容：

這里只需要將 username 和 password 替換即可。

對於 SOCKS 代理，我們需要安裝一個支持庫 aiohttp-socks，其安裝命令如下：

我們可以藉助於這個庫的 ProxyConnector 來設置 SOCKS 代理，其代碼如下：

運行結果是一樣的。

另外，這個庫還支持設置 SOCKS4、HTTP 代理以及對應的代理認證，可以參考其官方介紹。

對於 Pyppeteer 來說，由於其默認使用的是類似 Chrome 的 Chromium 瀏覽器，因此其設置方法和 Selenium 的 Chrome 一樣，如 HTTP 無認證代理設置方法都是通過 args 來設置的，實現如下：

運行結果如下：

同樣可以看到設置成功。

SOCKS 代理也一樣，只需要將協議修改為 socks5 即可，代碼實現如下：

運行結果也是一樣的。

相對 Selenium 和 Pyppeteer 來說，Playwright 的代理設置更加方便，其預留了一個 proxy 參數，可以在啟動 Playwright 的時候設置。

對於 HTTP 代理來說，可以這樣設置：

在調用 launch 方法的時候，我們可以傳一個 proxy 參數，是一個字典。字典有一個必填的欄位叫做 server，這里我們可以直接填寫 HTTP 代理的地址即可。

運行結果如下：

對於 SOCKS 代理，設置方法也是完全一樣的，我們只需要把 server 欄位的值換成 SOCKS 代理的地址即可：

運行結果和剛才也是完全一樣的。

對於有用戶名和密碼的代理，Playwright 的設置也非常簡單，我們只需要在 proxy 參數額外設置 username 和 password 欄位即可，假如用戶名和密碼分別是 foo 和 bar，則設置方法如下：

這樣我們就能非常方便地為 Playwright 實現認證代理的設置。

以上我們就總結了各個請求庫的代理使用方式，各種庫的設置方法大同小異，學會了這些方法之後，以後如果遇到封 IP 的問題，我們可以輕鬆通過加代理的方式來解決。

本節代碼：https://github.com/Python3WebSpider/ProxyTest

④ python3 開發環境配置

安裝pip
第一步： curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
第二步： sudo python3 get-pip.py
第三部：終端輸入 pip 校驗

安裝tkinter
第一步： brew install [email protected]
第二步： brew install tcl-tk
第三部： python -m tkinter

⑤ 《Python3程序開發指南》pdf下載在線閱讀，求百度網盤雲資源

《Python 3程序開發指南》（（美）薩默菲爾德）電子書網盤下載免費在線閱讀

鏈接：https://pan..com/s/114llclA8smCvgVhZD54jaw

書名：Python 3程序開發指南

作者：（美）薩默菲爾德

譯者：王弘博

豆瓣評分：6.4

出版社：人民郵電出版社

出版年份：2011-2-1

頁數：618

內容簡介：

編輯推薦

在本書中，一流的Python程序員Mark Summerfield展示了如何充分利用Python 3的功能與特性來編寫代碼。與以前的版本相比。Python 3功能更強大，使用更方便，語法更一致，表達能力更豐富。本書將編寫程序、使用標准或第三方Python 3庫、創建新的專用庫模塊所必需的所有相關知識整合到了一起。

作為一名具有多年Python使用經驗的程序員，Summerfield在本書中為讀者深度分析與講解了從其他途徑無法獲取的Python3使用與開發技術。Summerfield從Python的「優美核心（beautiful heart）」（即編寫高健壯性、高性能程序的8個關鍵要素）開始進行講解，並以這些關鍵要素為基礎，介紹了有助於增強程序開發實用技能的新主題，每個主題都包含其概念和多個操作實例。

作者簡介：

Mark Summerfield，Qtrac公司的所有人，同時還是一位在Python、C++、Qt以及PyQt等領域卓有專長的獨立培訓專家、顧問、技術編輯與作者。Mark Summerfield撰寫的書籍包括《Rapid GUI Programming with Python》以及《Qt：The Definitive Guideto PyQt Programming》（Addison—Wesley，2008），並與Jasmin Blanchette共同編寫了《C++GUI Programming with Qt 4》（Addison—Wesley，2006）。作為Trolltech的文檔管理者，Mark創立了並負責編輯Trolltech的技術雜志《Qt Quarterly》。

⑥ python3中使用urllib進行https請求

剛入門python學習網路爬蟲基礎，我使用的python版本是python3.6.4，學習的教程參考 Python爬蟲入門教程

python3.6的版本已經沒有urllib2這個庫了，所以我也不需要糾結urllib和urllib2的區別和應用場景

參考這篇官方文檔 HOWTO Fetch Internet Resources Using The urllib Package 。關於http(s)請求一般就get和post兩種方式較為常用，所以寫了以下兩個小demo，url鏈接隨便找的，具體場景具體變化，可參考注釋中的基本思路

POST請求：

GET請求：

注意，
使用ssl創建未經驗證的上下文，在urlopen中需傳入上下文參數
urllib.request.urlopen(full_url, context=context)
這是Python 升級到 2.7.9 之後引入的一個新特性，所以在使用urlopen打開https鏈接會遇到如下報錯：
ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:777)
所以，當使用urllib.urlopen打開一個 https 鏈接時，需要先驗證一次 SSL 證書
context = ssl._create_unverified_context()
或者或者導入ssl時關閉證書驗證
ssl._create_default_https_context =ssl._create_unverified_context

⑦ Centos 7安裝python3

純傻瓜式步驟，保證成功。

下面的操作，按照步驟來就可以了，不要在中途cd 到別的文件目錄下，要想查看效果可以用 ls加上對應的目錄，不需要切換進去。

首先不管你當前在哪個目錄下，輸入以下命令。

默認Centos7中是有python安裝的，但是是2.7版本，我們需要安裝py3。我們去看一下默認的py2.7在哪裡。

三個顯示結果中最後一個是python2.7，實際上這幾個文件之間是有依賴關系的。在ls 後面加個 -al參數，如下：

[root@localhost bin]# ls -al python*

lrwxrwxrwx. 1 root root 33 Oct 21 12:30 python -> python2

lrwxrwxrwx. 1 root root 9 Oct 19 23:55 python2 -> python2.7

-rwxr-xr-x. 1 root root 7136 Aug 4 08:40 python2.7

[root@localhost bin]#

依賴關系很明顯就可以看到。我們要安裝版本3，首先要把剛才顯示的三個python文件中的第一個python給備份一下（不保留源文件，僅保留備份文件就可以）

使用如下命令：

python文件變成了python.bak文件，bak文件就放這里吧，再也不用管它了。避免以後麻煩，就留在這里不用刪除。系統准備好了，接下來，我們要去下載了。

比較推薦下面這種方式，我們在linux上找一個目錄，然後使用wget命令下載到這個目錄，然後解壓->安裝。如下：

https://www.python.org/ftp/python/ 這個是所有的python版本存放的地方。我們想使用哪個版本就用哪個。

很多版本，這里選擇的是比較新的3.6.3，點進去，找到下面這個文件。Python-3.6.3.tgz

然後根據地址欄的鏈接拼接成如下鏈接：（如果是其他版本道理與這個是一樣的）

https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tgz

鏈接准備好了，我們在Centos 7上創建一個目錄吧。一般選擇的是/usr/local裡面的，如下命令（當前我們依然還在之前的/usr/bin目錄下面，先不要動，還在這里）：

目錄創建好了，我們就cd切換進去就好了。

接下來我們要用剛才的網址，把源碼下載到這個目錄下就OK，命令如下：

等待下載完成之後會在當前目錄下出現一個tgz包，命令解壓這個包到當前目錄就可以：

就要開始安裝了，因為下載的包是未編譯的，我們需要編譯一下。

進入文件目錄：

然後如下命令（執行完這句命令之後，不要切換到別的目錄，不然會非常懵逼，因為執行完之後如果去/usr/local/下面的看的話是沒有python3Dir目錄的）：

稍微解釋上面這句命令，這句話的大致目的就是把python的安裝目錄指定一下，這樣的話，裡面的一些bin目錄、lib目錄就都會存放在這個目錄下面。如果不指定這個安裝目錄的話，最後python的安裝文件將分散到linux的默認目錄，不在一塊。我們指定安裝目錄，以後卸載的話直接刪除目錄就可以干凈卸載了。

現在我們當前目錄還是在/usr/local/python3/Python-3.6.3，執行如下命令：

然後出來一大堆代碼，等它執行完畢。接著輸入以下命令：

又是一大堆代碼，執行完畢之後，我們就可以切換到/usr/local/python3Dir目錄下去查看了。

接下來我們還有一點善後工作。切換到 /usr/bin目錄下面吧：

軟鏈接創建完畢之後。再說個事情，就是centos的yum命令是需要python支持的，我們貿然把當期的版本更換了，萬一yum出錯怎麼辦，還是讓yum依然用原來的2.7版本吧。好吧我們幫它改一下吧：

注意：下面這個操作用vi操作，不熟悉vi的同學 一定要按照我的指示來 ，不然你一臉懵逼連修改後的文件怎麼保存退出都不知道。

首先輸入命令，然後回車：

接下來出現一個全新的界面。 此時任何按鍵都不要動。聽我指示。

首先，切換到 英文 輸入法，再輸入字元 i 是aeiou的i

然後就可以開始編輯這個文件了。

把文件開頭第一行的

#!/usr/bin/python改成#!/usr/bin/python2.7 這樣就可以了。

然後，下面保存退出。注意步驟。

首先按下ESC，然後 輸入： 這個符號（需要shift組合鍵的）。然後輸入wq 細心的同學看左下角。

然後回車就可以保存退出，回到終端界面了。

我們查看一下鏈接情況：

然後查看一下當前的python版本

然後來個hello world測試一下:

先輸入python進入，然後寫代碼：

以上就是安裝的全部過程，現在來捋一下安裝的大致思路。

⑧ python3中https urlopen()報錯的解決方法

這個錯誤是因為Python 2.7.9 之後引入了一個新特性，當你使用urllib.urlopen一個 https 的時候會驗證一次 SSL證書。當目標使用的是自簽名的證書時就會報urllib.error.URLError錯誤。解決方法如下：

import urllib.request

import ssl

ssl._create_default_https_context = ssl._create_unverified_context

response = urllib.request.urlopen('https://www.python.org')

print(response.read().decode('utf-8'))

通過導入ssl模塊把證書驗證改成不用驗證就行了。

⑨ python3下檢查ssl證書過期時間（續）

我之前寫過一個腳本用於實現檢查ssl證書並郵件通知的功能：
python3下檢查ssl證書過期時間並郵件通知

但是在使用過程中，我發現了一個問題： 證書過期時間不準 。這種說法可能不是很准確，確切地說是：如果在一級域名下配置了子域名證書，且不同級證書過期時間不同，則之前的腳本可能會檢查到一級域名的過期時間，並不會返回子域名證書過期時間，如此便會出現過期時間不準的情況。

於是我在網上找到一個可用的腳本（python3.6.5下親測有效），鏈接如下：
https://gist.github.com/gdamjan/?tdsourcetag=s_pctim_aiomsg

腳本具體內容我這里也貼一下,可按實際需求進行修改，使用前務必注意安裝相關模塊：