python3https

① 《笨办法学python3》pdf下载在线阅读，求百度网盘云资源

《“笨办法”学Python 3：进阶篇》（[美] 泽德·A.肖）电子书网盘下载免费在线阅读

资源链接：

链接：https://pan..com/s/1uWc9_D0W8DURcjwlgYA7Eg

书名：“笨办法”学Python 3：进阶篇

作者：[美] 泽德·A.肖

译者：王巍巍

出版社：人民邮电出版社

出版年份：2020-6

页数：202

内容简介：

本书是《“笨办法”学Python 3》一书的进阶篇，《“笨办法”学Python 3》介绍了用Python 3编程的基础知识，而本书则通过52个精心设计的习题帮助读者超越基础，提升水平。这52个习题大部分都结合实际演示，并配有附加挑战，每个习题都可以帮读者掌握一项关键的实践技能，包括使用文本编辑器管理复杂的项目、利用功能强大的数据结构、应用算法处理数据结构、掌握必要的文本分析和处理技术、使用SQL有效且合逻辑地建模存储数据，以及学习强大的命令行工具等。本书旨在帮助读者从单纯地编写能运行的代码跨越到编写能解决实际问题的高质量Python代码，成为一名高阶的Python程序员。

本书适合所有已经开始使用Python的技术人员，包括初级开发人员和已经升级到Python 3.6版本以上的经验丰富的Python程序员。

作者简介：

泽德·A. 肖（Zed A.Shaw） 是《“笨办法”学Python（第3版）》《“笨办法”学Python 3》《“笨办法”学Ruby（第3版）》《“笨办法”学C语言》等多本备受欢迎的技术书的作者，他的书在全世界有数百万读者。他还是诸多开源项目的创建者，拥有近20年的编程和写作经验。他大部分空闲时间致力于绘画和艺术史的研究。

② python3 获取title的编写

水平有限，不会造轮子，只为学习。

在原来写端口扫描的基础上进一步爬取web服务的title信息，方便收集信息。
适用于在外网收集资产形成IP字典后去批量获取title，意在最快地寻找脆弱点。
自行安装BeautifulSoup4、requests库。
V1.0
python3 写的单线程爬取web系统的title信息。
注解
1.使用BeautifulSoup4库来解析HTML，爬取title信息；
2.打印title时，带有颜色的输出；
3.在开放443、4433、8443端口时，采用https进行访问；
4.解决SSL认证问题；

V1.0.1
python3 单线程写的爬取网站title信息。增加了OptionParser模块，运行时看起来比较舒服。
注解
1.依然是从IP字典里爬取，实际运行脚本时，即使没有获取title，也应该手动访问开放的端口，往往有意外惊喜；
2.端口内置在脚本里，可自行修改；

V1.1
python3写的多线程爬取web系统的title。
注解
1.只是使用threading模块，没有添加到队列，也没有加锁；本身port_list也不多；

V1.2
python3 写的多线程加队列的来爬取web系统的title信息。
注解
1.增加了queue队列，和多线程配合使用。更加实用；

V1.3
python3 写的多线程加队列的来爬取web系统的title信息。
增加result输出结果到文本，适应于内外网端口扫描并获取title

python3 编写扫描IP网段如192.168.1.0/24某些指定应用端口爬取title信息。 在代理进行内网渗透时内网资产不容易找到。
适用于内网、外网环境。
自行安装BeautifulSoup4、requests库。
V2.0
python3写的扫描IP段并爬取title信息，收集资产。
注解
1.使用ipaddress模块获取C段地址，也可以是B段；
2.只使用threading模块，没有添加队列queue；

V2.1
python3 写的多线程扫描IP段爬取title。在一定线程下，代理探测内网资产title的非常使用。
注解
1.port_list列表移动到scan方法里；
2.将IP添加到queue队列，而不是端口；

V2.2
python3 写的多线程扫描IP段爬取title。
注解
1.只是增加了result_out方法，将结果输出到指定文件；

https://github.com/aedoo/WebServiceScanner/blob/master/webservicescanner.py

③ “2022 年”崔庆才 Python3 爬虫教程 - 代理的使用方法

前面我们介绍了多种请求库，如 urllib、requests、Selenium、Playwright 等用法，但是没有统一梳理代理的设置方法，本节我们来针对这些库来梳理下代理的设置方法。

在本节开始之前，请先根据上一节了解一下代理的基本原理，了解了基本原理之后我们可以更好地理解和学习本节的内容。

另外我们需要先获取一个可用代理，代理就是 IP 地址和端口的组合，就是 : 这样的格式。如果代理需要访问认证，那就还需要额外的用户名密码两个信息。

那怎么获取一个可用代理呢？

使用搜索引擎搜索 “代理” 关键字，可以看到许多代理服务网站，网站上会有很多免费或付费代理，比如快代理的免费 HTTP 代理：https://www.kuaidaili.com/free/ 上面就写了很多免费代理，但是这些免费代理大多数情况下并不一定稳定，所以比较靠谱的方法是购买付费代理。付费代理的各大代理商家都有套餐，数量不用多，稳定可用即可，我们可以自行选购。

另外除了购买付费 HTTP 代理，我们也可以在本机配置一些代理软件，具体的配置方法可以参考 https://setup.scrape.center/proxy-client，软件运行之后会在本机创建 HTTP 或 SOCKS 代理服务，所以代理地址一般都是 127.0.0.1: 这样的格式，不同的软件用的端口可能不同。

这里我的本机安装了一部代理软件，它会在本地 7890 端口上创建 HTTP 代理服务，即代理为 127.0.0.1:7890。另外，该软件还会在 7891 端口上创建 SOCKS 代理服务，即代理为 127.0.0.1:7891，所以只要设置了这个代理，就可以成功将本机 IP 切换到代理软件连接的服务器的 IP 了。

在本章下面的示例里，我使用上述代理来演示其设置方法，你也可以自行替换成自己的可用代理。

设置代理后，测试的网址是 http://httpbin.org/get，访问该链接我们可以得到请求的相关信息，其中返回结果的 origin 字段就是客户端的 IP，我们可以根据它来判断代理是否设置成功，即是否成功伪装了 IP。

好，接下来我们就来看下各个请求库的代理设置方法吧。

首先我们以最基础的 urllib 为例，来看一下代理的设置方法，代码如下：

运行结果如下：

这里我们需要借助 ProxyHandler 设置代理，参数是字典类型，键名为协议类型，键值是代理。注意，此处代理前面需要加上协议，即 http:// 或者 https://，当请求的链接是 HTTP 协议的时候，会使用 http 键名对应的代理，当请求的链接是 HTTPS 协议的时候，会使用 https 键名对应的代理。不过这里我们把代理本身设置为了 HTTP 协议，即前缀统一设置为了 http://，所以不论访问 HTTP 还是 HTTPS 协议的链接，都会使用我们配置的 HTTP 协议的代理进行请求。

创建完 ProxyHandler 对象之后，我们需要利用 build_opener 方法传入该对象来创建一个 Opener，这样就相当于此 Opener 已经设置好代理了。接下来直接调用 Opener 对象的 open 方法，即可访问我们所想要的链接。

运行输出结果是一个 JSON，它有一个字段 origin，标明了客户端的 IP。验证一下，此处的 IP 确实为代理的 IP，并不是真实的 IP。这样我们就成功设置好代理，并可以隐藏真实 IP 了。

如果遇到需要认证的代理，我们可以用如下的方法设置：

这里改变的只是 proxy 变量，只需要在代理前面加入代理认证的用户名密码即可，其中 username 就是用户名，password 为密码，例如 username 为 foo，密码为 bar，那么代理就是 foo:[email protected]:7890。

如果代理是 SOCKS5 类型，那么可以用如下方式设置代理：

此处需要一个 socks 模块，可以通过如下命令安装：

这里需要本地运行一个 SOCKS5 代理，运行在 7891 端口，运行成功之后和上文 HTTP 代理输出结果是一样的：

结果的 origin 字段同样为代理的 IP，代理设置成功。

对于 requests 来说，代理设置非常简单，我们只需要传入 proxies 参数即可。

这里以我本机的代理为例，来看下 requests 的 HTTP 代理设置，代码如下：

运行结果如下：

和 urllib 一样，当请求的链接是 HTTP 协议的时候，会使用 http 键名对应的代理，当请求的链接是 HTTPS 协议的时候，会使用 https 键名对应的代理，不过这里统一使用了 HTTP 协议的代理。

运行结果中的 origin 若是代理服务器的 IP，则证明代理已经设置成功。

如果代理需要认证，那么在代理的前面加上用户名和密码即可，代理的写法就变成如下所示：

这里只需要将 username 和 password 替换即可。

如果需要使用 SOCKS 代理，则可以使用如下方式来设置：

这里我们需要额外安装一个包 requests[socks]，相关命令如下所示：

运行结果是完全相同的：

另外，还有一种设置方式，即使用 socks 模块，也需要像上文一样安装 socks 库。这种设置方法如下所示：

使用这种方法也可以设置 SOCKS 代理，运行结果完全相同。相比第一种方法，此方法是全局设置的。我们可以在不同情况下选用不同的方法。

httpx 的用法本身就与 requests 的使用非常相似，所以其也是通过 proxies 参数来设置代理的，不过与 requests 不同的是，proxies 参数的键名不能再是 http 或 https，而需要更改为 http:// 或 https://，其他的设置是一样的。

对于 HTTP 代理来说，设置方法如下：

对于需要认证的代理，也是改下 proxy 的值即可：

这里只需要将 username 和 password 替换即可。

运行结果和使用 requests 是类似的，结果如下：

对于 SOCKS 代理，我们需要安装 httpx-socks 库，安装方法如下：

这样会同时安装同步和异步两种模式的支持。

对于同步模式，设置方法如下：

对于异步模式，设置方法如下：

和同步模式不同的是，transport 对象我们用的是 AsyncProxyTransport 而不是 SyncProxyTransport，同时需要将 Client 对象更改为 AsyncClient 对象，其他的不变，运行结果是一样的。

Selenium 同样可以设置代理，这里以 Chrome 为例来介绍其设置方法。

对于无认证的代理，设置方法如下：

运行结果如下：

代理设置成功，origin 同样为代理 IP 的地址。

如果代理是认证代理，则设置方法相对比较繁琐，具体如下所示：

这里需要在本地创建一个 manifest.json 配置文件和 background.js 脚本来设置认证代理。运行代码之后，本地会生成一个 proxy_auth_plugin.zip 文件来保存当前配置。

运行结果和上例一致，origin 同样为代理 IP。

SOCKS 代理的设置也比较简单，把对应的协议修改为 socks5 即可，如无密码认证的代理设置方法为：

运行结果是一样的。

对于 aiohttp 来说，我们可以通过 proxy 参数直接设置。HTTP 代理设置如下：

如果代理有用户名和密码，像 requests 一样，把 proxy 修改为如下内容：

这里只需要将 username 和 password 替换即可。

对于 SOCKS 代理，我们需要安装一个支持库 aiohttp-socks，其安装命令如下：

我们可以借助于这个库的 ProxyConnector 来设置 SOCKS 代理，其代码如下：

运行结果是一样的。

另外，这个库还支持设置 SOCKS4、HTTP 代理以及对应的代理认证，可以参考其官方介绍。

对于 Pyppeteer 来说，由于其默认使用的是类似 Chrome 的 Chromium 浏览器，因此其设置方法和 Selenium 的 Chrome 一样，如 HTTP 无认证代理设置方法都是通过 args 来设置的，实现如下：

运行结果如下：

同样可以看到设置成功。

SOCKS 代理也一样，只需要将协议修改为 socks5 即可，代码实现如下：

运行结果也是一样的。

相对 Selenium 和 Pyppeteer 来说，Playwright 的代理设置更加方便，其预留了一个 proxy 参数，可以在启动 Playwright 的时候设置。

对于 HTTP 代理来说，可以这样设置：

在调用 launch 方法的时候，我们可以传一个 proxy 参数，是一个字典。字典有一个必填的字段叫做 server，这里我们可以直接填写 HTTP 代理的地址即可。

运行结果如下：

对于 SOCKS 代理，设置方法也是完全一样的，我们只需要把 server 字段的值换成 SOCKS 代理的地址即可：

运行结果和刚才也是完全一样的。

对于有用户名和密码的代理，Playwright 的设置也非常简单，我们只需要在 proxy 参数额外设置 username 和 password 字段即可，假如用户名和密码分别是 foo 和 bar，则设置方法如下：

这样我们就能非常方便地为 Playwright 实现认证代理的设置。

以上我们就总结了各个请求库的代理使用方式，各种库的设置方法大同小异，学会了这些方法之后，以后如果遇到封 IP 的问题，我们可以轻松通过加代理的方式来解决。

本节代码：https://github.com/Python3WebSpider/ProxyTest

④ python3 开发环境配置

安装pip
第一步： curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
第二步： sudo python3 get-pip.py
第三部：终端输入 pip 校验

安装tkinter
第一步： brew install [email protected]
第二步： brew install tcl-tk
第三部： python -m tkinter

⑤ 《Python3程序开发指南》pdf下载在线阅读，求百度网盘云资源

《Python 3程序开发指南》（（美）萨默菲尔德）电子书网盘下载免费在线阅读

链接：https://pan..com/s/114llclA8smCvgVhZD54jaw

书名：Python 3程序开发指南

作者：（美）萨默菲尔德

译者：王弘博

豆瓣评分：6.4

出版社：人民邮电出版社

出版年份：2011-2-1

页数：618

内容简介：

编辑推荐

在本书中，一流的Python程序员Mark Summerfield展示了如何充分利用Python 3的功能与特性来编写代码。与以前的版本相比。Python 3功能更强大，使用更方便，语法更一致，表达能力更丰富。本书将编写程序、使用标准或第三方Python 3库、创建新的专用库模块所必需的所有相关知识整合到了一起。

作为一名具有多年Python使用经验的程序员，Summerfield在本书中为读者深度分析与讲解了从其他途径无法获取的Python3使用与开发技术。Summerfield从Python的“优美核心（beautiful heart）”（即编写高健壮性、高性能程序的8个关键要素）开始进行讲解，并以这些关键要素为基础，介绍了有助于增强程序开发实用技能的新主题，每个主题都包含其概念和多个操作实例。

作者简介：

Mark Summerfield，Qtrac公司的所有人，同时还是一位在Python、C++、Qt以及PyQt等领域卓有专长的独立培训专家、顾问、技术编辑与作者。Mark Summerfield撰写的书籍包括《Rapid GUI Programming with Python》以及《Qt：The Definitive Guideto PyQt Programming》（Addison—Wesley，2008），并与Jasmin Blanchette共同编写了《C++GUI Programming with Qt 4》（Addison—Wesley，2006）。作为Trolltech的文档管理者，Mark创立了并负责编辑Trolltech的技术杂志《Qt Quarterly》。

⑥ python3中使用urllib进行https请求

刚入门python学习网络爬虫基础，我使用的python版本是python3.6.4，学习的教程参考 Python爬虫入门教程

python3.6的版本已经没有urllib2这个库了，所以我也不需要纠结urllib和urllib2的区别和应用场景

参考这篇官方文档 HOWTO Fetch Internet Resources Using The urllib Package 。关于http(s)请求一般就get和post两种方式较为常用，所以写了以下两个小demo，url链接随便找的，具体场景具体变化，可参考注释中的基本思路

POST请求：

GET请求：

注意，
使用ssl创建未经验证的上下文，在urlopen中需传入上下文参数
urllib.request.urlopen(full_url, context=context)
这是Python 升级到 2.7.9 之后引入的一个新特性，所以在使用urlopen打开https链接会遇到如下报错：
ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:777)
所以，当使用urllib.urlopen打开一个 https 链接时，需要先验证一次 SSL 证书
context = ssl._create_unverified_context()
或者或者导入ssl时关闭证书验证
ssl._create_default_https_context =ssl._create_unverified_context

⑦ Centos 7安装python3

纯傻瓜式步骤，保证成功。

下面的操作，按照步骤来就可以了，不要在中途cd 到别的文件目录下，要想查看效果可以用 ls加上对应的目录，不需要切换进去。

首先不管你当前在哪个目录下，输入以下命令。

默认Centos7中是有python安装的，但是是2.7版本，我们需要安装py3。我们去看一下默认的py2.7在哪里。

三个显示结果中最后一个是python2.7，实际上这几个文件之间是有依赖关系的。在ls 后面加个 -al参数，如下：

[root@localhost bin]# ls -al python*

lrwxrwxrwx. 1 root root 33 Oct 21 12:30 python -> python2

lrwxrwxrwx. 1 root root 9 Oct 19 23:55 python2 -> python2.7

-rwxr-xr-x. 1 root root 7136 Aug 4 08:40 python2.7

[root@localhost bin]#

依赖关系很明显就可以看到。我们要安装版本3，首先要把刚才显示的三个python文件中的第一个python给备份一下（不保留源文件，仅保留备份文件就可以）

使用如下命令：

python文件变成了python.bak文件，bak文件就放这里吧，再也不用管它了。避免以后麻烦，就留在这里不用删除。系统准备好了，接下来，我们要去下载了。

比较推荐下面这种方式，我们在linux上找一个目录，然后使用wget命令下载到这个目录，然后解压->安装。如下：

https://www.python.org/ftp/python/ 这个是所有的python版本存放的地方。我们想使用哪个版本就用哪个。

很多版本，这里选择的是比较新的3.6.3，点进去，找到下面这个文件。Python-3.6.3.tgz

然后根据地址栏的链接拼接成如下链接：（如果是其他版本道理与这个是一样的）

https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tgz

链接准备好了，我们在Centos 7上创建一个目录吧。一般选择的是/usr/local里面的，如下命令（当前我们依然还在之前的/usr/bin目录下面，先不要动，还在这里）：

目录创建好了，我们就cd切换进去就好了。

接下来我们要用刚才的网址，把源码下载到这个目录下就OK，命令如下：

等待下载完成之后会在当前目录下出现一个tgz包，命令解压这个包到当前目录就可以：

就要开始安装了，因为下载的包是未编译的，我们需要编译一下。

进入文件目录：

然后如下命令（执行完这句命令之后，不要切换到别的目录，不然会非常懵逼，因为执行完之后如果去/usr/local/下面的看的话是没有python3Dir目录的）：

稍微解释上面这句命令，这句话的大致目的就是把python的安装目录指定一下，这样的话，里面的一些bin目录、lib目录就都会存放在这个目录下面。如果不指定这个安装目录的话，最后python的安装文件将分散到linux的默认目录，不在一块。我们指定安装目录，以后卸载的话直接删除目录就可以干净卸载了。

现在我们当前目录还是在/usr/local/python3/Python-3.6.3，执行如下命令：

然后出来一大堆代码，等它执行完毕。接着输入以下命令：

又是一大堆代码，执行完毕之后，我们就可以切换到/usr/local/python3Dir目录下去查看了。

接下来我们还有一点善后工作。切换到 /usr/bin目录下面吧：

软链接创建完毕之后。再说个事情，就是centos的yum命令是需要python支持的，我们贸然把当期的版本更换了，万一yum出错怎么办，还是让yum依然用原来的2.7版本吧。好吧我们帮它改一下吧：

注意：下面这个操作用vi操作，不熟悉vi的同学 一定要按照我的指示来 ，不然你一脸懵逼连修改后的文件怎么保存退出都不知道。

首先输入命令，然后回车：

接下来出现一个全新的界面。 此时任何按键都不要动。听我指示。

首先，切换到 英文 输入法，再输入字符 i 是aeiou的i

然后就可以开始编辑这个文件了。

把文件开头第一行的

#!/usr/bin/python改成#!/usr/bin/python2.7 这样就可以了。

然后，下面保存退出。注意步骤。

首先按下ESC，然后 输入： 这个符号（需要shift组合键的）。然后输入wq 细心的同学看左下角。

然后回车就可以保存退出，回到终端界面了。

我们查看一下链接情况：

然后查看一下当前的python版本

然后来个hello world测试一下:

先输入python进入，然后写代码：

以上就是安装的全部过程，现在来捋一下安装的大致思路。

⑧ python3中https urlopen()报错的解决方法

这个错误是因为Python 2.7.9 之后引入了一个新特性，当你使用urllib.urlopen一个 https 的时候会验证一次 SSL证书。当目标使用的是自签名的证书时就会报urllib.error.URLError错误。解决方法如下：

import urllib.request

import ssl

ssl._create_default_https_context = ssl._create_unverified_context

response = urllib.request.urlopen('https://www.python.org')

print(response.read().decode('utf-8'))

通过导入ssl模块把证书验证改成不用验证就行了。

⑨ python3下检查ssl证书过期时间（续）

我之前写过一个脚本用于实现检查ssl证书并邮件通知的功能：
python3下检查ssl证书过期时间并邮件通知

但是在使用过程中，我发现了一个问题： 证书过期时间不准 。这种说法可能不是很准确，确切地说是：如果在一级域名下配置了子域名证书，且不同级证书过期时间不同，则之前的脚本可能会检查到一级域名的过期时间，并不会返回子域名证书过期时间，如此便会出现过期时间不准的情况。

于是我在网上找到一个可用的脚本（python3.6.5下亲测有效），链接如下：
https://gist.github.com/gdamjan/?tdsourcetag=s_pctim_aiomsg

脚本具体内容我这里也贴一下,可按实际需求进行修改，使用前务必注意安装相关模块：