python设置超时时间

1. 怎么设置python requests的超时时间

方法里有timeout参数，单位是秒：
requests.get(timeout=60)

如果解决了您的问题请采纳！
如果未解决请继续追问！

2. 全方面的掌握Requests库的使用【python爬虫入门进阶】（02）

上一篇文章简单的介绍了 爬虫相关的基础知识点，介绍了一个标准爬虫程序的三个步骤 。这篇文章就让我们接着来学习。
本文重点介绍requests库的使用以及爬虫协议。之前也写了一篇 Requests库使用的博客 ，有兴趣的小伙伴可以去看看。

前面介绍了Requests库是用来抓取网页源码，请求接口的利器，整体上是要比urllib库的request更加好用的库。官网上将其称之为唯一一个非转基因的Python HTTP库，人类可以安全享用。
Requests库有7个主要方法。

不过我们平常最常用的方法还是GET方法和POST方法。

get请求方法是爬虫中最常用到的方法，因为爬虫主要就是爬取网页的信息。最基础的使用是

这里需要通过 res.encoding='utf-8' 设置响应结果的编码格式是utf-8。不然可能会出现中文乱码
如果响应结果是二进制数据的话则需要通过 res.content 方法来提取响应结果。
设置编码的方式也可以是 res.content.decode('utf-8') 。
即

有时候get请求也需要传入参数，这里可以直接将参数拼接到URL上或者通过params参数传入一个字典。

运行结果是：

get请求只能传入简单的参数，如果参数比较复杂或者传入的参数比较多的话则GET请求就不再适用了，这时候就需要适用post请求方法了。
Post请求的请求类型有三种：

以表单的方式提交数据是POST请求的默认的请求格式，只需要将参数放在一个字典中进行传入即可。

这里将请求头的数据放在一个名为header的字典中，然后在请求时通过headers参数传入。在请求中设置了内容类型是 application/json ,编码格式是 charset=utf-8
传入的是一个json字符串，通过data参数进行传入。json字符串可以直接写也可以通过 json.mps(dict) 方法将一个字典序列化,就像下面这样。

文件上传与本节爬虫的内容无关，在此就不过多介绍了。有兴趣的小伙伴可以看看 Python中如何编写接口，以及如何请求外部接口 这篇文章。

在网络请求中，我们常常会遇到状态码是3开头的重定向问题，在Requests中是默认开启允许重定向的，即遇到重定向时，会自动继续访问。通过将allow_redirects 属性设置为False不允许重定向。

通过timeout属性可以设置超时时间，单位是秒。get方法和post方法均可设置。

通过status_code属性可以获取接口的响应码。

有时候我们使用了抓包工具，这时候由于抓包证书提供的证书并不是受信任的数字证书颁发机构颁发的，所以证书的验证会失败，所以我们就需要关闭证书验证。在请求的时候把verify参数设置为False就可以关闭证书验证了。

爬虫协议也叫做robots协议，告诉网络蜘蛛哪些页面可以爬取，哪些页面不能爬取
爬虫文件的规范是：

允许所有的机器人

本文详细介绍了Request库的使用

3. python3套接字udp设置接受数据超时

Sometimes，you need to manipulate the default values of certain properties of a socket library, for example, the socket timeout.

设定并获取默认的套接字超时时间。

1.代码

1 import socket
2
3
4 def test_socket_timeout():
5 s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
6 print("Default socket timeout: %s" % s.gettimeout())
7 # 获取套接字默认超时时间
8 s.settimeout(100)
9 # 设置超时时间
10 print("Current socket timeout: %s" % s.gettimeout())
11 # 读取修改后的套接字超时时间
12
13
14 if __name__ == '__main__':
15 test_socket_timeout()
2. AF_INET和SOCK_STREAM解释

1 # 地址簇
2 # socket.AF_INET IPv4(默认)
3 # socket.AF_INET6 IPv6
4 # socket.AF_UNIX 只能够用于单一的Unix系统进程间通信
5
6 # socket.SOCK_STREAM(数据流) 提供面向连接的稳定数据传输，即TCP/IP协议.多用于资料（如文件）传送。
3.gettimeout()和settimeout()解释

1 def gettimeout(self): # real signature unknown; restored from __doc__
2 """
3 gettimeout() -> timeout
4
5 Returns the timeout in seconds (float) associated with socket
6 operations. A timeout of None indicates that timeouts on socket
7 operations are disabled.
8 """
9 return timeout
10
11
12 def settimeout(self, timeout): # real signature unknown; restored from __doc__
13 """
14 settimeout(timeout)
15
16 Set a timeout on socket operations. 'timeout' can be a float,
17 giving in seconds, or None. Setting a timeout of None disables
18 the timeout feature and is equivalent to setblocking(1).
19 Setting a timeout of zero is the same as setblocking(0).
20 """
21 pass
22 # 设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。
23 # 一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如 client 连接最多等待5s ）
4.运行结果

1 Default socket timeout: None
2 Current socket timeout: 100.0

4. python 在爬虫中timeout设置超时有什么作用

是为了防止url不可访问，或者响应速度太慢而造成的时间浪费。
比如，你要爬取1000个网站，如果有100个需要30s才能返回数据，你等待他们返回的话就需要3000s了，如果你设置10s超时，那么就能知道最长需要多久1000个可以爬完。

如果解决了您的问题请采纳！
如果未解决请继续追问

5. python安装第三方库超时报错

1.pip安装第三方包报错，原因是超时，可能因为默认的库源不稳定，或者网络限制原因。

解决方法：pip --default-timeout=100 install -U  pandas   //设置超时时间

如果以上语句还是不行，直接切换库源，使用清华的资源库。

pip install -i https://pypi.tuna.tsinghua.e.cn/simple -U pandas   

这两条语句也可以结合使用。

另一个超时的报错，可以使用--upgrade参数解决（为啥一直报超时的错呢？公司网络限制太多了啦）

pip install  --upgrade -i https://pypi.tuna.tsinghua.e.cn/simple -U pandas   

2.使用以上方法安装好了package后，在pycharm中要加载这个包，可以在新建工程的时候，勾选inherit global site-packages

6. python如何设置超时重新运行

python通过subprocess模块调用系统命令。实际使用中，有一次是命令进入了交互模式，结果web端直接卡死了。
调用时设置一个超时时间，时间用完后自动断开。
这样就避免了系统因为调用命令而僵死的问题。

7. 纯干货！python 在运维中的应用 (一)：批量 ssh/sftp

日常工作中需要大量、频繁地使用ssh到服务器查看、拉取相关的信息或者对服务器进行变更。目前公司大量使用的shell，但是随着逻辑的复杂化、脚本管理的精细化，shell已经不满足日常需求，于是我尝试整合工作中的需求，制作适合的工具。 由于管理制度的缺陷，我以工作流程为核心思考适合自己的运维方式，提升工作效率，把时间留给更有价值的事情。 完整代码在最后，请大家参考。

生产：4000+物理服务器，近 3000 台虚拟机。

开发环境：python3.6、redhat7.9，除了paramiko为第三方模块需要自己安装，其他的直接import即可。

批量执行操作是一把双刃剑。批量执行操作可以提升工作效率，但是随之而来的风险不可忽略。

风险案例如下：

挂载很多数据盘，通常先格式化硬盘，再挂载数据盘，最后再写入将开机挂载信息写入/etc/fstab文件。在批量lsblk检查硬盘信息的时候发现有的系统盘在/sda有的在/sdm，如果不事先检查机器相关配置是否一致直接按照工作经验去执行批量操作，会很容易造成个人难以承受的灾难。

在执行批量操作时按照惯例：格式化硬盘->挂载->开机挂载的顺序去执行，假设有的机器因为某些故障导致格式化硬盘没法正确执行。在处理这类问题的时候通常会先提取出失败的ip，并再按照惯例执行操作。运维人员会很容易忽略开机挂载的信息已经写过了，导致复写（这都是血和泪的教训）。

所以，为了避免故障，提升工作效率，我认为应当建立团队在工作上的共识，应当遵守以下原则：

当然，代码的规范也应当重视起来，不仅是为了便于审计，同时也需要便于溯源。我认为应当注意以下几点：

1、ssh no existing session，sftp超时时间设置:

在代码无错的情况下大量ip出现No existing session，排查后定位在代码的写法上，下面是一个正确的示例。由于最开始没考虑到ssh连接的几种情况导致了重写好几遍。另外sftp的实例貌似不能直接设置连接超时时间，所以我采用了先建立ssh连接再打开sftp的方法。

2、sftp中的get()和put()方法仅能传文件，不支持直接传目录：

不能直接传目录，那换个思路，遍历路径中的目录和文件，先创建目录再传文件就能达到一样的效果了。在paramiko的sftp中sftp.listdir_attr()方法可以获取远程路径中的文件、目录信息。那么我们可以写一个递归来遍历远程路径中的所有文件和目录(传入一个列表是为了接收递归返回的值)。

python自带的os模块中的os.walk()方法可以遍历到本地路径中的目录和文件。

3、多线程多个ip使用sftp.get()方法时无法并发。

改成多进程即可。

4、多个ip需要执行相同命令或不同的命令。

由于是日常使用的场景不会很复杂，所以借鉴了ansible的playbook，读取提前准备好的配置文件即可，然后再整合到之前定义的ssh函数中。

同时，我们还衍生出一个需求，既然都要读取配置，那同样也可以提前把ip地址准备在文件里。正好也能读取我们返回的执行程序的结果。

参数说明：

密码认证：

公钥认证：

可以配合 grep，awk 等命令精准过滤。

个人认为 Python 在初中级运维工作中的性质更像是工具，以提升工作效率、减少管理成本为主。可以从当前繁琐的工作中解脱出来，去 探索 更有价值的事情。python 本质上并不会减少故障的产生，所以在不同的阶段合理利用自身掌握的知识解决当前最重要的痛点，千万不要本末倒置。

8. 限python限制其他软件使用时长

限python限制其他软件使用时长：运行一个需要1秒才能完成的函数，超时设置为2秒：No timeout

如果我们运行time.sleep(10)并将超时设置为两秒：finished = call_timeout(2, time.sleep, args=(10, ))

结果：Timeout

9. python requests库中的post详解

一、post请求及响应详解

返回结果：

大家看，其实通过post发送请求很简单

下面再讲讲返回信息的具体内容

大家看，其实有很多的返回值参数，其实我们实际中能用到的并不多，我下边一一列举出来了

response.json()：返回信息的格式是json，应为我们请求的时候是json格式，返回的也是一个json，如果返回报错，应该是开发的接口出错了

response.text：如果response.json，可以使用text调试一下，看看具体的返回内容是什么，这里看到的都是字符串了

response.status_code：返回的http状态码，200是成功，404是未找到接口路径，500是服务器错误，等等

response.url：返回请求时的url地址

response.headers：返回服务器给你的响应header

response.cookies：返回服务器给你的cookies，这是一个多么好的获取cookie的方法啊，

response.content：同response.text是一样的

二、post请求中的其他参数

复制

import requests

res = requests.post(url="url",data="body",timeout=30,verfiy=False)

print(res.json())

url：请求的全路径地址，一定是要完整的路径哦

data：请求的内容，如果是json的格式，最好使用json.mps，反序列化一下，避免格式错误，如果是其他格式，就都是字符串了

timeout：设置超时时间，这样我们在自动化测试和爬虫的时候，当达到了设置的超时时间，我们的程序就退出不会一直等待了，可以做其他操作了

verfiy：如果请求的接口是https协议，这个参数就很好用了，如果设置该参数为True，那么我们的脚本就是要配置CA证书，建议参数值为False，好用又简单

好了，post的请求详解就这些了，欢迎大家点赞留言，我会给大家解答疑问的

10. python中调用两个函数,怎样能不超时

超时机制。python中调用两个函数需要给函数设置超时机制，以防止它超时，这里可以用python的signal模块，signal模块可以实现程序内部的信号处理。