python爬虫403
‘壹’ python爬虫通过header伪装后依旧403ERROR
403是说的服务器处理你的请求了，但是决定你没资格获得你请求的资源。
如果是像你说的这样一开始有成功的，后来的请求是403的话，也有可能是服务器那边有throttling，你可以试试发完一个请求之后，等一段时间，然后再发下一个请求。
‘贰’ python 爬虫更换useragent后还是403，怎么解决，代码如下
简单说：除了User-Agent的header之前，还可能需要其他（更有效的，能防止被对方检测出来你是爬虫）的header。但是具体是哪个，则需要你自己调试找出来才行。
具体如何调试找出来，有哪些header？
答：详见我教程（此处不给贴地址，只能给你看图，你自己搜）：
‘叁’ python爬虫在爬B站网页时出现403错误，已经添加了ua还是出错怎么办
403是禁止访问，就是服务器不让你访问他的网站。
爬B站需要添加虚拟的浏览器信息，让服务器以为你是真人而不是解析器。
‘肆’ python 爬虫ip被封锁怎么办
从程序本身是无法解决的。
有两个办法：
（1）自己装几个虚拟机，分别不同IP在上面跑爬虫的时候频率别太高了，加个过程里加个 time.sleep(1)或（2），通常情况只要频率不是太高是无法区别是正常阅读还是爬东西的。
（2）找proxy用代理，respose发现异常就换IP
‘伍’ python爬虫，遇到403 forbidden，求助
之前做过很多爬虫处理，其实你要懂，不是每个网站都那么好爬虫的。
对方：例如豆瓣为了防止访问量过大，服务器压力的承受，所以就啪啪啪整个403给你（服务器理解客户的请求，但拒绝处理它）。
他给你返回403，就是告诉你一种状态，根据他告诉你的态度，你作为男朋友的是不是应该改改自己的脾气。例如，对方发现你没有加header，对方发现你Cookies不对，或者是发现你的访问速度过快，所以就直接block你了。
很多这样衍生的问题，作为一个聪明的Crawler，你应该知道怎么爬对方的东西，才让对方服务器把你判断为人，而不是爬虫程序。
总之一句，根据反馈的错误信息，去思考应该怎么处理问题。这里没有给出详细的答案，但是你可以尝试着去理解豆瓣的block机制。
‘陆’ python爬虫，遇到403 forbidden，求助
遇到这种情况一般是爬虫被网站发现而禁止了，在这种情况下就要考虑爬取策略，一般有以下几种方法，从简单到容易：
设置ua
添加requests的headers，如refer，content length等
添加cookie
爬取过于频繁，每爬完一个网页sleep一段时间，一般1-5秒，越长越不容易被检测出来，也可以考虑sleep随机的时间
终极大杀招，模拟浏览器，selenium工具
具体方法自行google
‘柒’ python爬虫前奏
在浏览器中发送http请求的过程:
1.当用户在浏览器地址栏输入URL并按回车键时，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为“获取”和“发布”两种方法。
2.当我们输入网址htp://www网络。com在浏览器中，浏览器发送Request请求获取HTP/www Bai.com的html文件，服务器将Response文件对象发回浏览器。
3.浏览器分析响应中的HTML，发现它引用了很多其他文件，比如Images文件、CSS文件、JS文件。浏览器会自动再次发送一个获取图片、CSS文件或JS文件的请求。
4.当所有文件下载成功后，网页将完全按照HTML语法结构显示。
#url解释:
URL是统一资源定位符的缩写，统一资源定位符。
网址由以下部分组成:
scheme://host:port/path/> query-string = XXX # ancho
方案:表示访问的协议，如http或https、ftp等。
主机:主机名、域名，如www..com。
端口:端口号。当您访问网站时，浏览器默认使用端口80。
路径:找到路径。例如，在www.jianshu.com/trending/now,，以下趋势/现在是路径。
查询字符串:查询字符串，如www..com/s?. Wd=python，后跟Wd = python，是搜索字符串。
锚点:锚点，背景一般忽略，前端用于页面定位。
浏览器中的一个ufl，浏览器将对这个url进行编码。除了英文字母、数字和一些符号之外，所有其他符号都用百分号加上十六进制代码值进行编码。
#请求头通用参数:
在http协议中，当向服务器发送请求时，数据被分成三部分。第一个是把数据放在url中，第二个是把数据放在正文中(在post请求中)，第三个是把数据放在头部。这里，我们介绍一些经常在网络爬虫中使用的请求头参数:
用户代理:浏览器名称。这通常用于网络爬虫。当请求网页时，服务器可以通过这个参数知道哪个浏览器发送了请求。如果我们通过爬虫发送请求，那么我们的用户代理就是Python。对于那些有反爬虫机制的网站，很容易判断你的请求是爬虫。因此，我们应该始终将此值设置为某些浏览器的值，以伪装我们的爬虫。
引用者:指示当前请求来自哪个网址。这也可以作为反爬虫技术。如果不是来自指定页面，则不会做出相关响应。
http协议是无状态的。也就是说，同一个人发送了两个请求，服务器无法知道这两个请求是否来自同一个人。因此，此时使用cookie进行标识。一般来说，如果你想成为一个登录后才能访问的网站，你需要发送cookie信息。
常见的请求方法有:
在Http协议中，定义了八种请求方法。这里介绍两种常见的请求方法，即get请求和post请求。
Get request:一般来说，get request只在从服务器获取数据时使用，不会对服务器资源产生任何影响。
发布请求:发送数据(登录)、上传文件等。，并在会影响服务器资源时使用post请求。
这是网站开发中常用的两种方法。并且一般会遵循使用原则。然而，为了成为一个反爬虫机制，一些网站和服务器经常出于常识玩牌。应该使用get方法的请求可能必须更改为post请求，这取决于具体情况。
常见响应状态代码:
00:请求正常，服务器正常最近数据。
31:永久重定向。例如，当您访问www.jingdong.com时，您将被重定向到www.jd.com。
32:临时重定向。例如，当访问需要登录的页面时，此时没有登录，您将被重定向到登录页面。
400:在服务器上找不到请求的网址。换句话说，盾请求ur1错误。
403:服务器拒绝访问，权限不足。
50:服务器内部错误。可能是服务器有bug。
‘捌’ 关于Python爬虫 403的错误
那是网站检测到你的是爬虫，拒绝了连接。可以减少访问频率，伪装多种headers试试
‘玖’ Python爬虫采集遇到403问题怎么办
403是网页状态码，表示访问拒绝或者禁止访问。
应该是你触发到网站的反爬虫机制了。
解决方法是：
1.伪造报文头部user-agent（网上有详细教程不用多说）
2.使用可用代理ip，如果你的代理不可用也会访问不了
3.是否需要帐户登录，使用cookielib模块登录帐户操作
4.如果以上方法还是不行，那么你的ip已被拉入黑名单静止访问了。等一段时间再操作。如果等等了还是不行的话：
使用phatomjs或者selenium模块试试。
还不行使用scrapy等爬虫框架看看。
以上都不行，说明这网站反爬机制做的很好，爬不了了，没法了，不过我觉得很少有这种做得很好的网站