如何判断爬虫服务器被封

‘壹’ 使用爬虫采集网站时，怎么样解决被封ip的问题

1.IP必须需要，，ADSL。如果有条件，其实可以跟机房多申请外网IP。
2.在有外网IP的机器上，部署代理服务器。
3.你的程序，使用轮训替换代理服务器来访问想要采集的网站。
好处：
1.程序逻辑变化小，只需要代理功能。
2.根据对方网站屏蔽规则不同，你只需要添加更多的代理就行了。
3.就算具体IP被屏蔽了，你可以直接把代理服务器下线就OK，程序逻辑不需要变化。
方法2.
有小部分网站的防范措施比较弱，可以伪装下IP，修改X-Forwarded-for（貌似这么拼。。。）即可绕过。
大部分网站么，如果要频繁抓取，一般还是要多IP。我比较喜欢的解决方案是国外VPS再配多IP，通过默认网关切换来实现IP切换，比HTTP代理高效得多，估计也比多数情况下的ADSL切换更高效。
方法3.
ADSL + 脚本，监测是否被封，然后不断切换 ip
设置查询频率限制
正统的做法是调用该网站提供的服务接口。
方法4.
8年多爬虫经验的人告诉你，国内ADSL是王道，多申请些线路，分布在多个不同的电信区局，能跨省跨市更好，自己写好断线重拨组件，自己写动态IP追踪服务，远程硬件重置（主要针对ADSL猫，防止其宕机），其余的任务分配，数据回收，都不是大问题。我的已经稳定运行了好几年了，妥妥的！
方法5.
1 user agent 伪装和轮换
2 使用代理 ip 和轮换
3 cookies 的处理，有的网站对登陆用户政策宽松些
友情提示：考虑爬虫给人家网站带来的负担，be a responsible crawler
方法6.
尽可能的模拟用户行为：
1、UserAgent经常换一换；
2、访问时间间隔设长一点，访问时间设置为随机数；
3、访问页面的顺序也可以随机着来
方法8.
网站封的依据一般是单位时间内特定IP的访问次数.
我是将采集的任务按 目标站点的IP进行分组 通过控制每个IP 在单位时间内发出任务的个数,来避免被封.当然,这个前题是你采集很多网站.如果只是采集一个网站,那么只能通过多外部IP的方式来实现了.
方法9.
1. 对爬虫抓取进行压力控制；
2. 可以考虑使用代理的方式访问目标站点。
-降低抓取频率，时间设置长一些，访问时间采用随机数
-频繁切换UserAgent（模拟浏览器访问）
-多页面数据，随机访问然后抓取数据
-更换用户IP

‘贰’ 如何处理python爬虫ip被封

1、放慢爬取速度，减小对于目标网站造成的压力。但是这样会减少单位时间类的爬取量。
第二种方法是通过设置IP等手段，突破反爬虫机制继续高频率爬取。网站的反爬机制会检查来访的IP地址，为了防止IP被封，这时就可以使用HTTP，来切换不同的IP爬取内容。使用代理IP简单的来讲就是让代理服务器去帮我们得到网页内容，然后再转发回我们的电脑。要选择高匿的ip，IPIDEA提供高匿稳定的IP同时更注重用户隐私的保护，保障用户的信息安全。
2、这样目标网站既不知道我们使用代理，更不会知道我们真实的IP地址。
3、建立IP池，池子尽可能的大，且不同IP均匀轮换。
如果你需要大量爬去数据，建议你使用HTTP代理IP，在IP被封掉之前或者封掉之后迅速换掉该IP，这里有个使用的技巧是循环使用，在一个IP没有被封之前，就换掉，过一会再换回来。这样就可以使用相对较少的IP进行大量访问。以上就是关于爬虫IP地址受限问题的相关介绍。

‘叁’ 如何处理python爬虫ip被封

当python爬虫IP被封可用以下这几种方法：
1、放慢爬取速度，减少对于目标网站带来的压力，但会减少单位时间类的爬取量。
2、伪造cookies，若从浏览器中能够 正常访问一个页面，则可以将浏览器中的cookies复制过来使用
3、伪造User-Agent，在请求头中把User-Agent设置成浏览器中的User-Agent，来伪造浏览器访问。
4、使用代理IP，使用代理IP之后能够 让网络爬虫伪装自己的真实IP。
对于python网络爬虫来说，有时候业务量繁重，分布式爬虫是最佳的增强效率方式，而分布式爬虫又急切需要数目众多的IP资源，这一点免费IP是满足不了的，并且免费代理一般不提供高匿名的代理IP，因此不建议大家使用免费的代理IP。为了节约前期成本费而使用免费ip代理，最终只会因为免费ip的劣质而导致苦不堪言，反倒得不偿失。使用代理商代理IP可以有效的保障网络的安全，在IP被封的情况下可以有充足的IP可以进行更换，保证工作的正常进行。

‘肆’ 爬虫工作中，如何最大程度的避免被封IP

在网络爬虫抓取信息的过程中，如果抓取频率高过了网站的设置阀值，将会被禁止访问。通常，网站的反爬虫机制都是依据IP来标志爬虫的。如果确认是爬虫，肯定立马封IP地址，所以需要大量的IP地址。因为大多数网站会对爬虫行为进行识别，一段被识别为爬虫则会禁止改IP地址的访问，导致爬虫爬不到信息，因此对于有爬虫限制的网站必须采取措施似的网站识别不出你的爬虫行为，轮换IP就是一种策略之一。使用拨号vps设置自动更换ip就能避免这种情况了。

‘伍’ python 爬虫ip被封锁怎么办

从程序本身是无法解决的。
有两个办法：
（1）自己装几个虚拟机，分别不同IP在上面跑爬虫的时候频率别太高了，加个过程里加个 time.sleep(1)或（2），通常情况只要频率不是太高是无法区别是正常阅读还是爬东西的。

（2）找proxy用代理，respose发现异常就换IP

‘陆’ 如何解决爬虫ip被封的问题

这个有主要有两种可能：
你生成的url不正确，这个你可以打印一下，找一个报503的url直接在url里访问，看看是否有问题。
亚马逊判断出你是爬虫，给禁止返回数据了，这个就需要伪装一下你的爬虫，比如修改爬取间隔，随机使用http header，或者使用代理ip

‘柒’ 爬虫因为ip地址被封了怎么办

使用代理ip可以解决ip被封的问题，但是使用代理ip也被封的危险，以下就是可能被限制的原因、
一、非高匿代理IP
非高匿代理IP是指透明代理IP和普匿代理IP，透明代理IP会暴露本机真实IP，普匿代理IP会暴露正在使用代理IP，这两者都是会暴露，非常容易被限制，唯有高匿代理IP才是爬虫代理IP的最好的选择。
二、代理IP一手率较低
代理IP池用的人越多，一手率就越低，就可能会出现这样的情况：同一个代理IP，有很多人用来访问同一个网站，这种就非常容易被限制,因此使用纯净率高的代理至关重要。
三、请求频率过高
爬虫任务通常比较大，为了按时完成任务，单位时间内的请求频率过高，会给目标网站服务器带来巨大的压力，非常容易被限制。
四、有规律地请求
有些爬虫程序没有考虑到这一点，每个请求花费的时间都是一样的，非常的有规律，这种也很容易被限制，聪明的人通常都是会在请求完成后进行随机时间休眠。
以上就是使用代理ip被限制的原因，避免这些问题的发生就会减少ip被限制。

‘捌’ 怎么判断爬虫服务器的ip被网站封了

设置putty

打开putty，找到左边的SSH，选择Tunnels，然后在Source
port上填入你想要的端口号，然后Add一下，下面选择Dynamic即可。现在你机器的127.0.0.1:端口号(例如：127.0.0.1:9999，当然使用localhost替换127.0.0.1也是可以的)就是代理服务器了。设置好后需要用putty登录到服务器，并保持登录状态。然后设置一下浏览器的代理服务器就可以了。

设置FireFox

工具–>选项–>高级–>网络，在SOCKS主机填入本机的IP以及刚才设置的代理端口号即可。

这样设置之后，浏览器打开网站显示的就是服务器的IP了,直接用你的浏览器访问网站，如果能不能打开对方的网站并且不用代理就能打开说明你的IP被网站封了。如果你的服务器在国外也可以用来访问国外的网站不会被屏蔽。如果想访问facebook这样的大网站还需要设置一下dns。使浏览器解析网站的时候用服务器的dns，在Firefox的地址栏输入
about:config
，找到network.proxy.socks_remote_dns，双击改成true即可。该选项是使用远程代理服务器来解析DNS，避免DNS欺骗。

‘玖’ 爬虫为什么代理了ip还是被封

这个是属于使用该代理IP的人群太多造成的，而爬虫是需要动态IP才可以的，动态变化IP才能解决爬虫ip问题，其IP海动态ip解决IP更换问题。

‘拾’ 爬虫过程中ip被封,怎么解决

找代理解决问题。出现这个现象的原因是因为网站采取了一些反爬中措施，如：服务器检测IP在单位时间内请求次数超过某个阀值导致，称为封IP。为了解决此类问题，代理就派上了用场，如：代理软件、付费代理、ADSL拨号代理，以帮助爬虫脱离封IP的苦海。

使用爬虫时ip限制问题的六种方法。

方法1

1、IP必须需要，如果有条件，建议一定要使用代理IP。

2、在有外网IP的机器上，部署爬虫代理服务器。

3、你的程序，使用轮训替换代理服务器来访问想要采集的网站。

好处：

1、程序逻辑变化小，只需要代理功能。

2、根据对方网站屏蔽规则不同，你只需要添加更多的代理就行了。

3、就算具体IP被屏蔽了，你可以直接把代理服务器下线就OK，程序逻辑不需要变化。

方法2

1、ADSL+脚本，监测是否被封，然后不断切换ip。

2、设置查询频率限制正统的做法是调用该网站提供的服务接口。

方法3

1、useragent伪装和轮换。

2、使用雷电ip代理。

3、cookies的处理，有的网站对登陆用户政策宽松些。

方法4

尽可能的模拟用户行为：

1、UserAgent经常换一换。

2、访问时间间隔设长一点，访问时间设置为随机数。

3、访问页面的顺序也可以随机着来。

方法5

网站封的依据一般是单位时间内特定IP的访问次数。将采集的任务按目标站点的IP进行分组通过控制每个IP在单位时间内发出任务的个数,来避免被封。当然,这个前题采集很多网站。如果只是采集一个网站,那么只能通过多外部IP的方式来实现了。

方法6

对爬虫抓取进行压力控制；可以考虑使用代理的方式访问目标站点。

1、降低抓取频率，时间设置长一些，访问时间采用随机数。

2、频繁切换UserAgent（模拟浏览器访问）。

3、多页面数据，随机访问然后抓取数据。

4、更换用户IP，这是最直接有效的方法。