python爬验证码
‘壹’ python爬取验证码图片,遇到验证码src属性为完整的网址应该怎么做
爬虫中手动输入验证码方法无法获取图片src地址
验证码在html中图片标签内容：
<class=“verCodeImg” src="/kaptcha.jpg?v=0.234724039578059" οnclick=“verCode(this)”>
< class=“verCodeImg” src="/kaptcha.jpg?v=0.234724239578059" οnclick=“verCode(this)”>
可知获取到验证码的src地址就能动态的获得验证码
因为验证码是动态的！动态的！动态的！
用动态爬取网页的方法：
要用到selenium库
其实获得了验证码的src地址，我还是没能成功登陆
因为即使是相同的链接点进去，每一次刷新都会有不同的验证码
通过动态网页打开是一张
解析src地址出来是另一张
‘贰’ python 爬虫，怎么获得输入验证码之后的搜索结果
首先，题主在程序中输入验证码，主要是想尽量模仿真人的搜索，结果发现所有cookie是一样的，无需做这一步验证码的输入，如果是这样的话，无需验证码。另外，按题主的代码来看，题主只要比较一下输入验证码之前和之后的cookie，如果没有差别，就去掉验证码处理。如果有差别，说明在验证码的处理中还是做了些事情，就需要验证码。
题外话，题主整个思路想复杂了，对于我们政府的网站，其实没有这么精细的逻辑，比如你上面那个只需要拼接成get请求就可以。
‘叁’ python如何识别验证码
我们首先识别最简单的一种验证码，即图形验证码。这种验证码最早出现，现在也很常见，一般由4位字母或者数字组成。例如，中国知网的注册页面有类似的验证码，页面如下所示：
表单中最后一项就是图形验证码，我们必须完全正确输入图中的字符才可以完成注册。
更多有关验证码的知识，可以参考这些文章：
Python3爬虫进阶：识别图形验证码
Python3爬虫进阶：识别极验滑动验证码
Python3爬虫进阶：识别点触点选验证码
Python3爬虫进阶：识别微博宫格验证码
·本节目标以知网的验证码为例，讲解利用OCR技术识别图形验证码的方法。
·准备工作识别图形验证码需要库tesserocr，以mac安装为例：在mac下，我们首先使用Homebrew安装ImageMagick和tesseract库： brew install imagemagickbrew install tesseract 接下来再安装tesserocr即可：pip3 install tesserocr pillow这样我们就完成了 tesserocr的安装。
·获取验证码为了便于实验，我们先将验证码的图片保存到本地。打开开发者工具，找到验证码元素。验证码元素是一张图片，它的ser属 性是CheckCode.aspk。所以我们直接打开如下链接就可以看到一个验证码，右键保存即可，将其命名为code.jpg：
这样我们就得到一张验证码图片，以供测试识别使用。
相关推荐：《Python教程》
识别测试
接下来新建一个项目，将验证码图片放到项目根目录下，用tesserocr库识别该验证码，代码如下所示：
这里我们新建了一个Image对戏那个，调用了tesserocr的image_to_text( )方法。传入该Image对象即可完成识别，实现过程非常简单，结果如下：
我们可以看到，识别的结果和实际结果有偏差，这是因为验证码内的多余线条干扰了图片的识别。
另外，tesserocr还有一个更加简单的方法，这个方法可以直接将图片文件转为字符串，代码如下：
不过这种方法的识别效果不如上一种的好。
验证码处理
对于上面的图片，我们可以看到其实并没有完全识别正确，所以我们需要对图像作进一步的处理，如灰度转换、二值化等操作。
我们可以利用Image对象的convert( )方法参数传入L，即可将图片转化为灰度图像，代码如下：
传入1即可将图片进行二值化处理，如下所示：
我们还可以指定二值化的阈值。上面的方法采用的是默认阈值127。不过我们不能直接转化原图，要将原图先转化为灰度图像，然后再指定二值化阈值，代码如下：
在这里，变量threshold代表二值化阈值，阈值设置为160，之后我们来看看我们的结果：
我们可以看到现在的二维码就比较方便我们进行识别了；那么对于一些有干扰的图片，我们做一些灰度和二值化处理，这会提高图片识别的正确率。
‘肆’ 如何python爬虫识别验证码
在用爬虫爬取网站数据时，有些站点的一些关键数据的获取需要使用账号登录，这里可以使用requests发送登录请求，并用Session对象来自动处理相关Cookie。
另外在登录时，有些网站有时会要求输入验证码，比较简单的验证码可以直接用pytesser来识别，复杂的验证码可以依据相应的特征自己采集数据训练分类器。
以CSDN网站的登录为例，这里用Python的requests库与pytesser库写了一个登录函数。如果需要输入验证码，函数会首先下载验证码到本地，然后用pytesser识别验证码后登录，对于CSDN登录验证码，pytesser的识别率很高。
‘伍’ python爬虫遇到验证码怎么办
遇到验证码就需要破解验证码，绕过验证码，建议搜虎赢大数据或者是腾虫大数据里面爬虫教程
‘陆’ python 爬虫，关于验证码的问题。输入验证码才能搜索。
#给你个例子参考验证码请求一次就变了
#!/usr/bin/python
#coding=utf-8
importrequests
importurllib
importurllib2,hashlib,md5
importcookielib
def_md5(password):
md5=hashlib.md5()
md5.update(str.encode(password))
psw=md5.hexdigest()
returnpsw
url='https://passport.liepin.com/captcha/randomcode?2hy270c2ji1'
req=urllib2.Request(url)
res_data=urllib2.urlopen(req)
res=res_data.read()
output_file=open('1.jpg','wb')
output_file.writelines(res)
output_file.close()
verifycode=res_data.headers['Set-Cookie'].split(';')[0]
verifycode=verifycode.replace('verifycode=','')
filename=res_data.headers['Content-disposition'].split(';')[1].strip()
exec(filename)
cookiejar=cookielib.CookieJar()
opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cookiejar))
vidcode=raw_input(u"请输入验证码(在本路径1.jpg):")
data={'user_login':"[email protected]",
'isMd5':"1",
'user_pwd':_md5('love123456'),
'verifycode':vidcode,
'url':""}
url='https://passport.liepin.com/h/login.json'
data=urllib.urlencode(data)
headers={'Content-Type':'application/x-www-form-urlencoded','X-Requested-With':'XMLHttpRequest','Cookie':'verifycode={0};'.format(verifycode)}
request=urllib2.Request(url,data,headers)
response=opener.open(request)
print'-------result-------------'
printresponse.read()
print'-------headers-------------'
printresponse.headers
print'-------cookies-------------'
forcookieincookiejar:
printcookie
‘柒’ python抓取网页时是如何处理验证码的
python抓取网页时是如何处理验证码的？下面给大家介绍几种方法：
1、输入式验证码
这种验证码主要是通过用户输入图片中的字母、数字、汉字等进行验证。如下图：
解决思路：这种是最简单的一种，只要识别出里面的内容，然后填入到输入框中即可。这种识别技术叫OCR，这里我们推荐使用Python的第三方库，tesserocr。对于没有什么背影影响的验证码如图2，直接通过这个库来识别就可以。但是对于有嘈杂的背景的验证码这种，直接识别识别率会很低，遇到这种我们就得需要先处理一下图片，先对图片进行灰度化，然后再进行二值化，再去识别，这样识别率会大大提高。
相关推荐：《Python入门教程》
2、滑动式验证码
这种是将备选碎片直线滑动到正确的位置，如下图：
解决思路：对于这种验证码就比较复杂一点，但也是有相应的办法。我们直接想到的就是模拟人去拖动验证码的行为，点击按钮，然后看到了缺口的位置，最后把拼图拖到缺口位置处完成验证。
第一步：点击按钮。然后我们发现，在你没有点击按钮的时候那个缺口和拼图是没有出现的，点击后才出现，这为我们找到缺口的位置提供了灵感。
第二步：拖到缺口位置。
我们知道拼图应该拖到缺口处，但是这个距离如果用数值来表示？
通过我们第一步观察到的现象，我们可以找到缺口的位置。这里我们可以比较两张图的像素，设置一个基准值，如果某个位置的差值超过了基准值，那我们就找到了这两张图片不一样的位置，当然我们是从那块拼图的右侧开始并且从左到右，找到第一个不一样的位置时就结束，这是的位置应该是缺口的left，所以我们使用selenium拖到这个位置即可。
这里还有个疑问就是如何能自动的保存这两张图？
这里我们可以先找到这个标签，然后获取它的location和size，然后 top，bottom，left，right = location['y'] ,location['y']+size['height']+ location['x'] + size['width'] ,然后截图，最后抠图填入这四个位置就行。
具体的使用可以查看selenium文档，点击按钮前抠张图，点击后再抠张图。最后拖动的时候要需要模拟人的行为，先加速然后减速。因为这种验证码有行为特征检测，人是不可能做到一直匀速的，否则它就判定为是机器在拖动，这样就无法通过验证了。
3、点击式的图文验证和图标选择
图文验证：通过文字提醒用户点击图中相同字的位置进行验证。
图标选择： 给出一组图片，按要求点击其中一张或者多张。借用万物识别的难度阻挡机器。
这两种原理相似，只不过是一个是给出文字，点击图片中的文字，一个是给出图片，点出内容相同的图片。
这两种没有特别好的方法，只能借助第三方识别接口来识别出相同的内容，推荐一个超级鹰，把验证码发过去，会返回相应的点击坐标。
然后再使用selenium模拟点击即可。具体怎么获取图片和上面方法一样。
4、宫格验证码
这种就很棘手，每一次出现的都不一样，但是也会出现一样的。而且拖动顺序都不一样。
但是我们发现不一样的验证码个数是有限的，这里采用模版匹配的方法。我觉得就好像暴力枚举，把所有出现的验证码保存下来，然后挑出不一样的验证码，按照拖动顺序命名，我们从左到右上下到下，设为1，2，3，4。上图的滑动顺序为4，3，2，1，所以我们命名4_3_2_1.png，这里得手动搞。当验证码出现的时候，用我们保存的图片一一枚举，与出现这种比较像素，方法见上面。如果匹配上了，拖动顺序就为4，3，2，1。然后使用selenium模拟即可。