python对url编码

‘壹’ python爬虫前奏

在浏览器中发送http请求的过程:

1.当用户在浏览器地址栏输入URL并按回车键时，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为“获取”和“发布”两种方法。

2.当我们输入网址htp://www网络。com在浏览器中，浏览器发送Request请求获取HTP/www Bai.com的html文件，服务器将Response文件对象发回浏览器。

3.浏览器分析响应中的HTML，发现它引用了很多其他文件，比如Images文件、CSS文件、JS文件。浏览器会自动再次发送一个获取图片、CSS文件或JS文件的请求。

4.当所有文件下载成功后，网页将完全按照HTML语法结构显示。

#url解释:

URL是统一资源定位符的缩写，统一资源定位符。

网址由以下部分组成:

scheme://host:port/path/> query-string = XXX # ancho

方案:表示访问的协议，如http或https、ftp等。

主机:主机名、域名，如www..com。

端口:端口号。当您访问网站时，浏览器默认使用端口80。

路径:找到路径。例如，在www.jianshu.com/trending/now,，以下趋势/现在是路径。

查询字符串:查询字符串，如www..com/s?. Wd=python，后跟Wd = python，是搜索字符串。

锚点:锚点，背景一般忽略，前端用于页面定位。

浏览器中的一个ufl，浏览器将对这个url进行编码。除了英文字母、数字和一些符号之外，所有其他符号都用百分号加上十六进制代码值进行编码。

#请求头通用参数:

在http协议中，当向服务器发送请求时，数据被分成三部分。第一个是把数据放在url中，第二个是把数据放在正文中(在post请求中)，第三个是把数据放在头部。这里，我们介绍一些经常在网络爬虫中使用的请求头参数:

用户代理:浏览器名称。这通常用于网络爬虫。当请求网页时，服务器可以通过这个参数知道哪个浏览器发送了请求。如果我们通过爬虫发送请求，那么我们的用户代理就是Python。对于那些有反爬虫机制的网站，很容易判断你的请求是爬虫。因此，我们应该始终将此值设置为某些浏览器的值，以伪装我们的爬虫。

引用者:指示当前请求来自哪个网址。这也可以作为反爬虫技术。如果不是来自指定页面，则不会做出相关响应。

http协议是无状态的。也就是说，同一个人发送了两个请求，服务器无法知道这两个请求是否来自同一个人。因此，此时使用cookie进行标识。一般来说，如果你想成为一个登录后才能访问的网站，你需要发送cookie信息。

常见的请求方法有:

在Http协议中，定义了八种请求方法。这里介绍两种常见的请求方法，即get请求和post请求。

Get request:一般来说，get request只在从服务器获取数据时使用，不会对服务器资源产生任何影响。

发布请求:发送数据(登录)、上传文件等。，并在会影响服务器资源时使用post请求。

这是网站开发中常用的两种方法。并且一般会遵循使用原则。然而，为了成为一个反爬虫机制，一些网站和服务器经常出于常识玩牌。应该使用get方法的请求可能必须更改为post请求，这取决于具体情况。

常见响应状态代码:

00:请求正常，服务器正常最近数据。

31:永久重定向。例如，当您访问www.jingdong.com时，您将被重定向到www.jd.com。

32:临时重定向。例如，当访问需要登录的页面时，此时没有登录，您将被重定向到登录页面。

400:在服务器上找不到请求的网址。换句话说，盾请求ur1错误。

403:服务器拒绝访问，权限不足。

50:服务器内部错误。可能是服务器有bug。

‘贰’ python 无法转url 编码怎么解决

今天要处理网络贴吧的东西。想要做一个关键词的list，每次需要时，直接添加 到list里面就可以了。但是添加到list里面是中文的情况（比如‘丽江’），url的地址编码却是'%E4%B8%BD%E6%B1%9F'，因此需 要做一个转换。这里我们就用到了模块urllib。
>>> import urllib
>>> data = '丽江'
>>> print data
丽江
>>> data
'\xe4\xb8\xbd\xe6\xb1\x9f'
>>>urllib.quote(data)
'%E4%B8%BD%E6%B1%9F'
那我们想转回去呢？
>>> urllib.unquote('%E4%B8%BD%E6%B1%9F')
'\xe4\xb8\xbd\xe6\xb1\x9f'
>>> printurllib.unquote('%E4%B8%BD%E6%B1%9F')
丽江
细心的同学会发现贴吧url中出现的是%C0%F6%BD%AD，而非'%E4%B8%BD%E6%B1%9F'，其实是编码问题。网络的是gbk，其他的一般网站比如google就是utf8的。所以可以用下列语句实现。
>>> import sys,urllib
>>> s = '丽江'
>>> urllib.quote(s.decode(sys.stdin.encoding).encode('gbk'))
'%C0%F6%BD%AD'
>>> urllib.quote(s.decode(sys.stdin.encoding).encode('utf8'))
'%E4%B8%BD%E6%B1%9F'
>>>
另一个方法
#!/usr/bin/python
import urllib
import sys
string = sys.argv[1]
string = unicode(string,"gbk")
utf8_string = string.encode("utf-8")
gbk_string=string.encode("gbk")
gbk=urllib.quote(gbk_string)
utf8=urllib.quote(utf8_string)
print gbk
print utf8

‘叁’ 网页编码和Python编码不匹配怎么办

网页编码格式有很多，比如UTF-8，GBK2312等，在网址页面F12键，ctrl+f搜索charset可看到该网页使用的编码格式，如CSDN为charset=”utf-8”。我们使用python获取网页内容时，经常会由于网页编码问题导致程序崩溃报错或获取到一堆二进制内容，软件的兼容性很差。有一个办法，可以通过第三方库chardet获取编码格式，再使用该编码格式解码数据可实现兼容。

1、安装chardet库
chardet是第三方库，需要先安装再使用。简单的办法是启动DOS界面，进入python安装路径下Scripts路径中（其中有pip脚本），运行”pip install chardet”，即可完成安装（可能需要先更新pip，根据提示运行命令即可）；

2、导入charset、建立函数
python工程中导入charset库（”import chardet”）;建立函数如下：

def get_url_context(url):
content = urllib.request.urlopen(url) #获取网页内容
encode = chardet.detect(content) #获取网页编码格式字典信息，字典encode中键encoding的值为编码格式
return content.decode(encode['encoding'], 'ignore') #根据获取到的编码格式进行解码，并忽略不能识别的编码信息

以上函数的返回值即为网页解码后的内容，无论网页是哪种格式编码，都能轻松识别转换；需要注意的是解码时要加参数’ignore’,否则网页中可能会有混合编码导致程序出错。

‘肆’ python中url太长怎么解决

今天写了个脚本 主要就是实现利用sqlInj点直接把数据获取到本地并存到Mysql数据库中
学过Python的都知道可以使用urllib2中的request()方法直接打开Url，但仅限于url后没有跟复杂的参数串
今天我利用的Url是
' and (select top 1 cast(CONTENT as varchar(8000)) from xxx.dbo.xxx where cast(CONTENT as varchar) not in (select top 22 cast(CONTENT as varchar) from xxx.dbo.xxx))=0--
开始我也直接用以下语句测试的：
url="上面的URL"
req=urllib2.Request(url)
urllib2.urlopen(req)
可是执行后一直提示500错误，由此可以发现应该是Python在对Url进行编码的时候更改了某些特殊字符造成Url失效
我们可以用urllib2或urllib的quote()方法控制对特殊字符的URL编码,这里推荐用 urllib下的quote_plus()方法，它将空格转化成'+'而非%20通用性更好。
我们更改后的代码如下:
url = "' and (select top 1 cast(CONTENT as varchar(8000)) from xxx.dbo.xxx where cast(CONTENT as varchar) not in (select top "+str(count)+" cast(CONTENT as varchar) from xxx.dbo.xxx))=0--"
quoteUrl=urllib.quote_plus(url,safe=':\'/?&=()')
fd = urllib.urlopen(quoteUrl)
这样我们就可以正常的提取数据了

‘伍’ python 爬取到的url怎么转码

先引入urllib模块
假如我们要对下面的url进行转码，注意观察各种字符的变化

使用quote方法，进行转码
我们看看转码得到的结果：
我们想要得到原先的url，可以使用quote的逆函数unquote
得到反转码以后的url，我们看到这种方法并没有返回中文字符。

‘陆’ python怎么将url的中文怎么转码

先引入urllib模块
假如我们要对下面的url进行转码，注意观察各种字符的变化
使用quote方法，进行转码
我们看看转码得到的结果：
我们想要得到原先的url，可以使用quote的逆函数unquote
得到反转码以后的url，我们看到这种方法并没有返回中文字符。

‘柒’ python字符串与url编码的转换实例

python字符串与url编码的转换实例
今天小编就为大家分享一篇python字符串与url编码的转换实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
主要应用的场景
爬虫生成带搜索词语的网址

1.字符串转为url编码
import urllib
poet_name = "李白"
url_code_name = urllib.quote(poet_name)
print url_code_name
#输出
#%E6%9D%8E%E7%99%BD

2.url编码转为字符串
import urllib
url_code_name = "%E6%9D%8E%E7%99%BD"
name = urllib.unquote(url_code_name)
print name
#输出
#李白
以上这篇python字符串与url编码的转换实例就是小编分享给大家的全部内容了篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助

‘捌’ Python3 如何对url解码

url编码：

import urllib

url = 'http://test.com/s?wd=哈哈' #如果此网站编码是gbk的话，需要进行解码，从gbk解码成unicode，再从Unicode编码编码为utf-8格式。

url = url.decode('gbk', 'replace')

print urllib.quote(url.encode('utf-8', 'replace'))

‘玖’ python3爬虫urllib.request.urlopen("网址").read() 本来是utf-8，为什么还要加上urlencode（“utf-8”）

你这行代码是不需要urlencode()的。

对于返回的request对象，其read()方法获得的其实是一个字节流对象，而非字符串对象，所以这时需要调用该字节流对象的decode()方法，按指定编码方式进行解码。
至于urlencode()，这是urllib中的一个函数，它的作用是将字符串进行url编码。这个编码其实就是个转义的过程，将那些因可能造成解释器误会或安全问题而不适合出现在请求中的符号进行转义，并且把超出url编码表的字符降维。

‘拾’ 如何在python%的编码URL参数

面是中文的情况（比如‘丽江'），url的地址编码却是'%E4%B8%BD%E6%B1%9F'，因此需要做一个转换。这里我们就用到了模块urllib。?12345678>>>importurllib>>>data='丽江'>>>printdata丽江>>>data'\xe4\xb8\xbd\xe6\xb1\x9f'