pythonurl文件名
给你一个url你是不是有对应的恶意rul库来判断呢？如果仅仅靠扫描判断不靠谱，如果你有恶意rul库就读取一个慢慢匹配呗
import urllib;
#假设txt名字叫url.txt
src = urlopen('url.txt')
for i in src.readlines():
#假设你的恶意url库为rullist列表
if i in rullist:
print i, '为恶意url'
⑵ python安装setuptools 检测时提示错误:没有指定url、文件名或需求，应该怎么解决请详细说明 万分感谢
easy_install后面带包名，比如
easy_installrequests
⑶ Python获取url中域名及从域名中提取ip的方法
这种方法为从urlparse模块中通过urlparse方法提取url通过hostname属性获取当前url的域名。
此方法是通过urllib模块中splittype方法先从url中获取到proto协议及rest结果，然后通过splithost从rest中获取到host及rest结果，此时host为域名。（rest被分割了两次）如下图：
此方法为从sokcet模块中获取到gethostbyname方法将域名传递进去就能解析出域名的ip。
此方法为通过nslookup获取域名的ip。
以上从域名中提取ip会不准确，需要设置DNS服务器，这样解析域名就准确了。
⑷ python如何解析url获取host
最近在工作中需要将url的host和path路径分开存储，python内置的 urlparse ， 支持我们优雅的解决这个问题， 参考地址
由上文我们可以看到，url被拆分的很细致，提取的方法也很简单，只需要给属性取一个别名，后面跟上解析的key，即可匹配出解析文本。
⑸ python指定url
今天简单使用了一下python的re模块和lxml模块，分别利用的它们提供的正则表达式和xpath来解析页面源码从中提取所需的title，xpath在完成这样的小任务上效率非常好，在这里之所以又使用了一下正则表达式是因为xpath在处理一些特殊的页面的时候会出现乱码的情况，当然这不是xpath的原因，而是页面本身编码，跟utf-8转码之间有冲突所致，这里看代码：
python抽取指定url页面的title方法（python获取当前页面的url） python 抽取 url title 脚本之家 第1张
# !/usr/bin/python
#-*-coding:utf-8-*-
'''
功能：抽取指定url的页面内容中的title
'''
import re
import chardet
import urllib
from lxml import etree
def utf8_transfer(strs):
'''
utf8编码转换
'''
try:
if isinstance(strs, unicode):
strs = strs.encode('utf-8')
elif chardet.detect(strs)['encoding'] == 'GB2312':
strs = strs.decode("gb2312", 'ignore').encode('utf-8')
elif chardet.detect(strs)['encoding'] == 'utf-8':
strs = strs.decode('utf-8', 'ignore').encode('utf-8')
except Exception, e:
print 'utf8_transfer error', strs, e
return strs
def get_title_xpath(Html):
'''
用xpath抽取网页Title
'''
Html = utf8_transfer(Html)
Html_encoding = chardet.detect(Html)['encoding']
page = etree.HTML(Html, parser=etree.HTMLParser(encoding=Html_encoding
⑹ python字符串与url编码的转换实例
python字符串与url编码的转换实例
今天小编就为大家分享一篇python字符串与url编码的转换实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
主要应用的场景
爬虫生成带搜索词语的网址
1.字符串转为url编码
import urllib
poet_name = "李白"
url_code_name = urllib.quote(poet_name)
print url_code_name
#输出
#%E6%9D%8E%E7%99%BD
2.url编码转为字符串
import urllib
url_code_name = "%E6%9D%8E%E7%99%BD"
name = urllib.unquote(url_code_name)
print name
#输出
#李白
以上这篇python字符串与url编码的转换实例就是小编分享给大家的全部内容了篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助
⑺ 【壹】Python爬虫入门——认识URL
【系列前言】前段时间李响同学入门了一些Python的基础知识，觉得一直在IDLE里print一些算法题有一些枯燥，所以决定通过学习爬虫来提高自己的兴趣。而且最近确实有一些重复性劳动，想使用爬虫简化工作。遂打算边自学边写自己自学的过程，一方面作为小白的我可以和其他Python大神交流，一方面也可以以此监督自己。
【本人使用Python版本：2.7.5】
首先按理解一下爬虫（Spider），如果把一个站点比作一张纵横交错的蜘蛛网，那么我们爬虫要做的就是在这张网上爬来爬去，获得这张网上的信息和资源。而Web上每种资源，比如HTML文档、图片、视频等都由一个URI（Universal Resource Identifier，通用资源标志符)进行定位。 URL（Uniform Resource Locator，统一资源定位符）是URI的子集。采用URL可以用一种统一的格式来描述各种信息资源，包括文件、服务器的地址和目录等。而爬虫主要的处理对象就是URL。所以务必要对URL有一定的熟悉。
URI通常由三部分组成：
1.访问资源的命名机制；
2.存放资源的主机名；
3.资源自身 的名称，由路径表示。
URL的格式由三部分组成：
1.第一部分是协议(或称为服务方式)。
2.第二部分是存有该资源的主机IP地址(有时也包括端口号)。
3.第三部分是主机资源的具体地址，如目录和文件名等。
知乎：HTTP 协议中 URI 和 URL 有什么区别？@西毒 的回答
最近在搞挑战杯可能会有点忙，但还是希望自己能按照计划学习，定期更新此系列。