pythonurl文件名
給你一個url你是不是有對應的惡意rul庫來判斷呢？如果僅僅靠掃描判斷不靠譜，如果你有惡意rul庫就讀取一個慢慢匹配唄
import urllib;
#假設txt名字叫url.txt
src = urlopen('url.txt')
for i in src.readlines():
#假設你的惡意url庫為rullist列表
if i in rullist:
print i, '為惡意url'
⑵ python安裝setuptools 檢測時提示錯誤:沒有指定url、文件名或需求，應該怎麼解決請詳細說明 萬分感謝
easy_install後面帶包名，比如
easy_installrequests
⑶ Python獲取url中域名及從域名中提取ip的方法
這種方法為從urlparse模塊中通過urlparse方法提取url通過hostname屬性獲取當前url的域名。
此方法是通過urllib模塊中splittype方法先從url中獲取到proto協議及rest結果，然後通過splithost從rest中獲取到host及rest結果，此時host為域名。（rest被分割了兩次）如下圖：
此方法為從sokcet模塊中獲取到gethostbyname方法將域名傳遞進去就能解析出域名的ip。
此方法為通過nslookup獲取域名的ip。
以上從域名中提取ip會不準確，需要設置DNS伺服器，這樣解析域名就准確了。
⑷ python如何解析url獲取host
最近在工作中需要將url的host和path路徑分開存儲，python內置的 urlparse ， 支持我們優雅的解決這個問題， 參考地址
由上文我們可以看到，url被拆分的很細致，提取的方法也很簡單，只需要給屬性取一個別名，後面跟上解析的key，即可匹配出解析文本。
⑸ python指定url
今天簡單使用了一下python的re模塊和lxml模塊，分別利用的它們提供的正則表達式和xpath來解析頁面源碼從中提取所需的title，xpath在完成這樣的小任務上效率非常好，在這里之所以又使用了一下正則表達式是因為xpath在處理一些特殊的頁面的時候會出現亂碼的情況，當然這不是xpath的原因，而是頁面本身編碼，跟utf-8轉碼之間有沖突所致，這里看代碼：
python抽取指定url頁面的title方法（python獲取當前頁面的url） python 抽取 url title 腳本之家 第1張
# !/usr/bin/python
#-*-coding:utf-8-*-
'''
功能：抽取指定url的頁面內容中的title
'''
import re
import chardet
import urllib
from lxml import etree
def utf8_transfer(strs):
'''
utf8編碼轉換
'''
try:
if isinstance(strs, unicode):
strs = strs.encode('utf-8')
elif chardet.detect(strs)['encoding'] == 'GB2312':
strs = strs.decode("gb2312", 'ignore').encode('utf-8')
elif chardet.detect(strs)['encoding'] == 'utf-8':
strs = strs.decode('utf-8', 'ignore').encode('utf-8')
except Exception, e:
print 'utf8_transfer error', strs, e
return strs
def get_title_xpath(Html):
'''
用xpath抽取網頁Title
'''
Html = utf8_transfer(Html)
Html_encoding = chardet.detect(Html)['encoding']
page = etree.HTML(Html, parser=etree.HTMLParser(encoding=Html_encoding
⑹ python字元串與url編碼的轉換實例
python字元串與url編碼的轉換實例
今天小編就為大家分享一篇python字元串與url編碼的轉換實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
主要應用的場景
爬蟲生成帶搜索詞語的網址
1.字元串轉為url編碼
import urllib
poet_name = "李白"
url_code_name = urllib.quote(poet_name)
print url_code_name
#輸出
#%E6%9D%8E%E7%99%BD
2.url編碼轉為字元串
import urllib
url_code_name = "%E6%9D%8E%E7%99%BD"
name = urllib.unquote(url_code_name)
print name
#輸出
#李白
以上這篇python字元串與url編碼的轉換實例就是小編分享給大家的全部內容了篇文章的全部內容了，希望本文的內容對大家的學習或者工作能帶來一定的幫助
⑺ 【壹】Python爬蟲入門——認識URL
【系列前言】前段時間李響同學入門了一些Python的基礎知識，覺得一直在IDLE里print一些演算法題有一些枯燥，所以決定通過學習爬蟲來提高自己的興趣。而且最近確實有一些重復性勞動，想使用爬蟲簡化工作。遂打算邊自學邊寫自己自學的過程，一方面作為小白的我可以和其他Python大神交流，一方面也可以以此監督自己。
【本人使用Python版本：2.7.5】
首先按理解一下爬蟲（Spider），如果把一個站點比作一張縱橫交錯的蜘蛛網，那麼我們爬蟲要做的就是在這張網上爬來爬去，獲得這張網上的信息和資源。而Web上每種資源，比如HTML文檔、圖片、視頻等都由一個URI（Universal Resource Identifier，通用資源標志符)進行定位。 URL（Uniform Resource Locator，統一資源定位符）是URI的子集。採用URL可以用一種統一的格式來描述各種信息資源，包括文件、伺服器的地址和目錄等。而爬蟲主要的處理對象就是URL。所以務必要對URL有一定的熟悉。
URI通常由三部分組成：
1.訪問資源的命名機制；
2.存放資源的主機名；
3.資源自身 的名稱，由路徑表示。
URL的格式由三部分組成：
1.第一部分是協議(或稱為服務方式)。
2.第二部分是存有該資源的主機IP地址(有時也包括埠號)。
3.第三部分是主機資源的具體地址，如目錄和文件名等。
知乎：HTTP 協議中 URI 和 URL 有什麼區別？@西毒 的回答
最近在搞挑戰杯可能會有點忙，但還是希望自己能按照計劃學習，定期更新此系列。