python爬蟲文件下載
⑴ python爬視頻如果一個ts無法下載怎麼解決
python爬視頻如果一個ts無法下載怎麼解決先在手機中找到緩存的文件，全部復制到電腦上用轉換器轉換即可。
1、首先打開手機QQ瀏覽器，找到已經下載的文件；
2、長按住已下載的文件，直到後面出現可以編輯的小圖標，點擊編輯；
3、打開查看該緩存文件所在目錄位置，記下位置路徑4、打開手機的文件夾管理器，根據剛剛的路徑找到該緩存文件，點擊右上角的編輯按鈕，打開【顯示隱藏文件打開隱藏文件夾之後就可以看到隱藏在緩存視頻的中的單個文件夾，然後就會看到很多TS格式的文件6、將此隱藏文件下的每一個TS格式的文件，全部復制電腦上，新建文件夾，然後下載【狸窩全能視頻轉換器】，目前發現還是這個轉換器比較好用，完全支持TS文件轉碼，添加所有TS文件到轉換器中，然後開始轉碼，靜靜的等待即可；
⑵ Python3.xx中寫爬蟲，下載圖片除了urlretrieve方法，還有什麼庫的什麼方法呢
Part 1. urllib2
urllib2是Python標准庫提供的與網路相關的庫，是寫爬蟲最常用的一個庫之一。
想要使用Python打開一個網址，最簡單的操作即是：
your_url = "http://publicdomainarchive.com/"html = urllib2.urlopen(your_url).read()12
這樣所獲得的就是對應網址(url)的html內容了。
但有的時候這么做還不夠，因為目前很多的網站都有反爬蟲機制，對於這么初級的代碼，是很容易分辨出來的。例如本文所要下載圖片的網站http://publicdomainarchive.com/，上述代碼會返回HTTPError: HTTP Error 403: Forbidden錯誤。
那麼，在這種情況下，下載網路圖片的爬蟲（雖然只有幾行代碼，但一個也可以叫做爬蟲了吧，笑），就需要進一步的偽裝。
要讓爬蟲偽裝成瀏覽器訪問指定的網站的話，就需要加入消息頭信息。所謂的消息頭信息就是在瀏覽器向網路伺服器發送請求時一並發送的請求頭(Request Headers)信息和伺服器返回的響應頭(Response Headers)信息。
例如，使用FireFox打開http://publicdomainarchive.com/時所發送的Request Headers的部分內容如下：
Host:"publicdomainarchive.com/"User-Agent:"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0"Accept:"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"...1234
還有一些其他屬性，但其中偽裝成瀏覽器最重要的部分已經列出來了，即User-Agent信息。
要使用Headers信息，就不能再僅僅向urlopen方法中傳入一個地址了，而是需要將HTTP Request的Headers封裝後傳入：
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'}req = urllib2.Request(url = url, headers = headers)content = urllib2.urlopen(req).read()123
這樣，就獲得了網站的html內容。
接下來，就需要從html去獲取圖片的鏈接。
Part 2. HTMLParser
HTMLParser是Python提供的HTML解析庫之一。
但Python提供的這個類中很多方法都沒有實現，因而基本上這個庫只負責進行解析，但解析完了什麼都不做。所以如果需要對HTML中的某些元素進行加工的話，就需要用戶自己去實現其中的一些方法。本文僅實現其中的handle_starttag方法：
class MyHTMLParser(HTMLParser): #繼承HTMLParser類
def __init__(self): #初始化
HTMLParser.__init__(self) def handle_starttag(self, tag, attrs):
#參數tag即由HTMLParser解析出的開始標簽，attrs為該標簽的屬性
if tag == "img": #下載圖片所需要的img標簽
if len(attrs) == 0: pass
else: for (variable, value) in attrs: #在attrs中找到src屬性，並確定其是我們所要下載的圖片，最後將圖片下載下來（這個方法當然也有其他的寫法）
if variable == "src" and value[0:4] == 'http' and value.find('x') >= 0:
pic_name = value.split('/')[-1] print pic_name
down_image(value, pic_name)123456789101112131415
Part 3. 下載圖片
從handle_starttag方法中，我們已經獲得了圖片的url，那麼，最後一步，我們要下載圖片了。
當然，要獲得網路上的圖片，自然也需要向伺服器發送請求，一樣需要用到urllib2這個庫，也需要用到上面所用到的請求頭。
以下是down_image()方法的主要代碼：
binary_data = urllib2.urlopen(req).read()
temp_file = open(file_name, 'wb')
temp_file.write(binary_data)
temp_file.close()1234
因為這次打開的網址是個圖片，所以urllib2.urlopen(req).read()所獲取的就是圖片的數據，將這些數據需要以二進制的方式寫入本地的圖片文件，即將圖片下載下來了。
因為圖片的url的最後一部分是圖片的名字，所以可以直接用做本地的文件名，不用擔心命名沖突，也不用擔心後綴不符，很是方便。
Part 4. getFreeImages.py
這個下載圖片的腳本的完整代碼如下：
import urllib2,osfrom HTMLParser import HTMLParser
class MyHTMLParser(HTMLParser):
def __init__(self):
HTMLParser.__init__(self) #self.links = {}
def handle_starttag(self, tag, attrs):
#print "Encountered the beginning of a %s tag" % tag
if tag == "img": if len(attrs) == 0: pass
else: for (variable, value) in attrs: if variable == "src" and value[0:4] == 'http' and value.find('x') >= 0:
pic_name = value.split('/')[-1] print pic_name
down_image(value, pic_name)def down_image(url,file_name):
global headers
req = urllib2.Request(url = url, headers = headers)
binary_data = urllib2.urlopen(req).read()
temp_file = open(file_name, 'wb')
temp_file.write(binary_data)
temp_file.close()if __name__ == "__main__":
img_dir = "D:\\Downloads\\domain images"
if not os.path.isdir(img_dir):
os.mkdir(img_dir)
os.chdir(img_dir) print os.getcwd()
url = ""
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'}
all_links = []
hp = MyHTMLParser() for i in range(1,30):
url = 'http://publicdomainarchive.com/public-domain-images/page/' + str(i) + '/'
req = urllib2.Request(url = url, headers = headers)
content = urllib2.urlopen(req).read()
hp.feed(content)
hp.close()041424344454647484950
⑶ 使用Python爬蟲下載圖片，得到的圖片不顯示
你需要檢查一下你的結果，看看是否請求成功了。可能伺服器返回的並不是一個圖片，但是你強制給他寫入到圖片格式文件中了，所以沒辦法顯示。
你可以通過輸出response或者使用抓包軟體來檢查。
⑷ 如何用Python做爬蟲
1）首先你要明白爬蟲怎樣工作。
想像你是一隻蜘蛛，現在你被放到了互聯「網」上。那麼，你需要把所有的網頁都看一遍。怎麼辦呢？沒問題呀，你就隨便從某個地方開始，比如說人民日報的首頁，這個叫initial pages，用$表示吧。
在人民日報的首頁，你看到那個頁面引向的各種鏈接。於是你很開心地從爬到了「國內新聞」那個頁面。太好了，這樣你就已經爬完了倆頁面（首頁和國內新聞）！暫且不用管爬下來的頁面怎麼處理的，你就想像你把這個頁面完完整整抄成了個html放到了你身上。
突然你發現， 在國內新聞這個頁面上，有一個鏈接鏈回「首頁」。作為一隻聰明的蜘蛛，你肯定知道你不用爬回去的吧，因為你已經看過了啊。所以，你需要用你的腦子，存下你已經看過的頁面地址。這樣，每次看到一個可能需要爬的新鏈接，你就先查查你腦子里是不是已經去過這個頁面地址。如果去過，那就別去了。
好的，理論上如果所有的頁面可以從initial page達到的話，那麼可以證明你一定可以爬完所有的網頁。
那麼在python里怎麼實現呢？
很簡單
import Queue
initial_page = "初始化頁"
url_queue = Queue.Queue()
seen = set()
seen.insert(initial_page)
url_queue.put(initial_page)
while(True): #一直進行直到海枯石爛
if url_queue.size()>0:
current_url = url_queue.get() #拿出隊例中第一個的url
store(current_url) #把這個url代表的網頁存儲好
for next_url in extract_urls(current_url): #提取把這個url里鏈向的url
if next_url not in seen:
seen.put(next_url)
url_queue.put(next_url)
else:
break
寫得已經很偽代碼了。
所有的爬蟲的backbone都在這里，下面分析一下為什麼爬蟲事實上是個非常復雜的東西——搜索引擎公司通常有一整個團隊來維護和開發。
2）效率
如果你直接加工一下上面的代碼直接運行的話，你需要一整年才能爬下整個豆瓣的內容。更別說Google這樣的搜索引擎需要爬下全網的內容了。
問題出在哪呢？需要爬的網頁實在太多太多了，而上面的代碼太慢太慢了。設想全網有N個網站，那麼分析一下判重的復雜度就是N*log(N)，因為所有網頁要遍歷一次，而每次判重用set的話需要log(N)的復雜度。OK，OK，我知道python的set實現是hash——不過這樣還是太慢了，至少內存使用效率不高。
通常的判重做法是怎樣呢？Bloom Filter. 簡單講它仍然是一種hash的方法，但是它的特點是，它可以使用固定的內存（不隨url的數量而增長）以O(1)的效率判定url是否已經在set中。可惜天下沒有白吃的午餐，它的唯一問題在於，如果這個url不在set中，BF可以100%確定這個url沒有看過。但是如果這個url在set中，它會告訴你：這個url應該已經出現過，不過我有2%的不確定性。注意這里的不確定性在你分配的內存足夠大的時候，可以變得很小很少。一個簡單的教程:Bloom Filters by Example
注意到這個特點，url如果被看過，那麼可能以小概率重復看一看（沒關系，多看看不會累死）。但是如果沒被看過，一定會被看一下（這個很重要，不然我們就要漏掉一些網頁了！）。 [IMPORTANT: 此段有問題，請暫時略過]
好，現在已經接近處理判重最快的方法了。另外一個瓶頸——你只有一台機器。不管你的帶寬有多大，只要你的機器下載網頁的速度是瓶頸的話，那麼你只有加快這個速度。用一台機子不夠的話——用很多台吧！當然，我們假設每台機子都已經進了最大的效率——使用多線程（python的話，多進程吧）。
3）集群化抓取
爬取豆瓣的時候，我總共用了100多台機器晝夜不停地運行了一個月。想像如果只用一台機子你就得運行100個月了...
那麼，假設你現在有100台機器可以用，怎麼用python實現一個分布式的爬取演算法呢？
我們把這100台中的99台運算能力較小的機器叫作slave，另外一台較大的機器叫作master，那麼回顧上面代碼中的url_queue，如果我們能把這個queue放到這台master機器上，所有的slave都可以通過網路跟master聯通，每當一個slave完成下載一個網頁，就向master請求一個新的網頁來抓取。而每次slave新抓到一個網頁，就把這個網頁上所有的鏈接送到master的queue里去。同樣，bloom filter也放到master上，但是現在master只發送確定沒有被訪問過的url給slave。Bloom Filter放到master的內存里，而被訪問過的url放到運行在master上的Redis里，這樣保證所有操作都是O(1)。（至少平攤是O(1)，Redis的訪問效率見:LINSERT – Redis)
考慮如何用python實現：
在各台slave上裝好scrapy，那麼各台機子就變成了一台有抓取能力的slave，在master上裝好Redis和rq用作分布式隊列。
代碼於是寫成
#slave.py
current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
to_send.append(next_url)
store(current_url);
send_to_master(to_send)
#master.py
distributed_queue = DistributedQueue()
bf = BloomFilter()
initial_pages = "www.renmingribao.com"
while(True):
if request == 'GET':
if distributed_queue.size()>0:
send(distributed_queue.get())
else:
break
elif request == 'POST':
bf.put(request.url)
好的，其實你能想到，有人已經給你寫好了你需要的：darkrho/scrapy-redis · GitHub
4）展望及後處理
雖然上面用很多「簡單」，但是真正要實現一個商業規模可用的爬蟲並不是一件容易的事。上面的代碼用來爬一個整體的網站幾乎沒有太大的問題。
但是如果附加上你需要這些後續處理，比如
有效地存儲（資料庫應該怎樣安排）
有效地判重（這里指網頁判重，咱可不想把人民日報和抄襲它的大民日報都爬一遍）
有效地信息抽取（比如怎麼樣抽取出網頁上所有的地址抽取出來，「朝陽區奮進路中華道」），搜索引擎通常不需要存儲所有的信息，比如圖片我存來幹嘛...
及時更新（預測這個網頁多久會更新一次）
如你所想，這里每一個點都可以供很多研究者十數年的研究。雖然如此，
「路漫漫其修遠兮,吾將上下而求索」。
所以，不要問怎麼入門，直接上路就好了：）
⑸ python爬蟲能做什麼
Python是一門非常適合開發網路爬蟲的編程語言，相比於其他靜態編程語言，Python抓取網頁文檔的介面更簡潔;相比於其他動態腳本語言，Python的urllib2包提供了較為完整的訪問網頁文檔的API。此外，python中有優秀的第三方包可以高效實現網頁抓取，並可用極短的代碼完成網頁的標簽過濾功能。
Python爬蟲架構組成:
1. URL管理器：管理待爬取的url集合和已爬取的url集合，傳送待爬取的url給網頁下載器;
2. 網頁下載器：爬取url對應的網頁，存儲成字元串，傳送給網頁解析器;
3. 網頁解析器：解析出有價值的數據，存儲下來，同時補充url到URL管理器。
Python爬蟲工作原理:
Python爬蟲通過URL管理器，判斷是否有待爬URL，如果有待爬URL，通過調度器進行傳遞給下載器，下載URL內容，並通過調度器傳送給解析器，解析URL內容，並將價值數據和新URL列表通過調度器傳遞給應用程序，並輸出價值信息的過程。
爬蟲可以做什麼？
你可以用爬蟲爬圖片，爬取視頻等等你想要爬取的數據，只要你能通過瀏覽器訪問的數據都可以通過爬蟲獲取。
Python爬蟲常用框架有：
grab：網路爬蟲框架;
scrapy：網路爬蟲框架，不支持Python3;
pyspider：一個強大的爬蟲系統;
cola：一個分布式爬蟲框架;
portia：基於Scrapy的可視化爬蟲;
restkit：Python的HTTP資源工具包。它可以讓你輕松地訪問HTTP資源，並圍繞它建立的對象。
demiurge：基於PyQuery的爬蟲微框架。
⑹ 如何用python爬取網頁中隱藏的div內容
你說的隱藏的div內容，應該是動態載入的數據吧，不在網頁源碼中顯示，只在載入網頁時才請求數據進行顯示，一般情況下，這種數據都保存在一個json文件中，只要抓包分析出這個json文件的url地址，然後再根據json文件結構進行解析，很快就能獲取到動態載入的div數據，下面我以爬取人人貸上面的散標數據為例，簡單介紹一下python如何爬蘆枝取div動態載入的數據，實驗環境win10+python3.6+pycharm5.0，主要步驟如下：
1.首先，打開散標數族咐據，如下，爬取的信息主要包括年利率、借款標題、期限、金額和進度這5個欄位信息：
右鍵對應元素進行檢查，可以看出所有的數據嵌套在div標簽中，如下：
打開網頁源碼，我們按Ctrl+F查找對應的數據，會發現所查找的數據都未在網頁源碼中，如下，即數據都是動態載入，所以直接解析原網頁是找不到div嵌套的數據的：
2.接著，我們按F12調出開發者工具，依次點擊「Network」->「XHR」，F5刷新頁面，就會看到動態載入的json文件，查看這個文件，內容如下，左邊為json文件的url地址，右邊就是我們需要爬取的div數據：
3.最後對應上面的json文件，我們就可以直接獲取並解析json了，這里主要用到requests和json這2個模塊，其中requests用於根據url地址獲取json文件，json用於解析json文件，提取出我們所需要的信息，即div動態載入的數據，測試代碼如下，非常簡單：
運行程序，截圖如下，已經成功爬取到div載入的數據：
至此，我們就完成了利用python爬取div動態載入的數據。總的來說，整個過程非常簡單，最主要的陪穗敏還是抓包分析，只要你有一定的爬蟲基礎，熟悉一下上面的代碼，多調試幾遍程序，很快就能掌握的，當然，你也可以使用selenium進行爬取，直接解析就行，網上也有相關教程和資料可供參考，非常豐富，希望以上分享的內容能對你有所幫助吧，也歡迎大家評論、留言。
⑺ 請問怎麼通過python爬蟲獲取網頁中的pdf文件
首先把鏈接URL爬取出來，然後get流下載pdf文件，再用pdf模塊來讀取它。
⑻ 新手用python3寫網路爬蟲可是下載總不成功
這是編碼格式錯誤，你在代碼前面添加 #-*-coding:utf-8-*-
⑼ python爬蟲 將在線html網頁中的圖片鏈接替換成本地鏈接並將html文件下載到本地
正則匹配原鏈接替換為本地路徑即可