python爬蟲貼吧

1. 如何用python做爬蟲

在我們日常上網瀏覽網頁的時候，經常會看到一些好看的圖片，我們就希望把這些圖片保存下載，或者用戶用來做桌面壁紙，或者用來做設計的素材。

我們最常規的做法就是通過滑鼠右鍵，選擇另存為。但有些圖片滑鼠右鍵的時候並沒有另存為選項，還有辦法就通過就是通過截圖工具截取下來，但這樣就降低圖片的清晰度。好吧其實你很厲害的，右鍵查看頁面源代碼。

我們可以通過python來實現這樣一個簡單的爬蟲功能，把我們想要的代碼爬取到本地。下面就看看如何使用python來實現這樣一個功能。

2. IDLE+Shell+3.9.7怎樣爬蟲

這是一個適用於小白的Python爬蟲免費教學分享，只有7節，讓零基礎的你初步了解爬蟲，跟著課程內容能自己爬取資源。看著文章，打開電腦動手實踐，平均45分鍾就能學完一節，如果你願意，今天內你就可以邁入爬蟲的大門啦~

話不多說，正式開始我們的第一節課《Python環境的安裝》吧~

啦啦啦開課啦，看黑板，都看黑板~

1. 安裝Anaconda

在我們的教學中，我們使用的版本是Python3，至於為什麼要選Python3，哼哼！

工欲善其事，必先利其器，在學習爬蟲之前，你得先搭建自己的編程環境。廢話不多說，按照下面的方法搭建吧：

1.1 下載Anaconda

打開Anaconda網頁後，看到這樣的頁面：

根據你的電腦系統，選擇相應版本的 Anaconda（記住選擇 Python 3.6 的版本），Mac OS 用戶選擇 Mac 版本即可，如果不想麻煩，請選擇 Graphical Installer。

1.2 安裝 Anaconda

選擇默認位置安裝即可：

兩個選擇框都勾上，安裝：

1.3 在開始菜單中查看 Anaconda

Anaconda 裝好之後，可以在開始菜單查看。可以看到包含了如下圖所示的組件：

之後我們會用到的主要是：

Anaconda Prompt：Anaconda 自帶的命令行

Jupyter Notebook：一個簡單易用、適合入門的 IDE

2. 安裝常用包

2.1 安裝 Python 包 requests

打開 cmd 終端，輸入 pip install requests，若安裝不成功，可以嘗試：conda install requests

出現 Successfully installed，即表示成功安裝。若需檢測，先輸入 Python，再輸入 import requests，未出現報錯，表示安裝成功，可以正常使用。註：操作完記得退出：quit()。

如果安裝時顯示 conda 不是內部或外部命令，用下面的方式安裝（如未報錯則不必用下面的方法）

• 在開始菜單打開 Anaconda Prompt：

• 在 Anaconda Prompt 輸入 conda install requests：

2.2 安裝 Python 包 lxml

同樣在終端輸入： conda install lxml，出現 Successfully installed，即表示成功安裝，若不能成功安裝，請嘗試如下方法。

• 前往 http://www.lfd.uci.e/~gohlke/pythonlibs/，手動下載需要安裝的第三方包（注意對應你的python版本是32位還是64位）。

• 在下載下來的文件所在目錄按住shift並點擊滑鼠右鍵，選擇在此處打開Powershell窗口，在此命令行中使用 pip install + 下載下來文件全名 ，即可完成安裝。

所以你該知道如何安裝 Python 包了吧，通用方法是，在終端輸入：conda install + 包名稱 或者 pip install + 包名稱。出現特殊的不能安裝的情況，可以去下載之後進行安裝。

3. Jupyter Notebook

3.1 開啟Jupyter Notebook

在開始菜單打開 Jupyter Notebook：

Jupyter 將會在網頁中自動打開：

3.2 Jupyter Notebook 界面

Files：你當前工作環境下的所有項目（代碼）、默認存儲的文件都在這里：

Runing：你目前正在運行的項目都在這里：

3.3 新建一個文檔，開始寫代碼

依次點擊右上方 ：New > Python 3，即新建了一個 Ipython 文件，如圖：

點擊上方 Utitled 可以更改文檔的名稱，下面的空間就可以寫代碼啦：

3.4 Jupyter Notebook 功能簡介

4. 創建第一個實例：爬取網路首頁

僅用四行代碼，我們就可以把網路首頁的內容下載下來：

1.導入 requests 庫；2.下載網路首頁內容；3.更改編碼；4.列印內容

具體爬蟲原理及代碼的內涵，在下一節的案例中詳細講解~

好了，這節課就到這里

3. 如何用Python做爬蟲

1）首先你要明白爬蟲怎樣工作。

想像你是一隻蜘蛛，現在你被放到了互聯「網」上。那麼，你需要把所有的網頁都看一遍。怎麼辦呢？沒問題呀，你就隨便從某個地方開始，比如說人民日報的首頁，這個叫initial pages，用$表示吧。

在人民日報的首頁，你看到那個頁面引向的各種鏈接。於是你很開心地從爬到了「國內新聞」那個頁面。太好了，這樣你就已經爬完了倆頁面（首頁和國內新聞）！暫且不用管爬下來的頁面怎麼處理的，你就想像你把這個頁面完完整整抄成了個html放到了你身上。

突然你發現， 在國內新聞這個頁面上，有一個鏈接鏈回「首頁」。作為一隻聰明的蜘蛛，你肯定知道你不用爬回去的吧，因為你已經看過了啊。所以，你需要用你的腦子，存下你已經看過的頁面地址。這樣，每次看到一個可能需要爬的新鏈接，你就先查查你腦子里是不是已經去過這個頁面地址。如果去過，那就別去了。

好的，理論上如果所有的頁面可以從initial page達到的話，那麼可以證明你一定可以爬完所有的網頁。

那麼在python里怎麼實現呢？
很簡單

import Queue

initial_page = "初始化頁"

url_queue = Queue.Queue()
seen = set()

seen.insert(initial_page)
url_queue.put(initial_page)

while(True): #一直進行直到海枯石爛
if url_queue.size()>0:
current_url = url_queue.get() #拿出隊例中第一個的url
store(current_url) #把這個url代表的網頁存儲好
for next_url in extract_urls(current_url): #提取把這個url里鏈向的url
if next_url not in seen:
seen.put(next_url)
url_queue.put(next_url)
else:
break

寫得已經很偽代碼了。

所有的爬蟲的backbone都在這里，下面分析一下為什麼爬蟲事實上是個非常復雜的東西——搜索引擎公司通常有一整個團隊來維護和開發。

2）效率
如果你直接加工一下上面的代碼直接運行的話，你需要一整年才能爬下整個豆瓣的內容。更別說Google這樣的搜索引擎需要爬下全網的內容了。

問題出在哪呢？需要爬的網頁實在太多太多了，而上面的代碼太慢太慢了。設想全網有N個網站，那麼分析一下判重的復雜度就是N*log(N)，因為所有網頁要遍歷一次，而每次判重用set的話需要log(N)的復雜度。OK，OK，我知道python的set實現是hash——不過這樣還是太慢了，至少內存使用效率不高。

通常的判重做法是怎樣呢？Bloom Filter. 簡單講它仍然是一種hash的方法，但是它的特點是，它可以使用固定的內存（不隨url的數量而增長）以O(1)的效率判定url是否已經在set中。可惜天下沒有白吃的午餐，它的唯一問題在於，如果這個url不在set中，BF可以100%確定這個url沒有看過。但是如果這個url在set中，它會告訴你：這個url應該已經出現過，不過我有2%的不確定性。注意這里的不確定性在你分配的內存足夠大的時候，可以變得很小很少。一個簡單的教程:Bloom Filters by Example

注意到這個特點，url如果被看過，那麼可能以小概率重復看一看（沒關系，多看看不會累死）。但是如果沒被看過，一定會被看一下（這個很重要，不然我們就要漏掉一些網頁了！）。 [IMPORTANT: 此段有問題，請暫時略過]

好，現在已經接近處理判重最快的方法了。另外一個瓶頸——你只有一台機器。不管你的帶寬有多大，只要你的機器下載網頁的速度是瓶頸的話，那麼你只有加快這個速度。用一台機子不夠的話——用很多台吧！當然，我們假設每台機子都已經進了最大的效率——使用多線程（python的話，多進程吧）。

3）集群化抓取
爬取豆瓣的時候，我總共用了100多台機器晝夜不停地運行了一個月。想像如果只用一台機子你就得運行100個月了...

那麼，假設你現在有100台機器可以用，怎麼用python實現一個分布式的爬取演算法呢？

我們把這100台中的99台運算能力較小的機器叫作slave，另外一台較大的機器叫作master，那麼回顧上面代碼中的url_queue，如果我們能把這個queue放到這台master機器上，所有的slave都可以通過網路跟master聯通，每當一個slave完成下載一個網頁，就向master請求一個新的網頁來抓取。而每次slave新抓到一個網頁，就把這個網頁上所有的鏈接送到master的queue里去。同樣，bloom filter也放到master上，但是現在master只發送確定沒有被訪問過的url給slave。Bloom Filter放到master的內存里，而被訪問過的url放到運行在master上的Redis里，這樣保證所有操作都是O(1)。（至少平攤是O(1)，Redis的訪問效率見:LINSERT – Redis)

考慮如何用python實現：
在各台slave上裝好scrapy，那麼各台機子就變成了一台有抓取能力的slave，在master上裝好Redis和rq用作分布式隊列。

代碼於是寫成

#slave.py

current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
to_send.append(next_url)

store(current_url);
send_to_master(to_send)

#master.py
distributed_queue = DistributedQueue()
bf = BloomFilter()

initial_pages = "www.renmingribao.com"

while(True):
if request == 'GET':
if distributed_queue.size()>0:
send(distributed_queue.get())
else:
break
elif request == 'POST':
bf.put(request.url)

好的，其實你能想到，有人已經給你寫好了你需要的：darkrho/scrapy-redis · GitHub

4）展望及後處理
雖然上面用很多「簡單」，但是真正要實現一個商業規模可用的爬蟲並不是一件容易的事。上面的代碼用來爬一個整體的網站幾乎沒有太大的問題。

但是如果附加上你需要這些後續處理，比如

有效地存儲（資料庫應該怎樣安排）

有效地判重（這里指網頁判重，咱可不想把人民日報和抄襲它的大民日報都爬一遍）

有效地信息抽取（比如怎麼樣抽取出網頁上所有的地址抽取出來，「朝陽區奮進路中華道」），搜索引擎通常不需要存儲所有的信息，比如圖片我存來幹嘛...

及時更新（預測這個網頁多久會更新一次）

如你所想，這里每一個點都可以供很多研究者十數年的研究。雖然如此，
「路漫漫其修遠兮,吾將上下而求索」。

所以，不要問怎麼入門，直接上路就好了：）

4. python3爬蟲爬百度貼吧decode("utf-8")出錯

我寫了下代碼。沒有編碼問題，是不是不用decode?

import requests

r1 = requests.get("http://tieba..com/f?ie=utf-8&kw=python&fr=search")

print(r1.text)

5. 如何入門 Python 爬蟲

「入門」是良好的動機，但是可能作用緩慢。如果你手裡或者腦子里有一個項目，那麼實踐起來你會被目標驅動，而不會像學習模塊一樣慢慢學習。

如果你想要入門Python爬蟲，你需要做很多准備。首先是熟悉python編程；其次是了解HTML；

還要了解網路爬蟲的基本原理；最後是學習使用python爬蟲庫。

如果你不懂python，那麼需要先學習python這門非常easy的語言。編程語言基礎語法無非是數據類型、數據結構、運算符、邏輯結構、函數、文件IO、錯誤處理這些，學起來會顯枯燥但並不難。

剛開始入門爬蟲，你甚至不需要去學習python的類、多線程、模塊之類的略難內容。找一個面向初學者的教材或者網路教程，花個十幾天功夫，就能對python基礎有個三四分的認識了。

網路爬蟲的含義：

網路爬蟲，其實也可以叫做網路數據採集更容易理解。就是通過編程向網路伺服器請求數據（HTML表單），然後解析HTML，提取出自己想要的數據。

這會涉及到資料庫、網路伺服器、HTTP協議、HTML、數據科學、網路安全、圖像處理等非常多的內容。但對於初學者而言，並不需要掌握這么多。

6. python爬蟲如何分析一個將要爬取的網站

首先，你去爬取一個網站，

你會清楚這個網站是屬於什麼類型的網站（新聞，論壇，貼吧等等）。

你會清楚你需要哪部分的數據。

你需要去想需要的數據你將如何編寫表達式去解析。

你會碰到各種反爬措施，無非就是各種網路各種解決。當爬取成本高於數據成本，你會選擇放棄。

你會利用你所學各種語言去解決你將要碰到的問題，利用各種語言的client組件去請求你想要爬取的URL，獲取到HTML，利用正則，XPATH去解析你想要的數據，然後利用sql存儲各類資料庫。

7. python爬蟲編碼錯誤 UnicodeEncodeError: 'gbk' codec can't encode character '\xae' in position

搞定

8. python3 爬取圖片異常的原因

我們在下載文件時，一會會採取urlretrieve或是requests的get方式，
from urllib.request import urlretrieve
urlretrieve(self.url, filename="xxx.png")
但對於連續下載，各個文件保存是需要時間的，而程序運行永運是快於存儲的，我懷疑這是水管里流水速度與缸的大小不合適的原因，那可以試試下面這種方式：
r = requests.get(url, stream=True)
with open(local_filename, 'wb') as f:
for chunk in r.iter_content(chunk_size=1024):
if chunk: # filter out keep-alive new chunks
f.write(chunk)
f.flush()

9. python新手求助 關於爬蟲的簡單例子

#coding=utf-8
from bs4 import BeautifulSoup
with open('index.html', 'r') as file:
fcontent = file.read()

sp = BeautifulSoup(fcontent, 'html.parser')

t = 'new_text_for_replacement'

# replace the paragraph using `replace_with` method
sp.find(itemprop='someprop').replace_with(t)

# open another file for writing
with open('output.html', 'w') as fp:
# write the current soup content
fp.write(sp.prettify())
如果要替換段落的內容而不是段落元素本身，可以設置.string屬性。

sp.find(itemprop='someprop').string = t
贊0收藏0評論0分享
用戶回答回答於 2018-07-26
問題取決於你搜索標準的方式，嘗試更改以下代碼：

print(sp.replace(sp.find(itemprop="someprop").text,t))
對此：

print(sp.replace(sp.find({"itemprop":"someprop"}).text,t))

# coding:utf-8

from bs4 import BeautifulSoup
import requests
import os
url = 'https://'
r = requests.get(url)
demo = r.text # 伺服器返回響應

soup = BeautifulSoup(demo, "html.parser")
"""
demo 表示被解析的html格式的內容
html.parser表示解析用的解析器
"""
# 輸出響應的html對象
ab = list()
with open("D:\\temp\\mii.txt","w+",encoding="utf-8") as xxx:

for mi in soup.find_all('a'):
ab.append(mi.prettify()) # 使用prettify()格式化顯示輸出
# xxx.writelines(str(mi))
xxx.writelines(ab)
xxx.close()

10. 如何用python寫爬蟲 知乎

學習

基本的爬蟲工作原理
基本的http抓取工具，scrapy
Bloom Filter: Bloom Filters by Example
如果需要大規模網頁抓取，你需要學習分布式爬蟲的概念。其實沒那麼玄乎，你只要學會怎樣維護一個所有集群機器能夠有效分享的分布式隊列就好。最簡單的實現是python-rq: https://github.com/nvie/rq
rq和Scrapy的結合：darkrho/scrapy-redis · GitHub
後續處理，網頁析取(grangier/python-goose · GitHub)，存儲(Mongodb)