網頁爬蟲腳本

① 怎麼用python爬取一個網站的網頁數量

要准確統計一個網站的網頁數量，首先需要明確網站的具體網址。通過分析該網站的結構，可以構造出一系列的URL。接下來，可以使用Python編寫一個腳本，通過for循環遍歷這些URL，對每個頁面進行訪問並記錄下來，以此來統計網頁數量。具體操作步驟如下：

1. 使用Python中的requests庫發送HTTP請求，獲取網頁內容；

2. 利用BeautifulSoup庫解析網頁，獲取頁面中的鏈接信息；

3. 對每個鏈接進行檢查，確保其有效性，避免訪問錯誤鏈接；

4. 使用集合或列表存儲已訪問的鏈接，防止重復訪問；

5. 設置一個計數器，每訪問一個有效的鏈接，計數器加一；

6. 通過for循環遍歷鏈接列表，直至沒有新的鏈接可訪問為止；

7. 最後，計數器的值即為該網站的網頁數量。

值得注意的是，這種方法可能無法統計所有類型的網頁，特別是那些需要登錄才能訪問的頁面或通過JavaScript動態載入的頁面。對於這類頁面，可能需要使用Selenium等工具來模擬瀏覽器行為。

在進行爬蟲開發時，請務必遵守目標網站的robots.txt文件規則，避免對網站造成不必要的負擔。同時，合理設置請求間隔，避免短時間內大量請求導致伺服器壓力過大。

希望上述方法對你有所幫助，如果有具體網站需要統計，可以嘗試按照上述步驟編寫Python腳本進行實現。

② 如何利用Python爬蟲從網頁上批量獲取想要的信息

稍微說一下背景，當時我想研究蛋白質與小分子的復合物在空間三維結構上的一些規律，首先得有數據啊，數據從哪裡來？就是從一個涵蓋所有已經解析三維結構的蛋白質-小分子復合物的資料庫裡面下載。這時候，手動一個個去下顯然是不可取的，我們需要寫個腳本，能從特定的網站選擇性得批量下載需要的信息。python是不錯的選擇。

import urllib #python中用於獲取網站的模塊
import urllib2, cookielib

有些網站訪問時需要cookie的，python處理cookie代碼如下：
cj = cookielib.CookieJar ( )
opener = urllib2.build_opener( urllib2.HttpCookieProcessor(cj) )
urllib2.install_opener （opener）

通常我們需要在網站中搜索得到我們需要的信息，這里分為二種情況：

1. 第一種，直接改變網址就可以得到你想要搜索的頁面：

def GetWebPage( x ): #我們定義一個獲取頁面的函數，x 是用於呈遞你在頁面中搜索的內容的參數
url = 'http://xxxxx/xxx.cgi?&' + 『你想要搜索的參數』 # 結合自己頁面情況適當修改
page = urllib2.urlopen(url)
pageContent = page.read( )
return pageContent #返回的是HTML格式的頁面信息

2.第二種，你需要用到post方法，將你搜索的內容放在postdata裡面，然後返回你需要的頁面

def GetWebPage( x ): #我們定義一個獲取頁面的函數，x 是用於呈遞你在頁面中搜索的內容的參數
url = 'http://xxxxx/xxx' #這個網址是你進入搜索界面的網址
postData = urllib.urlencode( { 各種『post』參數輸入 } ) #這裡面的post參數輸入需要自己去查
req= urllib2.Request (url, postData)
pageContent = urllib2.urlopen (req). read( )
return pageContent #返回的是HTML格式的頁面信息

在獲取了我們需要的網頁信息之後，我們需要從獲得的網頁中進一步獲取我們需要的信息，這里我推薦使用 BeautifulSoup 這個模塊， python自帶的沒有，可以自行網路谷歌下載安裝。 BeautifulSoup 翻譯就是『美味的湯』，你需要做的是從一鍋湯裡面找到你喜歡吃的東西。

import re # 正則表達式，用於匹配字元
from bs4 import BeautifulSoup # 導入BeautifulSoup 模塊

soup = BeautifulSoup（pageContent） #pageContent就是上面我們搜索得到的頁面

soup就是 HTML 中所有的標簽（tag）BeautifulSoup處理格式化後的字元串，一個標準的tag形式為：

hwkobe24

通過一些過濾方法，我們可以從soup中獲取我們需要的信息：

（1） find_all ( name , attrs , recursive , text , **kwargs)
這裡面，我們通過添加對標簽的約束來獲取需要的標簽列表， 比如 soup.find_all ('p') 就是尋找名字為『p』的 標簽，而soup.find_all (class = "tittle") 就是找到所有class屬性為"tittle" 的標簽，以及soup.find_all ( class = re.compile('lass')) 表示 class屬性中包含『lass』的所有標簽，這里用到了正則表達式（可以自己學習一下，非常有用滴）

當我們獲取了所有想要標簽的列表之後，遍歷這個列表，再獲取標簽中你需要的內容，通常我們需要標簽中的文字部分，也就是網頁中顯示出來的文字，代碼如下：

tagList = soup.find_all (class="tittle") #如果標簽比較復雜，可以用多個過濾條件使過濾更加嚴格

for tag in tagList:
print tag.text
f.write ( str(tag.text) ) #將這些信息寫入本地文件中以後使用

（2）find( name , attrs , recursive , text , **kwargs )

它與 find_all( ) 方法唯一的區別是 find_all() 方法的返回結果是值包含一個元素的列表,而 find() 方法直接返回結果

（3）find_parents( ) find_parent( )

find_all() 和 find() 只搜索當前節點的所有子節點,孫子節點等. find_parents() 和 find_parent() 用來搜索當前節點的父輩節點,搜索方法與普通tag的搜索方法相同,搜索文檔搜索文檔包含的內容

（4）find_next_siblings() find_next_sibling()

這2個方法通過 .next_siblings 屬性對當 tag 的所有後面解析的兄弟 tag 節點進代, find_next_siblings() 方法返回所有符合條件的後面的兄弟節點,find_next_sibling() 只返回符合條件的後面的第一個tag節點

（5）find_previous_siblings() find_previous_sibling()

這2個方法通過 .previous_siblings 屬性對當前 tag 的前面解析的兄弟 tag 節點進行迭代, find_previous_siblings()方法返回所有符合條件的前面的兄弟節點, find_previous_sibling() 方法返回第一個符合條件的前面的兄弟節點

（6）find_all_next() find_next()

這2個方法通過 .next_elements 屬性對當前 tag 的之後的 tag 和字元串進行迭代, find_all_next() 方法返回所有符合條件的節點, find_next() 方法返回第一個符合條件的節點

（7）find_all_previous() 和 find_previous()

這2個方法通過 .previous_elements 屬性對當前節點前面的 tag 和字元串進行迭代, find_all_previous() 方法返回所有符合條件的節點, find_previous()方法返回第一個符合條件的節點

具體的使用方法還有很多，用到這里你應該可以解決大部分問題了，如果要更深入了解可以參考官方的使用說明哈！

③ 爬蟲（二）瀏覽器如何識別selenium及爬蟲如何繞過反爬

識別selenium及繞過反爬策略

網站開發者在面對自動化腳本，如selenium的爬蟲，時通常會採取反爬措施。這類措施主要基於識別selenium運行時的特徵。selenium打開瀏覽器後，js會為當前窗口提供window.navigator.webdriver屬性，這成為了最常見的識別手段。若要繞過此檢測，可以嘗試使用不同的瀏覽器，如火狐（Firefox），因為它與selenium的兼容性可能有所不同。另一種方法是在webdriver的options中增加參數，如在谷歌瀏覽器設置中禁用自動化提示，可以避免此類識別。

中間人代理，如mitmproxy，可以被用來對伺服器和客戶端進行「欺騙」，通過更改數據傳遞來實現對某些反爬策略的規避。在使用mitmproxy時，可以編寫腳本來自定義數據傳遞流程，以適應特定的反爬需求。

pyppeteer是另一個用於操作瀏覽器的工具，特別適用於谷歌無頭模式。與selenium相比，pyppeteer在模擬真實用戶行為方面更接近，但由於其基於node.js和谷歌無頭模式，使用范圍受到限制。官方文檔提供了詳細的使用指南和示例。

編譯後的chromedriver提供了另一種繞過檢測的途徑。通過底層修改，它能直接用於登錄檢測嚴格的網站，如淘寶。這種方式對於特定場景下的反爬策略可能有效，但依賴於開發者對底層技術的深入理解。

總結來說，繞過selenium反爬策略需要根據具體的反爬措施調整策略。使用不同的瀏覽器、調整瀏覽器設置、利用中間人代理、嘗試無頭模式操作，以及使用特殊版本的chromedriver等方法，都是常見的應對策略。隨著技術的不斷進步，新的反爬技術和方法也不斷出現，因此開發者需要保持對最新動態的關注。在實際應用中，可能需要結合多種策略，以達到最佳的繞過效果。