pythonxpath爬蟲

① python爬蟲的工作步驟

當前處於一個大數據的時代，一般網站數據來源有二：網站用戶自身產生的數據和網站從其他來源獲取的數據，今天要分享的是如何從其他網站獲取你想要的數據。

目前最適合用於寫爬蟲的語言是python，python中最受歡迎的爬蟲框架是scrapy,本文圍繞scrapy來展開講解爬蟲是怎麼工作的。

1.如下圖所示，爬蟲從編寫的spider文件中的start_urls開始，這個列表中的url就是爬蟲抓取的第一個網頁，它的返回值是該url對應網頁的源代碼，我們可以用默認的parse(self,response)函數去列印或解析這個源代碼

2.我們獲取到源代碼之後，就可以從網頁源代碼中找到我們想要的信息或需要進一步訪問的url,提取信息這一步，scrapy中集成了xpath,正則(re),功能十分強大，提取到信息之後會通過yield進入到中間件當中。

中間件包括爬蟲中間件和下載中間件，爬蟲中間件主要用於設置處理爬蟲文件中的代碼塊，下載中間件主要用於判斷爬蟲進入網頁前後的爬取狀態，在此中間件中，你可以根據爬蟲的返回狀態去做進一步判斷。

最後我們將yield過來的item，即就是我們想要的數據會在pipeline.py文件中進行處理，存入資料庫，寫入本地文件，都可以在這里進行，另外，為了減少代碼冗餘，建議所有與設置參數有關的參數，都寫在settings.py中去

② 那些年用xpath玩爬蟲時遇到的坑

到目前為止我一直用的xpath方式爬取頁面數據。
我所採取的方法是直接利用xpath爬取其中一條，判斷是否能採取這種方法。
目前遇到的坑有，總結一下

解決方法是，從新分析xpath路徑。繞過這個根節點，從下一級找一個新的根節點

在爬取多個頁面的時候我們需要從URL中找到規律，再利用遍歷達到多個頁面爬取的目的。例如

之前我們在學習GET傳遞參數的時候，知道URl+？+參數1&參數2+.....&參數n傳遞參數。這里我們通過對比兩頁的URL,把多餘的傳參刪除，留下非常簡練的鏈接，當然必須包括keyword，和分頁如file= 1等
對上面的URL簡化

keyword:PHP,分頁curPage = 1，對分頁keyword，進行遍歷拼接。達到了多頁爬取的目的

由於網頁結構問題，網頁中回家如&ndsp的空格字元，你爬取的數據會左右開弓，非常凌亂。整體美觀受到影響。解決方法是strip()函數"itemname.strip()"

當時是爬取51job，取到的前三個欄位為空，在插入excel時會出現三個空欄位，分析發現是div標簽，第一個欄位是div[4]。當時想的辦法是從divp[4]開始取值。失敗，最後解決方法是還是利用strip函數判斷欄位是否為空，不為空取出數據插入list。

從開始接觸，我們習慣了默認的UTF-8編碼。在突然遇到不同的編碼方式如'gbk'，你爬取的欄位就是一堆亂碼

這個是我，一直跑火車，跑習慣了。紅燈亂闖。
我沒有加headers,也就是當前網頁的綠燈。這個是真的沒有想到，之前一直是以為headers 是模仿瀏覽器才去用。所以往往第一步就把我擋在了外面。
所以在爬取不管哪個網站你最好是加上headers,遵守交通規則。才能爬到你想要的數據

吃虧是福啊，在python的路上多吃點虧沒錯

③ python里的爬蟲如何使用xpath 提取script里的元素

xpath也許只能提取html元素？
建議你先把content保存到本地文件，看看需要的內容有沒有下載下來。
你這個屬於script內容，看看直接正則能獲得嗎？

④ Python爬蟲入門並不難，就看你如何選擇

1.了解爬蟲的基本原理及過程
2.Requests+Xpath 實現通用爬蟲套路
3.了解非結構化數據的存儲
4.應對特殊網站的反爬蟲措施
5.Scrapy 與 MongoDB，進階分布式

⑤ python爬蟲中的xpath 中strong該怎麼寫

網頁鏈接這里！這里！

⑥ 如何學習python爬蟲

爬蟲是入門Python最好的方式，沒有之一。 Python有很多應用的方向，比如後台開發、web開發、科學計算等等，但爬蟲對於初學者而

言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。

掌握基本的爬蟲後，你再去學習Python數據分析、web開發甚至機器學習，都會更得心應手。因為這個過程中，Python基本語法、庫的

使用，以及如何查找文檔你都非常熟悉了。

對於小白來說，爬蟲可能是一件非常復雜、技術門檻很高的事情。比如有的人則認為先要掌握網頁的知識，遂 開始 HTMLCSS，結果入了前端的坑 ，瘁……

但掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現，但建議你從 一開始就要有一個具體的目標。

在目標的驅動下，你的學習才會更加精準和高效。 那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。 這里給你一

條平滑的、零基礎快速入門的學習路徑。

python學習網，免費的python學習網站，歡迎在線學習！

學習 Python 包並實現基本的爬蟲過程

大部分爬蟲都是按 「發送請求——獲得頁面——解析頁面——抽取並儲存內容」 這樣的流程來進行，這其實也是模擬了我們使用瀏覽器

獲取網頁信息的過程。

Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等， 建議從requests+Xpath 開始 ，requests 負責連接網

站，返回網頁，Xpath 用於解析網頁，便於抽取數據。

如果你用過 BeautifulSoup，會發現 Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多， 一

般的靜態網站根本不在話下，豆瓣、糗事網路、騰訊新聞等基本上都可以上手了 。

掌握各種技巧，應對特殊網站的反爬措施

當然，爬蟲過程中也會經歷一些絕望啊，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態載入等等。

遇到這些反爬蟲的手段，當然還需要一些高級的技巧來應對，常規的比如 訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等 。

往往網站在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了。

學習 scrapy，搭建工程化的爬蟲

掌握前面的技術一般量級的數據和代碼基本沒有問題了，但是在遇到非常復雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy

框架就非常有用了。

scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人

驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。

學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。

學習資料庫基礎，應對大規模數據存儲

爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。所以掌握一種資料庫是必須的，學習目前

比較主流的 MongoDB 就OK。

MongoDB 可以方便你去存儲一些非結構化的數據 ，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在

Python中操作MongoDB。

因為這里要用到的資料庫知識其實非常簡單，主要是 數據如何入庫、如何進行提取 ，在需要的時候再學習就行。

分布式爬蟲，實現大規模並發採集

爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字： 分布

式爬蟲 。

分布式這個東西，聽起來很恐怖， 但其實就是利用多線程的原理讓多個爬蟲同時工作 ，需要你掌握 Scrapy + MongoDB + Redis 這三種工具 。

Scrapy 前面我們說過了，用於做基本的頁面爬取，MongoDB 用於存儲爬取的數據，Redis 則用來存儲要爬取的網頁隊列，也就是任務

隊列。

所以有些東西看起來很嚇人，但其實分解開來，也不過如此。當你能夠寫分布式的爬蟲的時候，那麼你可以去嘗試打造一些基本的爬蟲架

構了，實現一些更加自動化的數據獲取。

你看，這一條學習路徑下來，你已然可以成為老司機了，非常的順暢。所以在一開始的時候，盡量不要系統地去啃一些東西，找一個實際

的項目（開始可以從豆瓣、小豬這種簡單的入手），直接開始就好 。

⑦ python3.7爬蟲使用xpath解析，獲取的表格數據為什麼不全面

我認為是xpath默認提取xpath第一個tr屬性了，xpath 表達式改成'//div[@class="row"]//table//tr[@height="38px" or @height=""]'