pythonnetwork

⑴ python網頁爬蟲如何獲取Network中的response

你好,

獲取某個url請求的響應,現在python比較受歡迎的庫就是requests了,我就拿requests這個庫給你舉個簡單的例子吧:

requests庫最簡單的功能應該就是獲取某個url請求了,說白了就是使到某個頁面的源碼, 我在本地搭了個web伺服器,在根目錄下有一個example.html文件,我們在瀏覽器中訪問這個頁面會顯示 "Hello Friend":

example.html文件內容:

從上到下四個紅框的意思:

1. 導入requests庫;
   

2. 使用requests庫的get()方法訪問url: http://127.0.0.1/example.html,並將伺服器響應回來的內容封裝好賦給變數response;

3. 使用response對象的text屬性來獲取剛剛訪問url的響應內容;

4. 因為response.text輸出的內容沒有格式化,所以這里又使用print()函數列印一下,這樣看起來更清晰一點

最後我們可以再導入像re這樣的正則庫去response.text中拿到我們想得到的內容

**.一點點建議:

requests庫很常用,但建議先稍系統的學一下該庫常用的方法和屬性,有一個大概的了解,再去找簡單的例子練練手,一點點找感覺.這樣會好一點.像requests官方文檔應該有中文的,把tutorial看完了簡單的一些操作就不在話下了.如果你沒有學習相應要用的庫,然後就按自己的想法去操作,步步都是坎,這樣不僅耗時長,而且長時間沒有進展會很打擊積極性的.

希望對你有幫助,歡迎追問