python怎麼抓取網頁數據
㈠ 如何用python爬取數據
方法/步驟
在做爬取數據之前，你需要下載安裝兩個東西，一個是urllib,另外一個是python-docx。
7
這個爬下來的是源代碼，如果還需要篩選的話需要自己去添加各種正則表達式。
㈡ 如何用python抓取網頁資料庫
最簡單可以用urllib，python2.x和python3.x的用法不同，以python2.x為例：
import urllib
html = urllib.open(url)
text = html.read()
復雜些可以用requests庫，支持各種請求類型，支持cookies，header等
再復雜些的可以用selenium，支持抓取javascript產生的文本
㈢ 如何用python爬取網站數據
這里簡單介紹一下吧，以抓取網站靜態、動態2種數據為慧返拍例，實驗環境win10+python3.6+pycharm5.0，主要內容如下：
抓取網站靜態數據（數據在網頁源碼中）：以糗事網路網站數據為例
1.這里假設我們抓取的數據如下，主要包括用戶昵稱、內容、好笑數和評論數這4個欄位，如下：
對應的網頁源碼如下，包含我們所需要的數據：
2.對應網頁結構，主要代碼如下，很簡單，主要用到requests+BeautifulSoup，其中requests用於請求頁面，BeautifulSoup用於解析頁面：
程序運行截圖如下，已經成功爬取到數據：
抓取網站動態數據（數據不在網頁源碼中，json等文件中）：以人人貸網站數據為例
1.這里假設我們爬取的是債券數據，主要包括年利率世型、借款標題、期限、金額和進度這5個欄位信息，截圖如下：
打開網頁源碼中，可以發現數據不在網頁源碼中，按F12抓包分析時，才發現在一個json文件中，如下：
2.獲取到json文件的url後，我們就可以爬取對應數據了，這里使用的包與上面類似，因為是json文件，所以還用了json這個包（解析json），主要內容如下：
程序運行截圖如下，前羨已經成功抓取到數據：
至此，這里就介紹完了這2種數據的抓取，包括靜態數據和動態數據。總的來說，這2個示例不難，都是入門級別的爬蟲，網頁結構也比較簡單，最重要的還是要會進行抓包分析，對頁面進行分析提取，後期熟悉後，可以藉助scrapy這個框架進行數據的爬取，可以更方便一些，效率更高，當然，如果爬取的頁面比較復雜，像驗證碼、加密等，這時候就需要認真分析了，網上也有一些教程可供參考，感興趣的可以搜一下，希望以上分享的內容能對你有所幫助吧。
㈣ Python爬蟲如何寫
Python的爬蟲庫其實很多，像常見的urllib，requests，bs4，lxml等，初始入門爬蟲的話，可以學習一下requests和bs4(BeautifulSoup)這2個庫，比較簡單，也易學習，requests用於請求頁面，BeautifulSoup用於解析頁面，下面我以這2個庫為基礎，簡單介紹一下Python如何爬取網頁靜態數據和網頁動態數據，實驗環境win10+python3.6+pycharm5.0，主要內容如下：
Python爬取網頁靜態數據
這個就很簡單，直接根據網址請求頁面就行，這里以爬取糗事網路上的內容為例：
1.這里假設我們要爬取的文本內容如下，主要包括昵稱、內容、好笑數和評論數這4個欄位：
打開網頁源碼，對應網頁結構如下，很簡單，所有欄位內容都可以直接找到：
2.針對以上網頁結構，我們就可以編寫相關代碼來爬取網頁數據了，很簡單，先根據url地址，利用requests請求頁面，然後再利用BeautifulSoup解析數據（根據標簽和屬性定位）就行，如下：
程序運行截圖如下，已經成功爬取到數據：
Python爬取網頁動態數據
很多種情況下，網頁數據都是動態載入的，直接爬取網頁是提取不到任何數據的，這時就需要抓包分析，找到動態載入的數據，一般情況下就是一個json文件（當然，也敬鏈譽可能是其他類型的文件，像xml等），然後請求解析這個json文件，就能獲取到我們需要的數據，這里以爬取人人貸上面的散標數據為例：
1.這里假設我們爬取的數據如下，主要包括年亮段利率，借款標題，期限，金額，進度這5個欄位：
2.按F12調出開發者工具，依次點擊「Network」->「XHR」，F5刷新頁面，就可以找到動態載入的json文件，具體信息如下：
3.接著，針對以上抓包分析，我們就可以編寫相關代碼來爬取數據了，基本思路和上面的靜態網頁差不多，先利用requests請求json，然後再利用python自帶的json包解析數據就行，如下：
程序運行截圖如下，已經成功獲取到數據：
至此，我們就完成了利用python來爬取網頁數據。總的來說，整個過程很簡單，requests和BeautifulSoup對於初學者來說，非常容易學習，也易掌握，可以學習使用一下，後期熟悉後，可以學習一下scrapy爬蟲框架，可以明顯提高開發效率，非常不錯，當然，網頁中要是有加密、驗證碼等，這個就需要自己好好琢磨，研究對策了，網上也有相關教程和資料，感興趣的話，可以搜一下，希望以上分喚陸享的內容能對你上有所幫助吧，也歡迎大家評論、留言。
㈤ 如何利用python爬取網頁內容
利用python爬取網頁內容需要用scrapy（爬蟲框架），但是很簡單，就三步
定義item類
開發spider類
開發pipeline
想學習更深的爬蟲，可以用《瘋狂python講義》
㈥ python如何讀取網頁中的數據
用Beautiful Soup這類解析模塊：
Beautiful Soup 是用Python寫的一個HTML/XML的解析器，它可以很好的處理不規范標記並生成剖析樹(parse tree)；
它提供簡單又常用的導航(navigating)，搜索以及修改剖析樹的操作；
用urllib或者urllib2(推薦)將頁面的html代碼下載後，用beautifulsoup解析該html；
然後用beautifulsoup的查找模塊或者正則匹配將你想獲得的內容找出來，就可以進行相關處理了，例如：
html='<html><head><title>test</title></head><body><p>testbody</p></body></html>'
soup=BeautifulSoup(html)
soup.contents[0].name
#u'html'
soup.comtents[0].contents[0].name
#u'head'
head=soup.comtents[0].contents[0]
head.parent.name
#u'html'
head.next
#u'<title>test</title>
㈦ 從零開始學Python-使用Selenium抓取動態網頁數據
AJAX（Asynchronouse JavaScript And XML：非同步JavaScript和XML）通過在後台與伺服器進行少量數據交換，Ajax 可以使網頁實現非同步更新，這意味著可以在不重帶洞新載入整個網頁的情況下，對網頁的某部分進行局部更新。傳統的網頁（不使用Ajax）如果需要更新內容，必蠢者枯須重載整個網頁頁面。
因為傳統的網頁在傳輸數據格式方面，使用的是 XML 語法，因此叫做 AJAX ，其實現在數據交互基本上都是使用 JSON 。使用AJAX載入的數據，即使使用了JS將數據渲染到了瀏覽器中，在 右鍵->查看網頁源代碼 還是不能看到通嫌隱過ajax載入的數據，只能看到使用這個url載入的html代碼。
法1：直接分析ajax調用的介面。然後通過代碼請求這個介面。
法2：使用Selenium+chromedriver模擬瀏覽器行為獲取數據。
Selenium 相當於是一個機器人。可以模擬人類在瀏覽器上的一些行為，自動處理瀏覽器上的一些行為，比如點擊，填充數據，刪除cookie等。 chromedriver 是一個驅動 Chrome 瀏覽器的驅動程序，使用他才可以驅動瀏覽器。當然針對不同的瀏覽器有不同的driver。以下列出了不同瀏覽器及其對應的driver：
現在以一個簡單的獲取網路首頁的例子來講下 Selenium 和 chromedriver 如何快速入門：
參考：Selenium的使用
直接直接分析ajax調用的介面爬取
selenium結合lxml爬取