python網頁處理
⑴ 如何處理python抓取的網頁數據
用Beautiful Soup這類解析模塊：
Beautiful Soup 是用Python寫的一個HTML/XML的解析器，它可以很好的處理不規范標記並生成剖析樹(parse tree)；
它提供簡單又常用的導航(navigating)，搜索以及修改剖析樹的操作；
用urllib或者urllib2(推薦)將頁面的html代碼下載後，用beautifulsoup解析該html；
然後用beautifulsoup的查找模塊或者正則匹配將你想獲得的內容找出來，就可以進行相關處理了，例如：
from BeautifulSoup import BeautifulSoup
html = '<html><head><title>test</title></head><body><p>test body</p></body></html>'
soup = BeautifulSoup(html)
soup.contents[0].name
# u'html'
soup.comtents[0].contents[0].name
# u'head'
head = soup.comtents[0].contents[0]
head.parent.name
# u'html'
head.next
# u'<title>test</title>
⑵ 【Python爬蟲】分析網頁真實請求
1、抓取網頁、分析請求
2、解析網頁、尋找數據
3、儲存數據、多頁處理
翻頁有規律：
很多網址在第一頁時並沒有變化，多翻下一頁後規律就出來，比如 豆瓣第一頁 和 豆瓣第三頁
發現start為40，limit=20，所以猜測start=0就是第一頁，每頁顯示20條數據，對於第三頁顯示的參數可以一個個刪除驗證，可以減去不必要的參數， 但是刪除前一定要做好數據的對比
（1） 文本框輸入後產生一個請求，如常見的登錄、注冊頁面
Referer：表示當前請求的來源
Request URL：表示實際請求地址
翻頁後URL不變，該如何尋找請求？
如： http://www.zkh360.com/zkh_catalog/3.html
通過對比可以發現網站是通過pageIndex參數控制翻頁的，？表示連接
接下來用抓包工具分析下 ，從第四頁開始看URL就知道了，但是前面幾面需要查看請求的參數，這里偏多，就切換到【Inspectors--Webforms】選項，看的比較直觀
類似的網站還有 今日頭條 ，有興趣的朋友可以去研究下
（可通過獲取max_behot_time的值而改變as和cp）
⑶ 怎麼用python簡單的製作一個網頁
1、打開sublime text 3，新建一個PY文件。
⑷ python 用什麼模塊處理網頁的javascript
lxml 配合 html5lib
可以很好的解析 html DOM
但對於js的解析 據我所知現在沒有什麼很成熟的模塊能做這個
解析js肯定不是正則能辦得到的, 比較現實的方案是
從webkit下手, 但光這一個庫就有10+M
(利用webkit自己解析js等解析完之後讀取html dom, 什麼時候解析完,什麼內容需要解析,什麼內容不應該解析是使用的難點)
如果你碰到的js代碼比較簡單
可以自己看看js代碼然後使用python模擬js代碼得到網址
其中使用webkit是最難的(不是簡單顯示界面,需要自己hook)
模擬js其次
lxml是最普遍的了
(這個解析一般的html必須配合其他html解析庫,自帶的那個html解析不是很健壯碰到稍微差點的頁面就不能正確解析)
另外html DOM 裡面 beautifulsoup 是一個比較老道的使用正則實現解析HTML DOM的庫.
⑸ python抓取網頁時是如何處理驗證碼的
python抓取網頁時是如何處理驗證碼的？下面給大家介紹幾種方法：
1、輸入式驗證碼
這種驗證碼主要是通過用戶輸入圖片中的字母、數字、漢字等進行驗證。如下圖：
解決思路：這種是最簡單的一種，只要識別出裡面的內容，然後填入到輸入框中即可。這種識別技術叫OCR，這里我們推薦使用Python的第三方庫，tesserocr。對於沒有什麼背影影響的驗證碼如圖2，直接通過這個庫來識別就可以。但是對於有嘈雜的背景的驗證碼這種，直接識別識別率會很低，遇到這種我們就得需要先處理一下圖片，先對圖片進行灰度化，然後再進行二值化，再去識別，這樣識別率會大大提高。
相關推薦：《Python入門教程》
2、滑動式驗證碼
這種是將備選碎片直線滑動到正確的位置，如下圖：
解決思路：對於這種驗證碼就比較復雜一點，但也是有相應的辦法。我們直接想到的就是模擬人去拖動驗證碼的行為，點擊按鈕，然後看到了缺口的位置，最後把拼圖拖到缺口位置處完成驗證。
第一步：點擊按鈕。然後我們發現，在你沒有點擊按鈕的時候那個缺口和拼圖是沒有出現的，點擊後才出現，這為我們找到缺口的位置提供了靈感。
第二步：拖到缺口位置。
我們知道拼圖應該拖到缺口處，但是這個距離如果用數值來表示？
通過我們第一步觀察到的現象，我們可以找到缺口的位置。這里我們可以比較兩張圖的像素，設置一個基準值，如果某個位置的差值超過了基準值，那我們就找到了這兩張圖片不一樣的位置，當然我們是從那塊拼圖的右側開始並且從左到右，找到第一個不一樣的位置時就結束，這是的位置應該是缺口的left，所以我們使用selenium拖到這個位置即可。
這里還有個疑問就是如何能自動的保存這兩張圖？
這里我們可以先找到這個標簽，然後獲取它的location和size，然後 top，bottom，left，right = location['y'] ,location['y']+size['height']+ location['x'] + size['width'] ,然後截圖，最後摳圖填入這四個位置就行。
具體的使用可以查看selenium文檔，點擊按鈕前摳張圖，點擊後再摳張圖。最後拖動的時候要需要模擬人的行為，先加速然後減速。因為這種驗證碼有行為特徵檢測，人是不可能做到一直勻速的，否則它就判定為是機器在拖動，這樣就無法通過驗證了。
3、點擊式的圖文驗證和圖標選擇
圖文驗證：通過文字提醒用戶點擊圖中相同字的位置進行驗證。
圖標選擇： 給出一組圖片，按要求點擊其中一張或者多張。借用萬物識別的難度阻擋機器。
這兩種原理相似，只不過是一個是給出文字，點擊圖片中的文字，一個是給出圖片，點出內容相同的圖片。
這兩種沒有特別好的方法，只能藉助第三方識別介面來識別出相同的內容，推薦一個超級鷹，把驗證碼發過去，會返回相應的點擊坐標。
然後再使用selenium模擬點擊即可。具體怎麼獲取圖片和上面方法一樣。
4、宮格驗證碼
這種就很棘手，每一次出現的都不一樣，但是也會出現一樣的。而且拖動順序都不一樣。
但是我們發現不一樣的驗證碼個數是有限的，這里採用模版匹配的方法。我覺得就好像暴力枚舉，把所有出現的驗證碼保存下來，然後挑出不一樣的驗證碼，按照拖動順序命名，我們從左到右上下到下，設為1，2，3，4。上圖的滑動順序為4，3，2，1，所以我們命名4_3_2_1.png，這里得手動搞。當驗證碼出現的時候，用我們保存的圖片一一枚舉，與出現這種比較像素，方法見上面。如果匹配上了，拖動順序就為4，3，2，1。然後使用selenium模擬即可。
⑹ python 爬網頁 遇到重定向怎麼處理
1.伺服器端重定向，在伺服器端完成，一般來說爬蟲可以自適應，是不需要特別處理的，如響應代碼301（永久重定向）、302（暫時重定向）等。具體來說，可以通過requests請求得到的response對象中的url、status_code兩個屬性來判斷。當status_code為301、302或其他代表重定向的代碼時，表示原請求被重定向；當response對象的url屬性與發送請求時的鏈接不一致時，也說明了原請求被重定向且已經自動處理。
2.meta refresh，即網頁中的<meta>標簽聲明了網頁重定向的鏈接，這種重定向由瀏覽器完成，需要編寫代碼進行處理。例如，某一重定向如下面的html代碼第三行中的注釋所示，瀏覽器能夠自動跳轉，但爬蟲只能得到跳轉前的頁面，不能自動跳轉。
<html>
<head>
<metahttp-equiv="refresh"content="0.1;url=http://www..com/"><!--本網頁會在0.1秒內refresh為url所指的網頁-->
</head>
</html>
解決辦法是通過得到跳轉前的頁面源碼，從中提取出重定向url信息（上述代碼第三行中的url屬性值）。一個具體的操作：①使用xpath('//meta[@http-equiv="refresh" and @content]/@content')提取出content的值 ②使用正則表達式提取出重定向的url值。
3.js重定向，通過JavaScript代碼形式進行重定向。如下面javascript代碼
<scriptlanguage=javascript>window.location.href='http://www..com'</script>
對於這種方式的跳轉，由於可以實現該功能的JavaScript語句有多種形式，不能再使用正則表達式提取url，只能考慮載入JavaScript代碼來進行解決。
⑺ Python 如何處理網頁上輸入的值
一般的思路是
1，先將網頁中的所有代碼下載下來，並賦值到變數
2，對變數進行查找，找到<tr><td></td></tr>內的內容，並賦值變數
3，將值用一個循環處理輸出
⑻ 如何在網頁中運行簡單的python代碼
如下的方法請參考：
1 、創建一個django項目使用django-admin.py startproject MyDjangoSite 參考這里
2、建立視圖
from django.http import HttpResponsedef hello(request): return HttpResponse("我的第一個簡單的python django項目。")
3、修改urls.py
我們為urlpatterns加上一行： (r『^hello/$', hello), 這行被稱作URLpattern，它是一個Python的元組。元組中第一個元素是模式匹配字元串（正則表達式）；第二個元素是那個模式將使用的視圖函數。正則表達式字元串的開頭字母「r」。 它告訴Python這是個原始字元串，不需要處理裡面的反斜杠（轉義字元）。一般在使用正則前加入"r"是一個好的習慣
4、運行python manage.py runserver
⑼ python幾種遍歷復雜網站的方法原理是什麼
python網路爬蟲原理
互聯網網頁可以看成是一張超大圖,每個網頁是一個節點,網頁中指向其他網頁的鏈接是邊。那麼,可以這樣實現全網網頁收集:以某一個網頁為起點,下載並處理該網頁,解析裡面的鏈接,所得的URL加入下載隊列。這個過程其實就是圖的遍歷過程,可以是深度優先或者廣度優先遍歷,取決於下載隊列如何維護。簡單地,網路爬蟲可以由以下部分組成: 1、下載模塊