pythonurl採集
1. python 獲取url中參數 例 localhost:8080/loginuserid=1 我想獲取到[userid,1]
這個要看你用什麼框架來做了，要是用的django就是request.GET.get('userid')，這樣返回1或None
2. 請教python 采 集 requests post請求一個第三方介面中文亂碼的問題
你需要寫這行代碼，有可能是你編碼格式設置錯了；
在請求的下面加這行代碼
rsp = requests.get(url,headers = headers)
rsp.encoding = rsp.apparent_encoding
它會自動匹配文檔中的編碼格式，如果還不行你再追問。
3. 如何用Python寫一個抓取url不變網頁的爬蟲
兄弟，你有去試著寫過一個爬蟲嗎？那我來教你好了。
我點開了你給我的網址，點了你所說的《進口分貿易商明細》，看他的url並沒有改變是嘛？ 0 0 我k 為什麼，這么詭異，那我們用chrome 按下F12看看他到底搞了什麼鬼 ，如下圖：
奧，原來他這是一個內嵌頁面。我們把這條url在另一個tab裡面打開看看。
誒，貌似跟普通網頁沒什麼區別了嘛？看看源代碼，這些數據是不是js寫進去的，貌似也不是啊，都是扎扎實實的數據在整個html裡面。
那題主這些數據的採集你總會了吧。
不不不，那個翻頁 url不是還沒改變嘛？？？？
那你再按下F12 看看我翻頁又請求了什麼？？
搜嘎，原來如此，那以後只用對這個action 去post 這個data就可以實現翻頁了嘛，很簡單嘛。
那你怎麼做就看你的咯~
4. Python提取網頁鏈接和標題
提取所有鏈接應該用循環：
urls = driver.find_elements_by_xpath("//a")
for url in urls:
print(url.get_attribute("href"))如果get_attribute方法報錯應該是沒有找到a標簽對象，如果確定是有的話，可能是頁面載入比較慢還沒載入出來，selenium默認是不會等待對象出現的，需要在找對象前加一些等待時間；另外如果頁面上有iframe的話需要先切換進去才能找到裡面的對象。
5. 如何評價利用python製作數據採集,計算,可視化界面呢
先來設置兩個url地址，第一個用於第一次訪問，這樣可以獲得網站伺服器發來的cookie，第二個網址是用於登陸的地址
引入兩個模塊，cookielib和urllib2
接著，我們安裝一個cookie處理器，代碼如下，這個代碼很多人不太能讀懂，其實你會用就可以了，他們就是這個固定的形式，頂多改改變數的名字。你復制下來以後自己用就可以了，用多了，你再去看代碼的意義，你就都懂了。
然後我們先訪問一下網站，獲得一個cookie，你不用管這個cookie該怎麼弄，前面設置的cookie處理器會自動處理。
接著，我們寫一下postdata，也就是你要post的數據，因為我們打算登陸網站，所以postdata里肯定有用戶名和密碼，那麼怎麼知道該怎麼寫postdata呢？看你抓包得到的post數據。下面第一幅圖是httpwatch抓包截圖，點擊postdata，看到post的數據，然後我們看第二幅圖，就是python的寫法。你自己感受一下。
寫完postdata以後，我們 要將postdata轉碼一下，讓伺服器可以解讀postdata數據
接著設置headers信息，headers也是抓包得到的。同樣的方式，你去寫header內的信息
然後我們通過request方法來登陸網站，並返回數據，返回的數據存儲在request中
通過rulopen方法和read方法來讀取數據，並列印出來。
我們看到輸出的結果，這說明我們雖然正確的模擬了登陸網站需要的post信息，但是沒有考慮到登陸網站是需要驗證碼的，後期我們會看到如何處理驗證碼，如果你拿這個教程去處理沒有驗證碼的登陸問題，那麼你現在已經成功了。
6. 如何用最簡單的Python爬蟲採集整個網站
採集網站數據並不難，但是需要爬蟲有足夠的深度。我們創建一個爬蟲，遞歸地遍歷每個網站，只收集那些網站頁面上的數據。一般的比較費時間的網站採集方法從頂級頁面開始（一般是網站主頁），然後搜索頁面上的所有鏈接，形成列表，再去採集到的這些鏈接頁面，繼續採集每個頁面的鏈接形成新的列表，重復執行。
7. python怎麼抓取豆瓣電影url
#!/usr/bin/env python2.7# encoding=utf-8"""
爬取豆瓣電影TOP250 - 完整示例代碼
"""import codecsimport requestsfrom bs4 import BeautifulSoup
DOWNLOAD_URL = 'httn.com/top250/'def download_page(url):
return requests.get(url, headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'
}).contentdef parse_html(html):
soup = BeautifulSoup(html)
movie_list_soup = soup.find('ol', attrs={'class': 'grid_view'})
movie_name_list = [] for movie_li in movie_list_soup.find_all('li'):
detail = movie_li.find('div', attrs={'class': 'hd'})
movie_name = detail.find('span', attrs={'class': 'title'}).getText()
movie_name_list.append(movie_name)
next_page = soup.find('span', attrs={'class': 'next'}).find('a') if next_page: return movie_name_list, DOWNLOAD_URL + next_page['href'] return movie_name_list, Nonedef main():
url = DOWNLOAD_URL with codecs.open('movies', 'wb', encoding='utf-8') as fp: while url:
html = download_page(url)
movies, url = parse_html(html)
fp.write(u'{movies}\n'.format(movies='\n'.join(movies)))if __name__ == '__main__':
main()0414243444546474849505152
簡單說明下，在目錄下會生成一個文檔存放電影名。python2
8. python scrapy 利用selenium模擬登錄每個採集一個url都要打開瀏覽器，速度很慢，如何解決
零. 在用scrapy爬取數據中,有寫是通過js返回的數據,如果我們每個都要獲取,那就會相當麻煩,而且查看源碼也看不到數據的,所以能不能像瀏覽器一樣去操作他呢?
所以有了->
Selenium 測試直接在瀏覽器中運行，就像真實用戶所做的一樣。Selenium 測試可以在 Windows、Linux 和 Macintosh上的 Internet Explorer、Chrome和 Firefox 中運行。其他測試工具都不能覆蓋如此多的平台。使用 Selenium 和在瀏覽器中運行測試還有很多其他好處。
9. python 爬蟲能否採集沒有許可權的頁面內容
你這種情況，是因為瀏覽的是動態頁面，源碼是動態生成的，需要找到那個隱藏的url才能抓取。採用這種方式的網站很多，是為了快速顯示相應的內容。解決方法要麼找到可以顯示內容的隱藏url，要麼採用python的插件，將全部的內容顯示出來後，讀取源碼，再抓取。
10. Python爬蟲是什麼
爬蟲一般指網路資源的抓取，通過編程語言撰寫爬蟲工具，抓取自己想要的數據以及內容。而在眾多編程語言之中，Python有豐富的網路抓取模塊，因此成為撰寫爬蟲的首選語言，並引起了學習熱潮。
Python作為一門編程語言而純粹的自由軟體，以簡潔清晰的語法和強制使用空白符號進行語句縮進的特點受到程序員的喜愛。用不同編程語言完成一個任務，C語言一共要寫1000行代碼，Java要寫100行代碼，而Python只需要20行，用Python來完成編程任務代碼量更少，代碼簡潔簡短而且可讀性強。
Python非常適合開發網路爬蟲，因為對比其他靜態編程語言，Python抓取網頁文檔的介面更簡潔;對比其他腳本語言，Python的urllib2包提供了較為完整的訪問網頁文檔的API。
Python爬蟲的工作流程是什麼?
Python爬蟲通過URL管理器，判斷是否有待爬URL，如果有待爬URL，通過調度器進行傳遞給下載器，下載URL內容，通過調度器傳送給解釋器，解析URL內容，將有價值數據和新的URL列表通過調度器傳遞給應用程序，輸出價值信息的過程。
Python是一門非常適合開發網路爬蟲的語言，提供了urllib、re、json、pyquery等模塊，同時還有很多成型框架，比如說Scrapy框架、PySpider爬蟲系統等，代碼十分簡潔方便，是新手學習網路爬蟲的首選語言。