python彈幕抓取
A. 斗魚直播 怎麼在游戲界面看到彈幕
你好，很高興為你解答，打開彈幕在電腦端安裝斗魚,打開並登錄。
2.
如果是直播電腦游戲,點擊左側的游戲,在彈出的熱門游戲界面,選擇自己想要直播的游戲。
3.
如果你直播的游戲比較冷門,推薦游戲和更多游戲中沒有的話,可以在電腦上打開游戲程序,...
4.
選擇好之後,直播界面上已經開始顯示游戲。點擊右下方的開始直播,進行直播。
方法二：
下載斗魚彈幕助手
將目錄下的所有文件和目錄都復制到OBS目錄下對應的Plugins目錄裡面，最終Plugins目錄如下所示。
1、按照上面的步驟安裝好插件後，啟動OBS, 然後在OBS主界面的「來源」列表窗口裡面點滑鼠的右鍵，然後點擊彈出來的「添加」，再在裡面點擊「斗魚彈幕魚丸答謝及關鍵字自動回復」來添加這個特殊的源，
2、在彈出來的源名字窗口，可以輸入你要想的名字，或直接用默認的：
3、然後點「確定」，將打開設置窗口：
4、按照上面的說明，填好要監控的直播房間號，以及添加要回復的關鍵字，等等，設置好後，按「確定」，然後開始串流直播或者預覽，當有人在這個指定監控的直播房間裡面向直播發送魚丸時，在直播輸出畫面裡面會出現自動的答謝文字：
5、如果你在上面的設置添加來關鍵字的自動回復，當觀眾發的彈幕文本中包含指定的這個關鍵字時，你指定的
6、回復文本也會出現在直播畫面里，例如，你設置了下面的關鍵字：
7、當觀眾在彈幕裡面的文本包含「游戲名」這3個字時，直播畫面是：
8、另外，上面自動回復的文字的顏色、字體、大小、位置等等，都是可以自定義配置的：
斗魚彈幕伴侶使用教程
首先下載斗魚直播伴侶，解壓文件，運行斗魚直播伴侶。
進入斗魚直播伴侶界面後，在右下角可開啟彈幕助手!
主播可用滑鼠右鍵可對彈幕進行設置操作，玩家可在設置中找到自己習慣的彈幕顯示方式。自動答謝，直播伴侶會自動記錄粉絲所送魚丸數量和ID，房間留言自動答謝所有送魚丸的觀眾，讓主播在玩游戲時或者專注直播時，自動完成答謝功能。
房管助手，您管理房間的貼心小幫手。
自動禁言：只要用戶彈幕包含主播設置的關鍵字，改用戶便會自動禁言一個小時，對於一些辱罵和特定廣告者，快捷有效。
禁言記錄：主播可以在禁言記錄中查看禁言的名單，如有誤封或者像解鎖某個用戶，可以在其中進行操作。
魚丸記錄：主播可以在魚丸記錄中查看用戶送魚丸的記錄表，記錄表包含送魚丸用戶的ID和所送數量。
自動發言：主播可以在自動發言中設置一句不超過30字元的短句作為系統自動發言，每隔一段時間出現一次，時間可根據主播所需設置僅供參考哦。
B. 如何用python寫斗魚彈幕
斗魚不是有彈窗嗎，在裡面輸入就行
C. 怎樣用python抓取淘寶評論
#coding=utf-8
importurllib2
importsys
importjson
importre
#設置系統默認編碼為utf-8
reload(sys)
sys.setdefaultencoding("utf-8")
#Onlyforpython2
'''
只是簡單的示例，沒有檢查無評論的情況，其它異常也可能沒有檢查，
你可以根據自己的需要再對代碼修改
'''
#解析網頁數據
defparseData(html_data,reg_str):
pattern=re.compile(reg_str)
result=re.search(pattern,html_data)
ifresult:
returnresult.groups()
#commodity_url為商品詳情頁面
commodity_url="http://item.taobao.com/item.htm?spm=a1z10.1-c.w4004-9140345655.2.y3LCj0&id=44454286657"
html_data=urllib2.urlopen(commodity_url).read()
#獲取用戶ID和商品ID
auction_msg=parseData(html_data,r'userNumId=(.*?)&auctionNumId=(.*?)&')
ifnotauction_msg:
print"Getreviewsfailed!"#獲取失敗，退出
sys.exit()
reviews_url="http://rate.taobao.com/feedRateList.htm?callback=jsonp_reviews_list¤tPageNum=1&rateType=&orderType=sort_weight&userNumId=%s&auctionNumId=%s"%auction_msg
response=urllib2.urlopen(reviews_url)
reviews_data=response.read().decode("gbk")
#獲取評論數據
json_str=parseData(reviews_data,r'((.*))')[0]
ifnotjson_str:
print"Getreviewsfailed!"#獲取失敗，退出
sys.exit()
jdata=json.loads(json_str)
#下面只列印了第一條評論，如需要列印所有，則遍歷jdata["comments"]即可
printjdata["comments"][0]["content"]
D. 如何用Python抓取動態頁面信息
很早之前，學習Python web編程的時候，就涉及一個Python的urllib。可以用urllib.urlopen("url").read()可以輕松讀取頁面上面的靜態信息。但是，隨著時代的發展，也來越多的網頁中更多的使用javascript、jQuery、PHP等語言動態生成頁面信息。因此，用urllib再去抓取頁面HTML就不足以達到我們想要的效果。
回到頂部
解決思路：
有一個思路最為簡單的思路可以動態解析頁面信息。urllib不可以解析動態信息，但是瀏覽器可以。在瀏覽器上展現處理的信息其實是處理好的HTML文檔。這為我們抓取動態頁面信息提供了很好的思路。在Python中有一個很有名的圖形庫——PyQt。PyQt雖然是圖形庫，但是他裡面 QtWebkit。這個很實用。谷歌的Chrome和蘋果的Safari都是基於WebKit內核開發的，所以我們可以通過PyQt中得QtWebKit 把頁面中的信息讀取載入到HTML文檔中，再解析HTML文檔，從HTML文檔中提取我們想用得信息。
回到頂部
所需材料：
作者本人實用Mac OS X。應該在Windows和Linux平台也可以採用相同的辦法。
1、Qt4 library
Library，而不是Creator。Library在Mac的默認安裝路徑下，應該是/home/username/Developor/，不要改變Qt4的默認安裝路徑。否則可能安裝失敗。
官方網址：http://qt-project.org/downloads
2、SIP、PyQt4
這兩個軟體可以在在PyQt的官網找到。下載的是它的源碼。Mac和Linux需要自己編譯。
下載地址是：http://www.riverbankcomputing.co.uk/software/pyqt/download
在終端切換到文件解壓後的目錄中。
在終端中輸入
python configure.py
make
sudo make install
進行安裝編譯。
SIP和PyQt4兩個安裝方法相同。但是PyQt4依賴SIP。所以先安裝SIP再安裝PyQt4
1、2兩步完成之後，Python的PyQt4的模塊就安裝好了。在Python shell中輸入import PyQt4看看能不能找到PyQt4的模塊。
3、Spynner
spynner是一個QtWebKit的客戶端，它可以模擬瀏覽器，完成載入頁面、引發事件、填寫表單等操作。
這個模塊可以在Python的官網找到。
下載地址: https://pypi.python.org/pypi/spynner/2.5
解壓後，cd到安裝目錄，然後輸入sudo python configure.py install安裝該模塊。
這樣Spynner模塊就安裝完成了，在python shell中試試import spynner看看該模塊有沒有安裝完成。
回到頂部
Spynner的簡單使用
Spynner的功能十分強大，但是由於本人能力有限，就介紹一下如何顯示網頁的源碼吧。
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
#! /usr/bin/python
#-*-coding: utf-8 -*-
import spynner
browser = spynner.Browser()
#創建一個瀏覽器對象
browser.hide()
#打開瀏覽器，並隱藏。
browser.load("http://www..com")
#browser 類中有一個類方法load，可以用webkit載入你想載入的頁面信息。
#load(是你想要載入的網址的字元串形式)
print browser.html.encode("utf-8")
#browser 類中有一個成員是html，是頁面進過處理後的源碼的字元串.
#將其轉碼為UTF-8編碼
open("Test.html", 'w+').write(browser.html.encode("utf-8"))
#你也可以將它寫到文件中，用瀏覽器打開。
browser.close()
#關閉該瀏覽器
通過這個程序，就可以比較容易的顯示webkit處理的頁面HTML源碼了。
E. 在python中如何在屏幕上某個位置實時抓取文本
摘要 用fiddler可以抓取有效數據。
F. 如何用python抓取這個網頁的內容
如果包含動態內容可以考慮使用Selenium瀏覽器自動化測試框架，當然找人有償服務也可以
G. 如何用 python 爬取簡單網頁
測試環境：Windows10+Python3.5.2
打開命令提示符(管理員)，輸入pip3 install requests安裝requests模塊
importrequests,re
#獲取網頁
r=requests.get('http://www.bilibili.com')
#正則表達式獲取標題
res=re.search(r'<title>([^<]*)</title>',r.text)
print(res.group(1))
>>>嗶哩嗶哩彈幕視頻網-(゜-゜)つロ乾杯~-bilibili
H. python requests 如何獲取彈窗中的信息（不用selenium）
requests是抓取請求數據的，你觀察一下彈窗對應的請求是什麼，使用requests模擬該請求並從結果中抓取要顯示在彈窗中的信息即可。
I. python 如何抓取動態頁面內容
下面開始說一下本文抓取動態頁面數據的相關工具和庫：
1. python 2.7
2. pyqt
3. spynner （在安裝過程中，其他的一些依賴庫也會自動上網下載安裝）
4. BeautifulSoup
5. ide工具是pycharm（當然這個只是個人喜好，也可以使用其他的ide工具）
以上幾個工具都可以網路找到，python現在出了3.x版本的，但是由於眾多第三方庫或架構都沒有兼容，並且後續要使用到的爬蟲框架scrapy也是沒有支持3.x版本，因此還是建議使用2.7版本吧。
spynner和BeautifulSoup下載後，都可以cd到解壓出來的目錄，然後使用python setup.py install來完成安裝，需要注意的是spynner依賴pyqt，所以一定要安裝pyqt，否則無法使用spynner。
下面使用一個具體是例子來說明一下spynner和BeautifulSoup的使用，我們就以爬取京東頁面上的一些產品數據來說明如何爬取動態頁面數據（當然，如果我們過於頻繁的爬京東，估計還是有可能被京東將我們ip拉黑的）。
J. 如何用Python爬蟲抓取網頁內容
首先,你要安裝requests和BeautifulSoup4,然後執行如下代碼.
importrequests
frombs4importBeautifulSoup
iurl='http://news.sina.com.cn/c/nd/2017-08-03/doc-ifyitapp0128744.shtml'
res=requests.get(iurl)
res.encoding='utf-8'
#print(len(res.text))
soup=BeautifulSoup(res.text,'html.parser')
#標題
H1=soup.select('#artibodyTitle')[0].text
#來源
time_source=soup.select('.time-source')[0].text
#來源
origin=soup.select('#artibodyp')[0].text.strip()
#原標題
oriTitle=soup.select('#artibodyp')[1].text.strip()
#內容
raw_content=soup.select('#artibodyp')[2:19]
content=[]
forparagraphinraw_content:
content.append(paragraph.text.strip())
'@'.join(content)
#責任編輯
ae=soup.select('.article-editor')[0].text
這樣就可以了