爬蟲抓資料庫

『壹』 爬蟲能爬網站資料庫嗎

爬別人的資料庫你必須網路安全方面高深才行，爬你自己的資料庫那當然沒問題

『貳』 數據爬蟲行為如何合規

前言

由於網路數據爬取行為具有高效檢索、批量復制且成本低廉的特徵，現已成為許多企業獲取數據資源的方式。也正因如此，一旦爬取的數據設計他人權益時，企業將面臨諸多法律風險。本文將從數據爬取行為的相關概述、數據爬取相關立法規定，結合數據爬取行為近期典型案例，探討數據爬取行為的合規要點。

一、數據爬取行為概述

數據爬取行為是指利用網路爬蟲或者類似方式，根據所設定的關鍵詞、取樣對象等規則，自動地抓取萬維網信息的程序或者腳本，並對抓取結果進行大規模復制的行為。

使用爬蟲爬取數據的過程當中，能否把握合法邊界是關系企業生死存亡的問題。近些年大數據、人工智慧的廣泛使用，對各種數據的剛性需求，使數據行業遊走在「灰色邊緣」。面對網路數據安全的「強監管」態勢，做好數據合規、數據風控刻不容緩。當前我國並沒有相關法律法規對數據爬取行為進行專門規制，而是根據爬取數據的不同「質量」，主要通過《中華人民共和國著作權法》（以下簡稱「《著作權法》）、《中華人民共和國反不正當競爭法》（以下簡稱「《反不正當競爭法》」）、《中華人民共和國刑法》（以下簡稱「《刑法」》）等現有法律法規進行規制。

二、數據爬取相關法律責任梳理

（一）承擔刑事責任

1、非法侵入計算機信息系統罪

《刑法》第285條第1款規定了「非法侵入計算機信息系統罪」，違反國家規定，侵入國家事務、國防建設、尖端科學技術領域的計算機信息系統的，處三年以下有期徒刑或者拘役。

典型案例：李某等非法侵入計算機信息系統罪(2018)川3424刑初169號

本案中，被告人李某使用「爬蟲」軟體，大量爬取全國各地及涼山州公安局交警支隊車管所公告的車牌放號信息，之後使用軟體採用多線程提交、批量刷單、驗證碼自動識別等方式，突破系統安全保護措施，將爬取的車牌號提交至「交通安全服務管理平台」車輛報廢查詢系統，進行對比，並根據反饋情況自動記錄未注冊車牌號，建立全國未注冊車牌號資料庫。之後編寫客戶端查詢軟體，由李某通過QQ、淘寶、微信等方式，以300-3000元每月的價格，分省市販賣資料庫查閱許可權。

法院認為，被告人李文某為牟取私利，違法國家規定，侵入國家事務領域的計算機信息系統，被告人的行為均已構成非法侵入計算機信息系統罪。

2、非法獲取計算機信息系統數據罪

《刑法》第285條第2款規定如下，違反國家規定，侵入前款規定以外的計算機信息系統或者採用其他技術手段，獲取該計算機信息系統中存儲、處理或者傳輸的數據，或者對該計算機信息系統實施非法控制，情節嚴重的，處三年以下有期徒刑或者拘役，並處或者單處罰金；情節特別嚴重的，處三年以上七年以下有期徒刑，並處罰金。同時，《最高人民法院、最高人民檢察院關於辦理危害計算機信息系統安全刑事案件應用刑事案件應用法律若干問題的解釋》第1條對「情節嚴重」作出了具體的規定：「非法獲取計算機信息系統數據或者非法控制計算機信息系統，具有下列情形之一的，應當認定為刑法第二百八十五條第二款規定的「情節嚴重」：（一）獲取支付結算、證券交易、期貨交易等網路金融服務的身份認證信息十組以上的；（二）獲取第（一）項以外的身份認證信息五百組以上的；（三）非法控制計算機信息系統二十台以上的；（四）違法所得五千元以上或者造成經濟損失一萬元以上的；（五）其他情節嚴重的情形。」

典型案例：李某、王某等非法獲取計算機信息系統數據、非法控制計算機系統案（2021）滬0104刑初148號

本案中，益采公司在未經淘寶（中國）軟體有限公司授權許可的情況下，經李某授意，益采公司部門負責人被告人王某、高某等人分工合作，以使用IP代理、「X-sign」簽名演算法等手段突破、繞過淘寶公司的「反爬蟲」防護機制，再通過數據抓取程序大量非法抓取淘寶公司存儲的各主播在淘寶直播時的開播地址、銷售額、觀看PV、UV等數據。至案發，益采公司整合非法獲取的數據後對外出售牟利，違法所得共計人民幣22萬余元。法院認為被告人李某、王某、高某等人構成非法獲取計算機信息系統數據罪，分別判處有期徒刑二年六個月、一年三個月不等，並處罰金。

法院認為，被告人李文某為牟取私利，違法國家規定，侵入國家事務領域的計算機信息系統，被告人的行為均已構成非法侵入計算機信息系統罪。

3、提供侵入、非法控制計算機信息系統程序、工具罪

《刑法》第285條第3款對該罪規定如下，提供專門用於侵入、非法控制計算機信息系統的程序、工具，或者明知他人實施侵入、非法控制計算機信息系統的違法犯罪行為而為其提供程序、工具，情節嚴重的，依照前款的規定處罰。《最高人民法院、最高人民檢察院關於辦理危害計算機信息系統安全刑事案件應用刑事案件應用法律若干問題的解釋》中還列舉了「具有避開或者突破計算機信息系統安全保護措施，未經授權或者超越授權獲取計算機信息系統數據的功能的」等類型的程序、工具。

典型案例：陳輝提供侵入、非法控制計算機信息系統程序、工具罪（2021）粵0115刑初5號

本案中，被告人陳輝為牟取非法利益，在本區編寫爬蟲軟體用於在浙江淘寶網路有限公司旗下的大麥網平台上搶票，並以人民幣1888元到6888元不等的價格向他人出售該軟體，非法獲利人民幣12萬余元。2019年7月11日，被告人陳輝被公安機關抓獲。經鑒定，上述爬蟲軟體具有以非常規的方式構造和發送網路請求，模擬用戶在大麥網平台手動下單和購買商品的功能；具有以非常規手段模擬用戶識別和輸入圖形驗證碼的功能，該功能可繞過大麥網平台的人機識別驗證機制，以非常規方式訪問大麥網平台的資源。

本院認為，被告人陳輝提供專門用於侵入、非法控制計算機信息系統程序、工具，情節特別嚴重，依法應予懲處。

4、 侵犯公民個人信息罪

《刑法》第253條中規定了該罪，違反國家有關規定，向他人出售或者提供公民個人信息，情節嚴重的，處三年以下有期徒刑或者拘役，並處或者單處罰金；情節特別嚴重的，處三年以上七年以下有期徒刑，並處罰金。違反國家有關規定，將在履行職責或者提供服務過程中獲得的公民個人信息，出售或者提供給他人的，依照前款的規定從重處罰。竊取或者以其他方法非法獲取公民個人信息的，依照第一款的規定處罰。

典型案例：杭州魔蠍數據 科技 有限公司、周江翔、袁冬侵犯公民個人信息罪（2020）浙0106刑初437號

本案中，被告人周江翔系魔蠍公司法定代表人、總經理，負責公司整體運營，被告人袁冬系魔蠍公司技術總監，系技術負責人，負責相關程序設計。魔蠍公司主要與各網路貸款公司、小型銀行進行合作，為網路貸款公司、銀行提供需要貸款的用戶的個人信息及多維度信用數據，方式是魔蠍公司將其開發的前端插件嵌入上述網貸平台A**中，在網貸平台用戶使用網貸平台的APP借款時，貸款用戶需要在魔蠍公司提供的前端插件上，輸入其通訊運營商、社保、公積金、淘寶、京東、學信網、徵信中心等網站的賬號、密碼，經過貸款用戶授權後，魔蠍公司的爬蟲程序代替貸款用戶登錄上述網站，進入其個人賬戶，利用各類爬蟲技術，爬取（復制）上述企、事業單位網站上貸款用戶本人賬戶內的通話記錄、社保、公積金等各類數據。

法院認為，被告單位杭州魔蠍數據 科技 有限公司以其他方法非法獲取公民個人信息，情節特別嚴重，其行為已構成侵犯公民個人信息罪。被告人周江翔、袁冬分別系對被告單位魔蠍公司侵犯公民個人信息行為直接負責的主管人員和其他直接責任人員，其行為均已構成侵犯公民個人信息罪。

5、侵犯著作權罪

根據《刑法》第217條規定，以營利為目的，有下列侵犯著作權或者與著作權有關的權利的情形之一，違法所得數額較大或者有其他嚴重情節的，處三年以下有期徒刑，並處或者單處罰金；違法所得數額巨大或者有其他特別嚴重情節的，處三年以上十年以下有期徒刑，並處罰金：（一）未經著作權人許可，復制發行、通過信息網路向公眾傳播其文字作品、音樂、美術、視聽作品、計算機軟體及法律、行政法規規定的其他作品的；（二）出版他人享有專有出版權的圖書的；（三）未經錄音錄像製作者許可，復制發行、通過信息網路向公眾傳播其製作的錄音錄像的；（四）未經表演者許可，復制發行錄有其表演的錄音錄像製品，或者通過信息網路向公眾傳播其表演的；（五）製作、出售假冒他人署名的美術作品的；（六）未經著作權人或者與著作權有關的權利人許可，故意避開或者破壞權利人為其作品、錄音錄像製品等採取的保護著作權或者與著作權有關的權利的技術措施的。

典型案例：譚某某等侵犯著作權罪（2020）京0108刑初237號

本案中，被告鼎閱公司自2018年開始，在覃某某等12名被告人負責管理或參與運營下，未經掌閱 科技 股份有限公司、北京幻想縱橫網路技術有限公司等權利公司許可，利用網路爬蟲技術爬取正版電子圖書後，在其推廣運營的「鴻雁傳書」「TXT全本免費小說」等10餘個App中展示，供他人訪問並下載閱讀，並通過廣告收入、付費閱讀等方式進行牟利。根據經公安機關依法提取收集並經勘驗、檢查、鑒定的涉案侵權作品信息數據、賬戶交易明細、鑒定結論、廣告推廣協議等證據，法院查明，涉案作品侵犯掌閱 科技 股份有限公司、北京幻想縱橫網路技術有限公司享有獨家信息網路傳播權的文字作品共計4603部，侵犯中文在線數字出版集團股份有限公司享有獨家信息網路傳播權的文字作品共計469部。

法院認為，鼎閱公司、直接負責的主管人員覃某某等12名被告人以營利為目的，未經著作權人許可，復制發行他人享有著作權的文字作品，情節特別嚴重，其行為均已構成侵犯著作權罪，應予懲處。

（2） 構成不正當競爭

我國《反不正當競爭法》第12條規定：「經營者利用網路從事生產經營活動，應當遵守本法的各項規定。經營者不得利用技術手段，通過影響用戶選擇或者其他方式，實施下列妨礙、破壞其他經營者合法提供的網路產品或者服務正常運行的行為：（一）未經其他經營者同意，在其合法提供的網路產品或者服務中，插入鏈接、強制進行目標跳轉；（二）誤導、欺騙、強迫用戶修改、關閉、卸載其他經營者合法提供的網路產品或者服務；（三）惡意對其他經營者合法提供的網路產品或者服務實施不兼容；（四）其他妨礙、破壞其他經營者合法提供的網路產品或者服務正常運行的行為。

典型案例：深圳市騰訊計算機系統有限公司、騰訊 科技 （深圳）有限公司與被告某新媒體公司不正當競爭糾紛案

本案中，兩原告系微信公眾平台的經營者和管理者，被告某新媒體公司系某網站經營者，利用爬蟲技術抓取微信公眾平台文章等信息內容數據，並通過網站對外提供公眾號信息搜索、導航及排行等數據服務。原告訴稱，被告利用被控侵權產品，突破微信公眾平台的技術措施進行數據抓取，並進行商業化利用，妨礙平台正常運行，構成不正當競爭。被告辯稱，爬取並提供公眾號數據服務的行為不構成不正當競爭，其爬取的文章並非騰訊公司的數據，而是微信公眾號的用戶數據，且其網站獲利較少。

法院認為，被告違背誠實信用原則，擅自使用原告徵得用戶同意、依法匯集且具有商業價值的數據，並足以實質性替代其他經營者提供的部分產品或服務，損害公平競爭的市場秩序，屬於《反不正當競爭法》第十二條第二款第四項所規定的妨礙、破壞其他經營者合法提供的網路產品或者服務正常運行的行為，構成不正當競爭。

（3） 行政責任

我國當前關於爬蟲行為所應承擔的行政責任主要規定在《網路安全法》中，其中涉嫌違反第27條規定的：「任何個人和組織不得從事非法侵入他人網路、干擾他人網路正常功能、竊取網路數據等危害網路安全的活動；不得提供專門用於從事侵入網路、干擾網路正常功能及防護措施、竊取網路數據等危害網路安全活動的程序、工具；明知他人從事危害網路安全的活動的，不得為其提供技術支持、廣告推廣、支付結算等幫助。」，需要承擔一定的行政責任。該法第63條對違反第27條還規定了具體的行政處罰措施，包括「沒收違法所得」「拘留」「罰款」等處罰。同時，對違反27條規定受到處罰的相關人員也作出了任職限制規定。

此外，《數據安全管理辦法（徵求意見稿）》第16條對爬蟲適用作出了限流規定：「網路運營者採取自動化手段訪問收集網站數據，不得妨礙網站正常運行；此類行為嚴重影響網站運行，如自動化訪問收集流量超過網站日均流量三分之一，網站要求停止自動化訪問收集時，應當停止。」同時，第37條也規定了相應的行政責任：網路運營者違反相關規定的，由有關部門給予公開曝光、沒收違法所得、暫停相關業務、停業整頓、關閉網站、吊銷相關業務許可證或吊銷營業執照等處罰。

三、數據爬取行為的合規指引

（一）嚴格規范數據爬取行為

1、如果目標網站有反爬取協議，應嚴格遵守網站設置的 Robots協議。Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是「網路爬蟲排除標准」，網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。該協議尊重信息提供者的意願，並維護其隱私權;保護其使用者的個人信息和隱私不被侵犯。Robots協議代表一種契約精神，互聯網企業只有遵守這一規則，才能保證網站及用戶的隱私數據不被侵犯。可以說，無論從保護網民隱私還是尊重版權內容的角度，遵守robots協議都應該是正規互聯網公司的默之舉，任何違反robots協議的行為都應該為此付出代價。

2、合理限制抓取的內容。在設置抓取策略時，應注意編碼禁止抓取視頻、音樂等可能構成作品的、明確的著作權作品數據，或者針對某些特定網站批量抓取其中的用戶生成內容；在使用、傳播抓取到的信息時，應審查所抓取的內容，如發現屬於用戶的個人信息、隱私或者他人的商業秘密的，應及時停止並刪除。對於內部系統數據，嚴格禁止侵入。

3、爬取行為不應妨礙網站的正常運行。企業應當合理控制爬取的頻率，盡可能避免過於頻繁地抓取數據，特別是如果超過了《數據安全管理辦法（徵求意見稿）》明確規定的「自動化訪問收集流量超過網站日均流量三分之一」的要求，就應當嚴格遵守網站的要求，及時停止數據抓取。

（二）爬取個人信息時恪守合法、正當、必要原則

在我國，合法、正當、必要原則散見於《消費者權益保護法》、《網路安全法》、《全國人大常委會關於加強網路信息保護的決定》、《個人信息安全規范》等法律與規范之中。網路經營者擬爬取用戶個人信息的，應當嚴格遵守上述法律法規的規定，以取得個人用戶的事前同意為原則，避免超出用戶的授權范圍爬取信息。同樣地，數據接受方也應當對以爬蟲方式獲取的他人信息進行合法性審查，了解個人信息主體是否同意共享個人信息數據。

（三）爬取商業數據時謹防構成不正當競爭

在數字內容領域，數據是內容產業的核心競爭資源，內容平台經過匯總分析處理後的數據往往具有極高的經濟價值，因此非法爬取行為在某些具體應用場景下會被認定為構成不正當競爭。尤其是對於雙方商業模式相同或近似、獲取對方的信息會對對方造成直接損害的，企業應重點予以防範。如果存在此種情形，則應當謹慎使用爬取獲取被爬取網站的數據。

四、結語

隨著大數據時代的來臨以及數字技術的蓬勃發展，數據的價值日益凸顯，部分企業通過數據爬取技術更加高效地獲取和深度地利用相關數據，從而彌補企業自身數據不足的現狀，支撐企業的商業化發展。對於這些企業而言，「網路爬蟲如何爬取信息數據才是合法的？」「爬取數據時如何做到合規？」是亟待解決的一大難題。作為法律工作者，應當從法律的專業角度給企業提供強有力的合規指引，為促進高新技術企業的發展，進而全面提升國家 科技 創新能力做出應有的貢獻。

『叄』 網路爬蟲抓取數據 有什麼好的應用

一般抓數據的話可以學習python，但是這個需要代碼的知識。
如果是沒有代碼知識的小白可以試試用成熟的採集器。
目前市面比較成熟的有八爪魚，後羿等等，但是我個人習慣八爪魚的界面，用起來也好上手，主要是他家的教程容易看懂。可以試試。

『肆』 通過網路爬蟲爬取數據需要取得資料庫所有的許可權對嗎

需要。
1、首先，和資料庫建立連接。
2、其次，執行sql語句，接收返回值。
3、最後，關閉資料庫連接。Python是一種一門叫做ABC語言的替代品。

『伍』 爬蟲是什麼意思

一、python爬蟲是什麼意思

爬蟲：是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。

即：打開一個網頁，有個工具，可以把網頁上的內容獲取下來，存到你想要的地方，這個工具就是爬蟲。

Python爬蟲架構組成：

1.網頁解析器，將一個網頁字元串進行解析，可以按照我們的要求來提取出我們有用的信息，也可以根據DOM樹的解析方式來解析。

2.URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重復抓取URL和循環抓取URL，實現URL管理器主要用三種方式，通過內存、資料庫、緩存資料庫來實現。

3.網頁下載器：通過傳入一個URL地址來下載網頁，將網頁轉換成一個字元串，網頁下載器有urllib2（Python官方基礎模塊）包括需要登錄、代理、和cookie，requests(第三方包)

4.調度器：相當於一台電腦的CPU，主要負責調度URL管理器、下載器、解析器之間的協調工作。

5.應用程序：就是從網頁中提取的有用數據組成的一個應用。

二、爬蟲怎麼抓取數據

1.抓取網頁

抓取網頁有時候需要模擬瀏覽器的行為，很多網站對於生硬的爬蟲抓取都是封殺的。這是我們需要模擬user agent的行為構造合適的請求，比如模擬用戶登陸、模擬session/cookie的存儲和設置。

2.抓取後處理

抓取的網頁通常需要處理，比如過濾html標簽，提取文本等。python的beautifulsoap提供了簡潔的文檔處理功能，能用極短的代碼完成大部分文檔的處理。

其實以上功能很多語言和工具都能做，但是用python能夠幹得最快，最干凈。上文介紹了python爬蟲的一些基礎知識，相信大家對於「python爬蟲是什麼意思」與「爬蟲怎麼抓取數據」有一定的的認識了。

現在大數據時代，很多學python的時候都是以爬蟲入手，學習網路爬蟲的人越來越多。通常使用爬蟲抓取數據都會遇到IP限制問題，使用高匿代理，可以突破IP限制，幫助爬蟲突破網站限制次數。

『陸』 網路爬蟲的存儲方法――資料庫，有什麼作用

可以用來保存採集到的數據啊。
簡單來講，爬蟲就是一個探測機器，它的基本操作就是模擬人的行為去各個網站溜達，點點按鈕，查查數據，或者把看到的信息背回來。就像一隻蟲子在一幢樓里不知疲倦地爬來爬去。

『柒』 網路爬蟲可以爬取資料庫里的數據嘛

只會抓取頁面，，當然頁面里你會讀取到資料庫數據。。
所以它不算是抓取你資料庫，只是你用在了頁面上，生成了結果 ，
它抓取你這個結果。。。

其實想想也是知道的，，資料庫除了開發者對程序授權，別人怎麼可以操作得到資料庫，要不然那不是天下大亂了嘛。。。

『捌』 怎麼用VBA或網路爬蟲程序抓取網站數據

VBA網抓常用方法
1、xmlhttp/winhttp法：
用xmlhttp/winhttp模擬向伺服器發送請求，接收伺服器返回的數據。
優點：效率高，基本無兼容性問題。
缺點：需要藉助如fiddler的工具來模擬http請求。
2、IE/webbrowser法：
創建IE控制項或webbrowser控制項，結合htmlfile對象的方法和屬性，模擬瀏覽器操作，獲取瀏覽器頁面的數據。
優點：這個方法可以模擬大部分的瀏覽器操作。所見即所得，瀏覽器能看到的數據就能用代碼獲取。
缺點：各種彈窗相當煩人，兼容性也確實是個很傷腦筋的問題。上傳文件在IE里根本無法實現。
3、QueryTables法：
因為它是excel自帶，所以勉強也算是一種方法。其實此法和xmlhttp類似，也是GET或POST方式發送請求，然後得到伺服器的response返回到單元格內。
優點：excel自帶，可以通過錄制宏得到代碼，處理table很方便
。代碼簡短，適合快速獲取一些存在於源代碼的table里的數據。
缺點：無法模擬referer等發包頭

也可以利用採集工具進行採集網頁端的數據，無需寫代碼。

『玖』 通過爬蟲的方式常爬取的數據源主要來自什麼和app的數據

日誌採集。通過爬蟲的方式常爬取的數據源主要來自這四類數據源包括，開放數據源、爬蟲抓取、感測器和日誌採集，開放數據源是針對行業的資料庫。爬蟲，即網路爬蟲，也叫做網路機器人，可以代替人們自動地在互聯網中進行數據信息的採集與整理。

『拾』 網路爬蟲只能爬去web頁面的數據信息嗎是不是別人資料庫中的數據時沒有辦法抓取的

網路爬蟲抓取頁面信息，提取其中的鏈接，順著鏈接依次爬行，一般深度優先或者廣度優先，這樣一層一層的抓取，但是網頁上的信息可能會涉及版權，如果對方不允許爬蟲抓取，robot協議里禁止抓取，或者設置許可權為登陸狀態才可以，這些都會阻礙爬蟲抓取數據。而web頁面上的信息，其實是資料庫里的數據在網站上的體現，沒有體現出來的資料庫數據，爬蟲是無法抓取的。除非是給一個入口，這樣爬蟲從入口進去可以抓取數據。