pythonjava爬蟲

1. python為什麼叫爬蟲

爬蟲一般是指網路資源的獲取，因為python的腳本特徵，Python易於配置，對字元的處理也非常靈活，加上python有豐富的網路抓取模塊，所以兩者經常聯系在一起。
接下來我們可以詳情了解python到底有什麼作用。
首先Python翻譯成漢語是蟒蛇的意思，並且Python的logo也是兩條纏繞在一起的蟒蛇的樣子，然而Python語言和蟒蛇實際上並沒有一毛錢關系。

那麼Python到底有什麼應用方向和特點呢？下面由我來為大家揭曉！！！
Python的應用方向：
①常規軟體開發 ② 科學計算
③ 自動化運維 ④ 雲計算
⑤ WEB開發 ⑥ 網路爬蟲
⑦ 數據分析 ⑧ 人工智慧
Python的特點：
① 簡單易學、明確優雅、開發速度快。
② 跨平台、可移植、可擴展、互動式、解釋型、面向對象的動態語言。
③ 「內置電池」，大量的標准庫和第三方庫。
④ 社區活躍，貢獻者多，互幫互助。
⑤ 開源語言，發展動力巨大。

最後我們會發現與C 和 java 比，Python的學習成本和難度曲線不是低一點，更適合新手入門，自底向上的技術攀爬路線。先訂個小目標爬個小山，然後再往更高的山峰前進。而不像C和JAVA光語言學習本身，對於很多人來說就像珠穆朗瑪峰一樣高不可攀。
Python的語法非常簡潔，代碼量少，非常容易編寫，代碼的測試、重構、維護等都非常容易。一個小小的腳本，用C可能需要1000行，用JAVA可能幾百行，但是用Python往往只需要幾十行！而在當前互聯網的時代，產品最講究的就是速度。如果在之前別人家的產品已經上線了，那麼你也就沒有生存空間了，這里的真實例子數不勝數。那麼，Python的開發速度說第二沒人敢稱第一!

2. 為什麼常用Python，Java做爬蟲，而不是C#C++等

我用c#,java都寫過爬蟲。區別不大，原理就是利用好正則表達式。只不過是平台問題。後來了解到很多爬蟲都是用python寫的。因為目前對python並不熟，所以也不知道這是為什麼。網路了下結果：

1）抓取網頁本身的介面

相比與其他靜態編程語言，如java，c#，C++，python抓取網頁文檔的介面更簡潔；相比其他動態腳本語言，如perl，shell，python的urllib2包提供了較為完整的訪問網頁文檔的API。（當然ruby也是很好的選擇）

此外，抓取網頁有時候需要模擬瀏覽器的行為，很多網站對於生硬的爬蟲抓取都是封殺的。這是我們需要模擬useragent的行為構造合適的請求，譬如模擬用戶登陸、模擬session/cookie的存儲和設置。在python里都有非常優秀的第三方包幫你搞定，如Requests，mechanize

2）網頁抓取後的處理

抓取的網頁通常需要處理，比如過濾html標簽，提取文本等。python的beautifulsoap提供了簡潔的文檔處理功能，能用極短的代碼完成大部分文檔的處理。

其實以上功能很多語言和工具都能做，但是用python能夠幹得最快，最干凈。Lifeisshort，uneedpython.

Python爬蟲基礎視頻

沖最後一句『Lifeisshort，uneedpython』，立馬在當當上買了本python的書！以前就膜拜過python大牛，一直想學都扯於各種借口遲遲沒有開始。。

py用在linux上很強大，語言挺簡單的。

NO.1快速開發（唯一能和python比開發效率的語言只有rudy）語言簡潔，沒那麼多技巧，所以讀起來很清楚容易。

NO.2跨平台（由於python的開源，他比java更能體現"一次編寫到處運行"

NO.3解釋性（無須編譯，直接運行／調試代碼）

NO.4構架選擇太多（GUI構架方面主要的就有wxPython,tkInter,PyGtk,PyQt。

3. python網路爬蟲和java爬蟲有什麼區別

爬蟲目前主要開發語言為java、Python、c++
對於一般的信息採集需要，各種語言差別不大。
c、c++
搜索引擎無一例外使用C\C++ 開發爬蟲，猜想搜索引擎爬蟲採集的網站數量巨大，對頁面的解析要求不高，部分支持javascript
python
網路功能強大，模擬登陸、解析javascript，短處是網頁解析
python寫起程序來真的很便捷，著名的python爬蟲有scrapy等
java
java有很多解析器，對網頁的解析支持很好，缺點是網路部分
java開源爬蟲非常多，著名的如 nutch 國內有webmagic
java優秀的解析器有htmlparser、jsoup
對於一般性的需求無論java還是python都可以勝任。
如需要模擬登陸、對抗防採集選擇python更方便些，如果需要處理復雜的網頁，解析網頁內容生成結構化數據或者對網頁內容精細的解析則可以選擇java。

4. java和Python哪個適合寫爬蟲

當然是Python，一般我們都口語化說Python爬蟲，爬蟲工程師都是用python語言。
Python獨特的優勢是寫爬蟲的關鍵。1)跨平台，對Linux和windows都有不錯的支持;2)科學計算、數值擬合：Numpy、Scipy;3)可視化：2d：Matplotlib, 3d: Mayavi2;4)復雜網路：Networkx、scrapy爬蟲;5)互動式終端、網站的快速開發。
用Python爬取信息的方法有三種：
1、正則表達式。實現步驟分為五步：1)在tomcat伺服器端部署一個html網頁;2)使用URL與網頁建立聯系;3)獲取輸入流，用於讀取網頁中的內容;4)建立正則規則;5)將提取到的數據放到集合中。
2、BeautifulSoup。
Beautiful Soup支持各種html解析器，包括python自帶的標准庫，還有其他的許多第三方庫模塊。其中一個是lxml parser。藉助網頁的結構和屬性等特性來解析網頁的工具，有了它我們不用再去寫一些復雜的正則，只需要簡單的幾條語句就可以完成網頁中某個元素的提取。
3、Lxml。Lxml是Python的一個解析庫，支持HTML和XML的解析，支持xpath解析方式，而且解析效率非常高。Lxml主要解決三個問題：1)有一個XML文件，如何解析;2)解析後，如果查找、定位某個標簽;3)定位後如何操作標簽，比如訪問屬性、文本內容等。
當網頁結構簡單並且想要避免額外依賴(不需要安裝庫)，使用正則表達式更為合適。當需要爬取數據量較少時，使用較慢的BeautifulSoup也可以的。當數據量大時，需要追求效益時，Lxml時最好選擇。
爬蟲是一個比較容易上手的技術，也許你看一篇文檔就能爬取單個網頁上的數據。但對於大規模爬蟲，並不是1*n這么簡單，因此很多企業都在高薪招聘Python精英人才。

5. java爬蟲代理如何實現

爬蟲離不開的就是代理伺服器了，如果我們不用http來爬蟲，ip不更改的情況下，是很難進行的。當我們在使用爬蟲爬取網站資料，速度快，可以不知疲倦地連續工作。但是由於爬蟲軟體在訪問網站時，行為過於頻繁，遠超人力操作速度，就很容易被網站察覺，而封掉用戶的IP。
所以，使用爬蟲軟體時，為了防止IP被封，或者IP已經被封，還想用自己的IP訪問封了自己IP的網站時，就要用到代理IP了。http能夠對我們的ip地址進行更改，這一操作能夠有效減少了網站的ip限制的影響，對爬蟲是很有幫助的。Ipidea含有240＋國家地區的ip，真實住宅網路高度匿名強力保護本地信息。

6. 除了python可以爬蟲還有哪些編程語言可以爬蟲

能夠做網路爬蟲的編程語言很多，包括PHP、Java、C/C++、Python等都能做爬蟲，都能達到抓取想要的數據資源。針對不同的環境，我們需要了解他們做爬蟲的優缺點，才能選出合適的開發環境。

（一）PHP
網路爬蟲需要快速的從伺服器中抓取需要的數據，有時數據量較大時需要進行多線程抓取。PHP雖然是世界上最好的語言，但是PHP對多線程、非同步支持不足，並發不足，而爬蟲程序對速度和效率要求極高，所以說PHP天生不是做爬蟲的。

（二）C/C++
C語言是一門面向過程、抽象化的通用程序設計語言，廣泛應用於底層開發，運行效率和性能是最強大的，但是它的學習成本非常高，需要有很好地編程知識基礎，對於初學者或者編程知識不是很好地程序員來說，不是一個很好的選擇。當然，能夠用C/C++編寫爬蟲程序，足以說明能力很強，但是絕不是最正確的選擇。

（三）Java
在網路爬蟲方面，作為Python最大的對手Java，擁有強大的生態圈。但是Java本身很笨重，代碼量大。由於爬蟲與反爬蟲的較量是持久的，也是頻繁的，剛寫好的爬蟲程序很可能就不能用了。爬蟲程序需要經常性的修改部分代碼。而Java的重構成本比較高，任何修改都會導致大量代碼的變動。

（四）Python
Python在設計上堅持了清晰劃一的風格，易讀、易維護，語法優美、代碼簡潔、開發效率高、第三方模塊多。並且擁有強大的爬蟲Scrapy，以及成熟高效的scrapy-redis分布式策略。實現同樣的爬蟲功能，代碼量少，而且維護方便，開發效率高。

7. java和python哪個適合寫爬蟲

python相對比較適合寫爬蟲，因為它很多都是寫好的函數，直接調用即可。

8. 爬蟲為什麼不用java要用 Python

這個問題蠻有意思的。
簡單的發表一些個人 淺見哈。
1、Java實現網路爬蟲的代碼要比Python多很多，而且實現相對復雜一些。
2、Java對於爬蟲的相關庫也有，但是沒有Python那麼多。
不過就爬蟲的效果來看，Java和Python都能做到，只不過工程量不同，實現的方式也有所差異。
更多的優劣期待大佬們不吝賜教。
推薦教程： 《Python教程》以上就是小編分享的關於爬蟲為什麼不用java要用 Python的詳細內容希望對大家有所幫助，更多有關python教程請關注環球青藤其它相關文章！

9. Python與爬蟲有什麼關系

爬蟲一般是指網路資源的抓取，因為python的腳本特性，python易於配置，對字元的處理也非常靈活，加上python有豐富的網路抓取模塊，所以兩者經常聯系在一起。 簡單的用python自己的urllib庫也可以;用python寫一個搜索引擎，而搜索引擎就是一個復雜的爬蟲。從這里你就了解了什麼是Python爬蟲，是基於Python編程而創造出來的一種網路資源的抓取方式，Python並不是爬蟲。
Python為什麼適合些爬蟲?
1)抓取網頁本身的介面
相比與其他靜態編程語言，如java，c#，C++，python抓取網頁文檔的介面更簡潔;相比其他動態腳本語言，如perl，shell，python的urllib2包提供了較為完整的訪問網頁文檔的API。(當然ruby也是很好的選擇)
此外，抓取網頁有時候需要模擬瀏覽器的行為，很多網站對於生硬的爬蟲抓取都是封殺的。這是我們需要模擬user agent的行為構造合適的請求，譬如模擬用戶登陸、模擬session/cookie的存儲和設置。在python里都有非常優秀的第三方包幫你搞定，如Requests，mechanize
2)網頁抓取後的處理
抓取的網頁通常需要處理，比如過濾html標簽，提取文本等。python的beautifulsoap提供了簡潔的文檔處理功能，能用極短的代碼完成大部分文檔的處理。
其實以上功能很多語言和工具都能做，但是用python能夠幹得最快，最干凈。Life is short， u need python.

10. Python與爬蟲有什麼關系

爬蟲一般是指網路資源的獲取，因為python的腳本特徵，Python易於配置，對字元的處理也非常靈活，加上python有豐富的網路抓取模塊，所以兩者經常聯系在一起。
接下來我們可以詳情了解python到底有什麼作用。
首先Python翻譯成漢語是蟒蛇的意思，並且Python的logo也是兩條纏繞在一起的蟒蛇的樣子，然而Python語言和蟒蛇實際上並沒有一毛錢關系。

那麼Python到底有什麼應用方向和特點呢？下面由我來為大家揭曉！！！
Python的應用方向：
①常規軟體開發 ② 科學計算
③ 自動化運維 ④ 雲計算
⑤ WEB開發 ⑥ 網路爬蟲
⑦ 數據分析 ⑧ 人工智慧
Python的特點：
① 簡單易學、明確優雅、開發速度快。
② 跨平台、可移植、可擴展、互動式、解釋型、面向對象的動態語言。
③ 「內置電池」，大量的標准庫和第三方庫。
④ 社區活躍，貢獻者多，互幫互助。
⑤ 開源語言，發展動力巨大。

最後我們會發現與C 和 Java 比，Python的學習成本和難度曲線不是低一點，更適合新手入門，自底向上的技術攀爬路線。先訂個小目標爬個小山，然後再往更高的山峰前進。而不像C和JAVA光語言學習本身，對於很多人來說就像珠穆朗瑪峰一樣高不可攀。
Python的語法非常簡潔，代碼量少，非常容易編寫，代碼的測試、重構、維護等都非常容易。一個小小的腳本，用C可能需要1000行，用JAVA可能幾百行，但是用Python往往只需要幾十行！而在當前互聯網的時代，產品最講究的就是速度。如果在之前別人家的產品已經上線了，那麼你也就沒有生存空間了，這里的真實例子數不勝數。那麼，Python的開發速度說第二沒人敢稱第一!