java爬虫和python爬虫

1. python与爬虫有什么关系

爬虫一般是指网络资源的抓取，因为python的脚本特性，python易于配置，对字符的处理也非常灵活，加上python有丰富的网络抓取模块，所以两者经常联系在一起。 简单的用python自己的urllib库也可以;用python写一个搜索引擎，而搜索引擎就是一个复杂的爬虫。从这里你就了解了什么是Python爬虫，是基于Python编程而创造出来的一种网络资源的抓取方式，Python并不是爬虫。
Python为什么适合些爬虫?
1)抓取网页本身的接口
相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁;相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。(当然ruby也是很好的选择)
此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize
2)网页抓取后的处理
抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Life is short， u need python.

2. java和python哪个适合写爬虫

python相对比较适合写爬虫，因为它很多都是写好的函数，直接调用即可。

3. python和Java哪个好他们有什么区别

Python和Java都是编程语言，没有好坏之分。在选择学习Java编程语言还是Python编程语言之前，得先明白自己学习编程的目的是什么？是为了学会编程后进入互联网企业工作，为转行做准备；还是想快速入门编程语言，学习一份技能傍身，为将来做打算。如果是前者的话建议选择学习Java，后者的话建议学习Python。
一、入门难度
Python 比Java 更加简单易学，比如，读写一个相同的文件，如果Java需要十行的代码，而在 Python 中只要两行就可以达到效果。Python的语法简洁清晰，语法接近英语，开发环境简单，适合新手入门学习；Java则需要一定的逻辑思维能力，并且Java基础语法需要学习的东西也比较多。跟python相比，java前期的入门学习可能会有一定的难度，但后期两者难度相当。
二、就业应用前景
自2002年起，历年世界编程语言排行榜——TIOBE排行榜，Java常年位居世界第一，
Python则在2016年排在第五位。Python在国外应用相对成熟，在国内还处于起步阶段，近两年，随着人工智能、机器学习的、大数据以及云计算的兴起，Python发展势如破竹，很多企业开始进入该行列，Python人才的需求量也在不断上升，但相对于发展较为成熟的ava来说，需求量还是较少。且目前Python就业岗位主要集中在一二线城市，java则覆盖面更广。
具体选择哪门语言进行学习，看题主自己的定位和需求，可以两样都试学一下，看自己更适合哪方面，对哪方面更感兴趣。

4. 百度爬虫用什么语言

问题一：Google和网络的爬虫是用什么语言写的？ 15分 每个网站都有一个“爬虫协议”，至少大型网站都会有。
Robots协议（也袭者雹称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
越是大型网站，Robots协议越规范，他们为了提高自己在搜索结果的位置，会针对网络、谷歌等搜素引擎写爬虫协议，而网络等搜索引擎不需要特别针对这些大网站写协议换个角度想，大的搜索引擎就那几个，而所谓“大网站”数不胜数，怎么可能写的过来？
如果你没能理解这部分内容，说明你还处在“菜鸟”级别。一般的爬虫算法是：先查找新地址，用队列或者堆栈来存储新增加的url；然后用爬虫程序从队列或者堆栈中取地址，继续爬虫。因为这两方面程序执行的速度是不一样的，不是说找到一个url就能立即爬完，或者有时候还没找到新url就已经爬完了，所以分了两个结构。
一般的程序中都会用多个函数来执行一个过程，但这在新手的学习中是不常见到、也是不易搞懂的。
鉴于你提出的问题，我觉得你不到能搞通爬虫程序的阶段，建议你还是从简单的程序开始。看看这个编程语言入门经典100例【Python版】，希望对你有帮助

问题二：网络他们公司 那建立索引 做爬虫这些的用什么语言？ 实现搜索引擎核心算法 用什么语言啊？ 爬虫什么耿言都可以写 拆解出来 主要就两部分
一部分是获取HTML
另一部分是正则表达式
这要有这两部分就能从网页上爬出有用的信息来了
至于多线程、OCR、分布式任务要根据你抓取站点的目标来做，并非是必须的

问题三：一般公司做爬虫采集的话常用什么语言 C# python
工具 phantomjs casperjs

问题四：请详细解释什么事网络爬虫，有什么作用 说通俗一点就是一段程序，这段程序可以在互联网上自动查询更新的网站

问题五：网络爬虫用什么语言好 爬虫好像很多语言都有，java,C#,python等等。我自己用的是python.

问题六：开发网络爬虫用什么语言比较好 python虽然我拍帆没用过，但是这个应嘎是最好的

问题七：网络爬虫用什么语言什么方式实现好 首先取决于目的 如果是一个站点，单一目的，用习惯的语言写吧，学别的语言用的时间都够重构两遍的了。 如果是有100左右的站点，做个框架，把你的爬虫管理起来，比起怎么写更重要。 用Java写过，语言笨重，所建立的数据模型的任何修改都会导致代

问题八：爬虫web软件 用什么开发语言最好 你可以试试用【神箭手云爬虫】写爬虫，
完全在云上编写和执行爬虫，不需要配置任何开发环境，快速开发快速实现。
官网上有不少网站的爬虫源码分享
还有专门的开发者文档，里面的教程很详细，各种基本爬虫基础和进阶开发知识都有介绍。
爬虫编辑器:
神箭手云爬虫开发平台：

问题九：各种语言写网络爬虫有什么优点缺点 我用 php 和 Python 都写过爬虫和正文提取程嫌旅序。
最开始使用 PHP 所以先说说 PHP 的优点：
1.语言比较简单，PHP 是非常随意的一种语言。写起来容易让你把精力放在你要做的事情上，而不是各种语法规则等等。
2.各种功能模块齐全，这里分两部分：
1.网页下载：curl 等扩展库;
2.文档解析：dom、xpath、tidy、各种转码工具，可能跟题主的问题不太一样，我的爬虫需要提取正文，所以需要很复杂的文本处理，所以各种方便的文本处理工具是我的大爱。;
总之容易上手。
缺点：
1.并发处理能力较弱：由于当时 PHP 没有线程、进程功能，要想实现并发需要借用多路服用模型，PHP 使用的是 select 模型。实现其来比较麻烦，可能是因为水平问题我的程序经常出现一些错误，导致漏抓。
再说说 Python：
优点：
1.各种爬虫框架，方便高效的下载网页;
2.多线程、进程模型成熟稳定，爬虫是一个典型的多任务处理场景，请求页面时会有较长的延迟，总体来说更多的是等待。多线程或进程会更优化程序效率，提升整个系统下载和分析能力。
3.GAE 的支持，当初写爬虫的时候刚刚有 GAE，而且只支持 Python ，利用 GAE 创建的爬虫几乎免费，最多的时候我有近千个应用实例在工作。
缺点：
1.对不规范 HTML 适应能力差：举个例子，如果一个页面里面同时有 GB18030 字符集的中文和 UTF-8 字符集的中文，Python 处理起来就没有 PHP 那么简单，你自己需要做很多的判断工作。当然这是提取正文时的麻烦。
Java 和 C++ 当时也考察过，相对脚本语言比较麻烦，所以放弃。
总之，如果开发一个小规模的爬虫脚本语言是个各方面比较有优势的语言。如果要开发一个复杂的爬虫系统可能 Java 是个增加选项， C++ 我感觉写个模块之类的更加适合。对于一个爬虫系统来说，下载和内文解析只是基本的两个功能。真正好的系统还包括完善的任务调度、监控、存储、页面数据保存和更新逻辑、排重等等。爬虫是一个耗费带宽的应用，好的设计会节约大量的带宽和服务器资源，并且好坏差距很大。

问题十：爬虫技术 什么编程语言 爬虫的主要原理是抓取html的内容，大部分目前常见的语言都有相关的网络编程API，都能实现网络爬虫。比如说Java, Python, C++, C#, PHP, Perl等语言都可以。
希望对你有所帮助！

5. java和Python哪个适合写爬虫

当然是Python，一般我们都口语化说Python爬虫，爬虫工程师都是用python语言。
Python独特的优势是写爬虫的关键。1)跨平台，对linux和windows都有不错的支持;2)科学计算、数值拟合：Numpy、Scipy;3)可视化：2d：Matplotlib, 3d: Mayavi2;4)复杂网络：Networkx、scrapy爬虫;5)交互式终端、网站的快速开发。
用Python爬取信息的方法有三种：
1、正则表达式。实现步骤分为五步：1)在tomcat服务器端部署一个html网页;2)使用URL与网页建立联系;3)获取输入流，用于读取网页中的内容;4)建立正则规则;5)将提取到的数据放到集合中。
2、BeautifulSoup。
Beautiful Soup支持各种html解析器，包括python自带的标准库，还有其他的许多第三方库模块。其中一个是lxml parser。借助网页的结构和属性等特性来解析网页的工具，有了它我们不用再去写一些复杂的正则，只需要简单的几条语句就可以完成网页中某个元素的提取。
3、Lxml。Lxml是Python的一个解析库，支持HTML和XML的解析，支持xpath解析方式，而且解析效率非常高。Lxml主要解决三个问题：1)有一个XML文件，如何解析;2)解析后，如果查找、定位某个标签;3)定位后如何操作标签，比如访问属性、文本内容等。
当网页结构简单并且想要避免额外依赖(不需要安装库)，使用正则表达式更为合适。当需要爬取数据量较少时，使用较慢的BeautifulSoup也可以的。当数据量大时，需要追求效益时，Lxml时最好选择。
爬虫是一个比较容易上手的技术，也许你看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，并不是1*n这么简单，因此很多企业都在高薪招聘Python精英人才。

6. 爬虫怎么用

网络爬虫软件怎么使用 5分
搜索引擎使用网络爬虫寻找网络内容，网络上的HTML文档使用超链接连接了起来，就像功成了一张网，网络爬虫也叫网络蜘蛛，顺着这张网爬行，每到一个网页就用抓取程序将这个网页纯塌抓下来，将内容抽取出来，同时抽取超链接，作为进一步爬行的线索。网络爬虫总是要从某个起点开始爬，这个起点叫做种子，你可以告诉它，也可以到一些网址列表网站上获取

网页抓取/数据抽取/信息提取软件工具包MetaSeeker是一套完整的解决方案，里面有定题网络爬虫，也叫聚焦网络爬虫，这种爬虫抓取下来一个页面后并不抽取所有的超链接，而是只找主题相关的链接，笼统的说就是爬行的范围是受控的。网络爬虫实现代码主要集中在MetaSeeker工具包中的DataScraper工具。可以从 gooseeker网站下载下来看
请详细解释什么事网络爬虫，有什么作用
说通俗一点就是一段程序，这段程序可以在互联网上自动查询更新的网站
网站刚建好，没有信息，听说有个什么爬虫，可以自动抓取，怎么用？
你说的是自动采集的功能，这个需要插件支持自动采集并且你的空间也要支持自动采集...如果你的空间不许你使用采集功能是会把你的网站删掉的.因为采集占用的服务器资源很高，几乎没有空间支持采集功能...你告诉我你使用的是什么建站系统，我可以给你参考参考...如果你需要采集功能可以采用狂人采集器，和很多建站程序都有接口的！

另外搞采集一般都是搞垃圾站的...呵呵....
网络爬虫是什么，有很大的作用吗?
【网络爬虫】又被称为网页蜘蛛，聚焦爬虫，网络机器人，在FOAF社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁做碧圆、自动索引、模拟程序或者蠕虫。

网络爬虫是一个自动提取网页的程序，它为搜索引擎从慧悔万维网上下载网页，是搜索引擎的重要组成搐传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
如何利用python写爬虫程序
这里有比较详细的介绍

blog.csdn/column/details/why-bug
java 网络爬虫怎么实现
代码如下:package webspider;import java.util.HashSet;import java.util.PriorityQueue;import java.util.Set;import java.util.Queue;public class LinkQueue { 已访问的 url *** private static Set visitedUrl = new HashSet(); 待访问的 url *** private static Queue unVisitedUrl = new PriorityQueue(); 获得URL队列 public static Queue getUnVisitedUrl() { return unVisitedUrl; } 添加到访问过的URL队列中 public static void addVisitedUrl(String url) { visitedUrl.add(url); } 移除访问过的URL public static void removeVisitedUrl(String url) { visitedUrl.remove(url); } 未访问的URL出队列 public static Object unVisitedUrlDeQueue() { return unVisitedUrl.poll(); } 保证每个 url 只被访问一次 public static void addUnvisitedUrl(String url) { if (url != null && !url.trim().equals("") && !visitedUrl.contains(url) && !unVisitedUrl.contains(url)) unVisitedUrl.add(url); } 获得已经访问的URL数目 public static int getVisitedUrlNum() { return visitedUrl.size(); } 判断未访问的URL队列中是否为空 public static boolean unVisitedUrlsEmpty() { return unVisitedUrl.isEmpty(); }}
如何用Java写一个爬虫
import java.io.File;import java.URL;import java.URLConnection;import java.nio.file.Files;import java.nio.file.Paths;import java.util.Scanner;import java.util.UUID;import java.util.regex.Matcher;import java.util.regex.Pattern; public class DownMM { public static void main(String[] args) throws Exception { out为输出的路径,注意要以\\结尾 String out = "D:\\JSP\\pic\\java\\"; try{ File f = new File(out); if(! f.exists()) { f.mkdirs(); } }catch(Exception e){ System.out.println("no"); } String url = "mzitu/share/ment-page-"; Pattern reg = Patternpile(">
网络爬虫软件怎么使用？急！！！！！！！！！！
每个人写的程序用法都不一样，你自己再看下文档吧，里面应该有格式！别这么浪费分！
为什么写爬虫都喜欢用python
有更加成熟的一种爬虫脚本语言，而非框架。是通用的爬虫软件ForeSpider，内部自带了一套爬虫脚本语言。

从一个专业C++程序猿的角度说，网上流传的各种Java爬虫，Python爬虫，Java需要运行于C++开发的虚拟机上，Python只是脚本语言，采集效率和性能如何能与强大的C++相提并论？C++直接控制系统的底层，对内存空间的控制和节省都是其他语言无法竞争的。首先，forespider的开发语言是C++，而且C++几乎没有现成的框架可以用，而火车采集器是用的C#。先从业界水平和良心来说，这个软件可以做到从底层到上层都是他们的技术人员自己写的，而非运用现成的框架结构。

其次，因为抓取金融行业的数据，数据量大，动态性强，而采集对象一般反爬虫策略又很严格。所以，专门建立团队开发不现实。请外包人员开发太贵。买现成的软件，要考虑性价比。因为很多数据需要登录，需要验证码，是JS生成的数据，是ajax，是协议，有加密的key，有层层的验证机制等等，分析市面上所有找得到的爬虫软件，没有找到其他一家可以完全把我们列表上的网站采集下来的软件。forespider功能强大，这是很重要的一点。

第三，forespider在台式机上运行一天可以采400万条数据，在服务器上一天可以采8000万条数据。这样一来，数据更新速度明显比以前快了几十倍。从前抓一个7500万的网站需要好几个月，等抓完数据早都变化的不成样子了，这是很多爬虫的痛处。但是现在的更新速度只有两三天。forespider的性能强大，这也是非常好的一点。

第四，其实完全可视化的采集也不需要计算机专业的。大致学习了之后就可以上手采。而且forespider关于数据的管理做的很好。一是软件可以集成数据库，在采集之前就可以建表。二是数据可以自动排重，对于金融这样数据更新要求很高的行业，就特别合适。

第五，是关于免费的问题，我觉得免费的东西同时还能兼顾好用，只能是中国的盗版软件和手机APP。大概是大家都习惯了在软件上不花钱，所以都想找到免费的。forespider有免费版的，功能倒是不限制，但是采集数目每天有限制。
最好用的免费爬虫工具是什么?
如果说好用的爬虫软件，那确实很多，不过首推造数。

造数云爬虫，界面简洁，操作超级简便免下载。

现在我们有商务定制需求也会找造数的客服解决。效率很高，不错。

7. 为什么都说爬虫PYTHON好

选择Python作为实现爬虫的语言，其主要考虑因素在于：
(1) 抓取网页本身的接口
相比其他动态脚本语言(如Perl、Shell)，Python的urllib2包提供了较为完整的访问网页文档的API;相比与其他静态编程语言(如Java、C#、C++)，Python抓取网页文档的接口更简洁。
此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这时我们需要模拟User Agent的行为构造合适的请求，譬如模拟用户登录、模拟Session/Cookie的存储和设置。在Python里都有非常优秀的第三方包帮你搞定，如Requests或Mechanize。
(2) 网页抓取后的处理
抓取的网页通常需要处理，比如过滤Html标签，提取文本等。Python的Beautiful Soup提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
其实以上功能很多语言和工具都能做，但是用Python能够干得最快、最干净，正如这句“Life is short，you need Python”。
(3) 开发效率高
因为爬虫的具体代码根据网站不同而修改的，而Python这种灵活的脚本语言特别适合这种任务。
(4) 上手快
网络上Python的教学资源很多，便于大家学习，出现问题也很容易找到相关资料。另外，Python还有强大的成熟爬虫框架的支持，比如Scrapy。

8. 为什么常用Python，Java做爬虫，而不是C#C++等

我用c#,java都写过爬虫。区别不大，原理就是利用好正则表达式。只不过是平台问题。后来了解到很多爬虫都是用python写的。因为目前对python并不熟，所以也不知道这是为什么。网络了下结果：

1）抓取网页本身的接口

相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）

此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟useragent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize

2）网页抓取后的处理

抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。

其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Lifeisshort，uneedpython.

Python爬虫基础视频

冲最后一句‘Lifeisshort，uneedpython’，立马在当当上买了本python的书！以前就膜拜过python大牛，一直想学都扯于各种借口迟迟没有开始。。

py用在linux上很强大，语言挺简单的。

NO.1快速开发（唯一能和python比开发效率的语言只有rudy）语言简洁，没那么多技巧，所以读起来很清楚容易。

NO.2跨平台（由于python的开源，他比java更能体现"一次编写到处运行"

NO.3解释性（无须编译，直接运行／调试代码）

NO.4构架选择太多（GUI构架方面主要的就有wxPython,tkInter,PyGtk,PyQt。

9. 除了python可以爬虫还有哪些编程语言可以爬虫

能够做网络爬虫的编程语言很多，包括PHP、Java、C/C++、Python等都能做爬虫，都能达到抓取想要的数据资源。针对不同的环境，我们需要了解他们做爬虫的优缺点，才能选出合适的开发环境。

（一）PHP
网络爬虫需要快速的从服务器中抓取需要的数据，有时数据量较大时需要进行多线程抓取。PHP虽然是世界上最好的语言，但是PHP对多线程、异步支持不足，并发不足，而爬虫程序对速度和效率要求极高，所以说PHP天生不是做爬虫的。

（二）C/C++
C语言是一门面向过程、抽象化的通用程序设计语言，广泛应用于底层开发，运行效率和性能是最强大的，但是它的学习成本非常高，需要有很好地编程知识基础，对于初学者或者编程知识不是很好地程序员来说，不是一个很好的选择。当然，能够用C/C++编写爬虫程序，足以说明能力很强，但是绝不是最正确的选择。

（三）Java
在网络爬虫方面，作为Python最大的对手Java，拥有强大的生态圈。但是Java本身很笨重，代码量大。由于爬虫与反爬虫的较量是持久的，也是频繁的，刚写好的爬虫程序很可能就不能用了。爬虫程序需要经常性的修改部分代码。而Java的重构成本比较高，任何修改都会导致大量代码的变动。

（四）Python
Python在设计上坚持了清晰划一的风格，易读、易维护，语法优美、代码简洁、开发效率高、第三方模块多。并且拥有强大的爬虫Scrapy，以及成熟高效的scrapy-redis分布式策略。实现同样的爬虫功能，代码量少，而且维护方便，开发效率高。

10. java适合写爬虫吗

JAVA也可以实现爬虫，比如jsoup包，一个非常方便解析html的工具呢。
不过相对来说，java语言笨重，稍微有些麻烦。