pentaho源码编译
❶ 常见的大数据分析工具有哪些
大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助，而大数据分析是去分析海量的数据，所以就不得不借助一些工具去分析大数据，。一般来说，数据分析工作中都是有很多层次的，这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面小编就对大数据分析工具给大家好好介绍一下。
首先我们从数据存储来讲数据分析的工具。我们在分析数据的时候首先需要存储数据，数据的存储是一个非常重要的事情，如果懂得数据库技术，并且能够操作好数据库技术，这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。
1、Mysql数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。
2、SQL Server的最新版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了。
3、DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台;
接着说数据报表层。一般来说，当企业存储了数据后，首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。
1、Crystal Report水晶报表，Bill报表，这都是全球最流行的报表工具，非常规范的报表设计思想，早期商业智能其实大部分人的理解就是报表系统，不借助IT技术人员就可以获取企业各种信息——报表。
2、Tableau软件，这个软件是近年来非常棒的一个软件，当然它已经不是单纯的数据报表软件了，而是更为可视化的数据分析软件，因为很多人经常用它来从数据库中进行报表和可视化分析。
第三说的是数据分析层。这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具;
1、Excel软件，首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作!但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件;
2、SPSS软件：当前版本是18，名字也改成了PASW Statistics;我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。
最后说表现层的软件。一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。
1、PowerPoint软件：大部分人都是用PPT写报告。
2、Visio、SmartDraw软件：这些都是非常好用的流程图、营销图表、地图等，而且从这里可以得到很多零件;
3、Swiff Chart软件：制作图表的软件，生成的是Flash
❷ 如何使用kettle源码更改spoon的东西
1.2. 编译源码
将项目加载到eclipse
将kettle项目拷贝到eclipse的workspace目录下，在eclipse中新建java project，项目名称和你拷贝过来的kettle文件夹名称一致
项目导入到eclipse中会出现一个错误，如下图，将这个文件的源码全部注释掉
编译
打开build.xml, 在右边的。Outline 点击kettle->run as ->ant build
第一次编译的时候需要从网上下载几个文件，放在C:\Documents and Settings\Administrator\.subfloor，网络不好的话下载会比较慢，也可以直接文件放在C:\Documents and Settings\Administrator\下。编译完成后将bin目录下的.bat文件拷贝到Kettle目录下点击Spoon.bat运行，运行成功代表编译已近通过
用源码运行Spoon
Kettle源码工程本身可能是在linux64位机器上调试的，swt配置是linux64的库，所有在运行源码前需要修改成win32的swt，步骤如下：工程à属性àJava Build Pathàlibrariesàadd jars
然后将linux64的SWT库删除
最后打开src-uiàorg.pentaho.di.ui.spoonàSpoon.java， Run As àjava application
二．源码分析
2.1. 修改kettle界面
修改初始化界面
打开package org.pentaho.di.ui.spoon的Spoon.Java，找到main函数，该main函数为Spoon工具的入口，找到如下语句
Splash splash = new Splash(display);
该语句为spoon初始化显示的界面，跳到定义Splash.java，下面函数
canvas.addPaintListener(new PaintListener() {
publicvoid paintControl(PaintEvent e) {
String versionText = BaseMessages.getString(PKG, "SplashDialog.Version") + " " + Const.VERSION; //$NON-NLS-1$ //$NON-NLS-2$
StringBuilder sb = new StringBuilder();
String line = null;
try {
BufferedReader reader = new BufferedReader(newInputStreamReader(Splash.class.getClassLoader().getResourceAsStream("org/pentaho/di/ui/core/dialog/license/license.txt")));//$NON-NLS-1$
while((line = reader.readLine()) != null) {
sb.append(line + System.getProperty("line.separator")); //$NON-NLS-1$
}
} catch (Exception ex) {
sb.append(""); //$NON-NLS-1$
Log.warn(BaseMessages.getString(PKG, "SplashDialog.LicenseTextNotFound")); //$NON-NLS-1$
}
String licenseText = sb.toString();
e.gc.drawImage(kettle_image, 0, 0);
// If this is a Milestone or RC release, warn the user
if (Const.RELEASE.equals(Const.ReleaseType.MILESTONE)) {
versionText = BaseMessages.getString(PKG, "SplashDialog.DeveloperRelease") + " - " + versionText; //$NON-NLS-1$ //$NON-NLS-2$
drawVersionWarning(e);
} elseif (Const.RELEASE.equals(Const.ReleaseType.RELEASE_CANDIDATE)) {
versionText = BaseMessages.getString(PKG, "SplashDialog.ReleaseCandidate") + " - " + versionText; //$NON-NLS-1$//$NON-NLS-2$
}
elseif (Const.RELEASE.equals(Const.ReleaseType.PREVIEW)) {
versionText = BaseMessages.getString(PKG, "SplashDialog.PreviewRelease") + " - " + versionText; //$NON-NLS-1$//$NON-NLS-2$
}
elseif (Const.RELEASE.equals(Const.ReleaseType.GA)) {
versionText = BaseMessages.getString(PKG, "SplashDialog.GA") + " - " + versionText; //$NON-NLS-1$//$NON-NLS-2$
}
Font verFont = new Font(e.display, "Helvetica", 11, SWT.BOLD); //$NON-NLS-1$
e.gc.setFont(verFont);
e.gc.drawText(versionText, 290, 205, true);
// try using the desired font size for the license text
int fontSize = 8;
Font licFont = new Font(e.display, "Helvetica", fontSize, SWT.NORMAL); //$NON-NLS-1$
e.gc.setFont(licFont);
// if the text will not fit the allowed space
while (!willLicenseTextFit(licenseText, e.gc)) {
fontSize--;
licFont = new Font(e.display, "Helvetica", fontSize, SWT.NORMAL); //$NON-NLS-1$
e.gc.setFont(licFont);
}
e.gc.drawText(licenseText, 290, 290, true);
}
});
1. 修改背景图片
找到ui/image/下面的kettle_splash.png，替换该图片
2. 修改版本信息
找到e.gc.drawText(versionText, 290, 205, true); 改为e.gc.drawText("海康威视数据交换平台V1.0", 290, 205, true);
3. 修改下面的描述性文字
找到e.gc.drawText(licenseText, 290, 290, true);改为e.gc.drawText("作者：海康", 290, 290, true);
4. 预览效果
❸ 大数据分析一般用什么工具分析
今天就我们用过的几款大数据分析工具简单总结一下，与大家分享。
1、Tableau
这个号称敏捷BI的扛把子，魔力象限常年位于领导者象限，界面清爽、功能确实很强大，实至名归。将数据拖入相关区域，自动出图，图形展示丰富，交互性较好。图形自定义功能强大，各种图形参数配置、自定义设置可以灵活设置，具备较强的数据处理和计算能力，可视化分析、交互式分析体验良好。确实是一款功能强大、全面的数据可视化分析工具。新版本也集成了很多高级分析功能，分析更强大。但是基于图表、仪表板、故事报告的逻辑，完成一个复杂的业务汇报，大量的图表、仪表板组合很费事。给领导汇报的PPT需要先一个个截图，然后再放到PPT里面。作为一个数据分析工具是合格的，但是在企业级这种应用汇报中有点局限。
2、PowerBI
PowerBI是盖茨大佬推出的工具，我们也兴奋的开始试用，确实完全不同于Tableau的操作逻辑，更符合我们普通数据分析小白的需求，操作和Excel、PPT类似，功能模块划分清晰，上手真的超级快，图形丰富度和灵活性也是很不错。但是说实话，毕竟刚推出，系统BUG很多，可视化分析的功能也比较简单。虽然有很多复杂的数据处理功能，但是那是需要有对Excel函数深入理解应用的基础的，所以要支持复杂的业务分析还需要一定基础。不过版本更新倒是很快，可以等等新版本。
3、Qlik
和Tableau齐名的数据可视化分析工具，QlikView在业界也享有很高的声誉。不过Qlik Seanse产品系列才在大陆市场有比较大的推广和应用。真的是一股清流，界面简洁、流程清晰、操作简单，交互性较好，真的是一款简单易用的BI工具。但是不支持深度的数据分析，图形计算和深度计算功能缺失，不能满足复杂的业务分析需求。
最后将视线聚焦国内，目前搜索排名和市场宣传比较好的也很多，永洪BI、帆软BI、BDP等。不过经过个人感觉整体宣传大于实际。
4、永洪BI
永洪BI功能方面应该是相对比较完善的，也是拖拽出图，有点类似Tableau的逻辑，不过功能与Tableau相比还是差的不是一点半点，但是操作难度居然比Tableau还难。预定义的分析功能比较丰富，图表功能和灵活性较大，但是操作的友好性不足。宣传拥有高级分析的数据挖掘功能，后来发现就集成了开源的几个算法，功能非常简单。而操作过程中大量的弹出框、难以理解含义的配置项，真的让人很晕。一个简单的堆积柱图，就研究了好久，看帮助、看视频才搞定。哎，只感叹功能藏得太深，不想给人用啊。
5、帆软BI
再说号称FBI的帆软BI，帆软报表很多国人都很熟悉，功能确实很不错，但是BI工具就真的一般般了。只能简单出图，配合报表工具使用，能让页面更好看，但是比起其他的可视化分析、BI工具，功能还是比较简单，分析的能力不足，功能还是比较简单。帆软名气确实很大，号称行业第一，但是主要在报表层面，而数据可视化分析方面就比较欠缺了。
6、Tempo
另一款工具，全名叫“Tempo大数据分析平台”，宣传比较少，2017年Gartner报告发布后无意中看到的。是一款BS的工具，申请试用也是费尽了波折啊，永洪是不想让人用，他直接不想卖的节奏。
第一次试用也是一脸懵逼，不知道该点那！不过抱着破罐子破摔的心态稍微点了几下之后，操作居然越来越流畅。也是拖拽式操作，数据可视化效果比较丰富，支持很多便捷计算，能满足常用的业务分析。最最惊喜的是它还支持可视化报告导出PPT，彻底解决了分析结果输出的问题。深入了解后，才发现他们的核心居然是“数据挖掘”，算法十分丰富，也是拖拽式操作，我一个文科的分析小白，居然跟着指导和说明做出了一个数据预测的挖掘流，简直不要太惊喜。掌握了Tempo的基本操作逻辑后，居然发现他的易用性真的很不错，功能完整性和丰富性也很好。
❹ 常用的大数据工具有哪些
未至科技魔方是一款大数据模型平台，是一款基于服务总线与分布式云计算两大技术架构的一款数据分析、挖掘的工具平台，其采用分布式文件系统对数据进行存储，支持海量数据的处理。采用多种的数据采集技术，支持结构化数据及非结构化数据的采集。通过图形化的模型搭建工具，支持流程化的模型配置。通过第三方插件技术，很容易将其他工具及服务集成到平台中去。数据分析研判平台就是海量信息的采集，数据模型的搭建，数据的挖掘、分析最后形成知识服务于实战、服务于决策的过程，平台主要包括数据采集部分，模型配置部分，模型执行部分及成果展示部分等。
未至科技小蜜蜂网络信息雷达是一款网络信息定向采集产品，它能够对用户设置的网站进行数据采集和更新，实现灵活的网络数据采集目标，为互联网数据分析提供基础。
未至科技泵站是一款大数据平台数据抽取工具，实现db到hdfs数据导入功能，借助Hadoop提供高效的集群分布式并行处理能力，可以采用数据库分区、按字段分区、分页方式并行批处理抽取db数据到hdfs文件系统中，能有效解决大数据传统抽取导致的作业负载过大抽取时间过长的问题，为大数据仓库提供传输管道。
未至科技云计算数据中心以先进的中文数据处理和海量数据支撑为技术基础，并在各个环节辅以人工服务，使得数据中心能够安全、高效运行。根据云计算数据中心的不同环节，我们专门配备了系统管理和维护人员、数据加工和编撰人员、数据采集维护人员、平台系统管理员、机构管理员、舆情监测和分析人员等，满足各个环节的需要。面向用户我们提供面向政府和面向企业的解决方案。
未至科技显微镜是一款大数据文本挖掘工具，是指从文本数据中抽取有价值的信息和知识的计算机处理技术,
包括文本分类、文本聚类、信息抽取、实体识别、关键词标引、摘要等。基于Hadoop
MapRece的文本挖掘软件能够实现海量文本的挖掘分析。CKM的一个重要应用领域为智能比对,
在专利新颖性评价、科技查新、文档查重、版权保护、稿件溯源等领域都有着广泛的应用。
未至科技数据立方是一款大数据可视化关系挖掘工具，展现方式包括关系图、时间轴、分析图表、列表等多种表达方式，为使用者提供全方位的信息展现方式。
❺ 大数据分析一般用什么工具分析
大数据分析是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：和梁传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据分析产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。
大数据分析，他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。
一、Hadoop
Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop
是可靠的，即使计算元素和存储会失败，它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，它采用并行的方式工作，通过并行处理加快处理速度。Hadoop
还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
Pentaho BI 平台，Pentaho Open BI
套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI
平台上执行的商业智能流程。流程可以很容易的被定制，也可以添加新的流程。BI
平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过
J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。
Pentaho的发行，主要以Pentaho SDK的形式进行。
Pentaho
SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的
Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体;Pentaho数据库为
Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行;
Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。
Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE
服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。
七、Druid
Druid是实时数据分析存储系统，Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。
八、Ambari
大数据平台搭建、监控利器;类似的还有CDH
1、提供Hadoop集群
Ambari为在任意数量的主机上安装Hadoop服务提供了一个逐步向导。
Ambari处理集群Hadoop服务的配置。
2、管理Hadoop集群
Ambari为整个集群提供启动、停止和重新配置Hadoop服务的中央管理。
3、监视Hadoop集群
Ambari为监视Hadoop集群的健康状况和状态提供了一个仪表板。
九、Spark
大规模数据处理框架(可以应付企业中常见的三种数据处理场景：复杂的批量数据处理(batch data
processing);基于历史数据的交互式查询;基于实时数据流的数据处理，Ceph:Linux分布式文件系统。
十、Tableau Public
1、什么是Tableau Public - 大数据分析工具
这是一个简单直观的工具。因为它通过数据可视化提供了有趣的见解。Tableau
Public的百万行限制。因为它比数据分析市场中的大多数其他玩家更容易使用票价。使用Tableau的视觉效果，您可以调查一个假设。此外，浏览数据，并交叉核对您的见解。
2、Tableau Public的使用
您可以免费将交互式数据可视化发布到Web;无需编程技能;发布到Tableau
Public的可视化可以嵌入到博客中。此外，还可以通过电子邮件或社交媒体分享网页。共享的内容可以进行有效硫的下载。这使其成为最佳的大数据分析工具。
3、Tableau Public的限制
所有数据都是公开的，并且限制访问的范围很小;数据大小限制;无法连接到[R ;读取的唯一方法是通过OData源，是Excel或txt。
十一、OpenRefine
1、什么是OpenRefine - 数据分析工具
以前称为GoogleRefine的数据清理软件。因为它可以帮助您清理数据以进行分析。它对一行数据进行操作。此外，将列放在列下，与关系数据库表非常相似。
2、OpenRefine的使用
清理凌乱的数据;数据转换;从网站解析数据;通过从Web服务获取数据将数据添加到数据集。例如，OpenRefine可用于将地址地理编码到地理坐标。
3、OpenRefine的局限性
Open Refine不适用于大型数据集;精炼对大数据不起作用
十二、KNIME
1、什么是KNIME - 数据分析工具
KNIME通过可视化编程帮助您操作，分析和建模数据。它用于集成各种组件，用于数据挖掘和机器学习。
2、KNIME的用途
不要写代码块。相反，您必须在活动之间删除和拖动连接点;该数据分析工具支持编程语言;事实上，分析工具，例如可扩展运行化学数据，文本挖掘，蟒蛇，和[R
。
3、KNIME的限制
数据可视化不佳
十三、Google Fusion Tables
1、什么是Google Fusion Tables
对于数据工具，我们有更酷，更大版本的Google Spreadsheets。一个令人难以置信的数据分析，映射和大型数据集可视化工具。此外，Google
Fusion Tables可以添加到业务分析工具列表中。这也是最好的大数据分析工具之一。
2、使用Google Fusion Tables
在线可视化更大的表格数据;跨越数十万行进行过滤和总结;将表与Web上的其他数据组合在一起;您可以合并两个或三个表以生成包含数据集的单个可视化;
3、Google Fusion Tables的限制
表中只有前100,000行数据包含在查询结果中或已映射;在一次API调用中发送的数据总大小不能超过1MB。
十四、NodeXL
1、什么是NodeXL
它是关系和网络的可视化和分析软件。NodeXL提供精确的计算。它是一个免费的(不是专业的)和开源网络分析和可视化软件。NodeXL是用于数据分析的最佳统计工具之一。其中包括高级网络指标。此外，访问社交媒体网络数据导入程序和自动化。
2、NodeXL的用途
这是Excel中的一种数据分析工具，可帮助实现以下方面：
数据导入;图形可视化;图形分析;数据表示;该软件集成到Microsoft Excel
2007,2010,2013和2016中。它作为工作簿打开，包含各种包含图形结构元素的工作表。这就像节点和边缘;该软件可以导入各种图形格式。这种邻接矩阵，Pajek
.net，UCINet .dl，GraphML和边缘列表。
3、NodeXL的局限性
您需要为特定问题使用多个种子术语;在稍微不同的时间运行数据提取。
十五、Wolfram Alpha
1、什么是Wolfram Alpha
它是Stephen Wolfram创建的计算知识引擎或应答引擎。
2、Wolfram Alpha的使用
是Apple的Siri的附加组件;提供技术搜索的详细响应并解决微积分问题;帮助业务用户获取信息图表和图形。并有助于创建主题概述，商品信息和高级定价历史记录。
3、Wolfram Alpha的局限性
Wolfram Alpha只能处理公开数字和事实，而不能处理观点;它限制了每个查询的计算时间;这些数据分析统计工具有何疑问?
十六、Google搜索运营商
1、什么是Google搜索运营商
它是一种强大的资源，可帮助您过滤Google结果。这立即得到最相关和有用的信息。
2、Google搜索运算符的使用
更快速地过滤Google搜索结果;Google强大的数据分析工具可以帮助发现新信息。
十七、Excel解算器
1、什么是Excel解算器
Solver加载项是Microsoft Office Excel加载项程序。此外，它在您安装Microsoft
Excel或Office时可用。它是excel中的线性编程和优化工具。这允许您设置约束。它是一种先进的优化工具，有助于快速解决问题。
2、求解器的使用
Solver找到的最终值是相互关系和决策的解决方案;它采用了多种方法，来自非线性优化。还有线性规划到进化算法和遗传算法，以找到解决方案。
3、求解器的局限性
不良扩展是Excel Solver缺乏的领域之一;它会影响解决方案的时间和质量;求解器会影响模型的内在可解性;
十八、Dataiku DSS
1、什么是Dataiku DSS
这是一个协作数据科学软件平台。此外，它还有助于团队构建，原型和探索。虽然，它可以更有效地提供自己的数据产品。
2、Dataiku DSS的使用
Dataiku DSS - 数据分析工具提供交互式可视化界面。因此，他们可以构建，单击，指向或使用SQL等语言。
3、Dataiku DSS的局限性
有限的可视化功能;UI障碍：重新加载代码/数据集;无法轻松地将整个代码编译到单个文档/笔记本中;仍然需要与SPARK集成
以上的工具只是大数据分析所用的部分工具，小编就不一一列举了，下面把部分工具的用途进行分类：
1、前端展现
用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。
用于展现分析商用分析工具有Style Intelligence、RapidMiner Radoop、Cognos, BO, Microsoft
Power BI, Oracle,Microstrategy,QlikView、 Tableau 。
国内的有BDP，国云数据(大数据分析魔镜)，思迈特，FineBI等等。
2、数据仓库
有Teradata AsterData, EMC GreenPlum, HP Vertica 等等。
3、数据集市
有QlikView、 Tableau 、Style Intelligence等等。
❻ 大数据分析一般用什么工具分析
大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助，而大数据分析是去分析海量的数据，所以就不得不借助一些工具去分析大数据，。一般来说，数据分析工作中都是有很多层次的，这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面小编就对大数据分析工具给大家好好介绍一下。
首先我们从数据存储来讲数据分析的工具。我们在分析数据的时候首先需要存储数据，数据的存储是一个非常重要的事情，如果懂得数据库技术，并且能够操作好数据库技术，这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。
1、MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。
2、SQL Server的最新版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了。
3、DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台;
接着说数据报表层。一般来说，当企业存储了数据后，首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。
1、Crystal Report水晶报表，Bill报表，这都是全球最流行的报表工具，非常规范的报表设计思想，早期商业智能其实大部分人的理解就是报表系统，不借助IT技术人员就可以获取企业各种信息——报表。
2、Tableau软件，这个软件是近年来非常棒的一个软件，当然它已经不是单纯的数据报表软件了，而是更为可视化的数据分析软件，因为很多人经常用它来从数据库中进行报表和可视化分析。
第三说的是数据分析层。这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具;
1、Excel软件，首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作!但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件;
2、SPSS软件：当前版本是18，名字也改成了PASW Statistics;我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。
最后说表现层的软件。一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。
1、PowerPoint软件：大部分人都是用PPT写报告。
2、Visio、SmartDraw软件：这些都是非常好用的流程图、营销图表、地图等，而且从这里可以得到很多零件;
3、Swiff Chart软件：制作图表的软件，生成的是Flash
❼ 如何使用kettle源码更改spoon的东西
1.2. 编译源码
将项目加载到eclipse
将kettle项目拷贝到eclipse的workspace目录下，在eclipse中新建java project，项目名称和你拷贝过来的kettle文件夹名称一致
项目导入到eclipse中会出现一个错误，如下图，将这个文件的源码全部注释掉
编译
打开build.xml, 在右边的。Outline 点击kettle->run as ->ant build
第一次编译的时候需要从网上下载几个文件，放在C:\Documents and Settings\Administrator\.subfloor，网络不好的话下载会比较慢，也可以直接文件放在C:\Documents and Settings\Administrator\下。编译完成后将bin目录下的.bat文件拷贝到Kettle目录下点击Spoon.bat运行，运行成功代表编译已近通过
用源码运行Spoon
Kettle源码工程本身可能是在linux64位机器上调试的，swt配置是linux64的库，所有在运行源码前需要修改成win32的swt，步骤如下：工程à属性àJava Build Pathàlibrariesàadd jars
然后将linux64的SWT库删除
最后打开src-uiàorg.pentaho.di.ui.spoonàSpoon.java， Run As àjava application
二．源码分析
2.1. 修改kettle界面
修改初始化界面
打开package org.pentaho.di.ui.spoon的Spoon.Java，找到main函数，该main函数为Spoon工具的入口，找到如下语句
Splash splash = new Splash(display);
该语句为spoon初始化显示的界面，跳到定义Splash.java，下面函数
canvas.addPaintListener(new PaintListener() {
publicvoid paintControl(PaintEvent e) {
String versionText = BaseMessages.getString(PKG, "SplashDialog.Version") + " " + Const.VERSION; //$NON-NLS-1$ //$NON-NLS-2$
StringBuilder sb = new StringBuilder();
String line = null;
try {
BufferedReader reader = new BufferedReader(newInputStreamReader(Splash.class.getClassLoader().getResourceAsStream("org/pentaho/di/ui/core/dialog/license/license.txt")));//$NON-NLS-1$
while((line = reader.readLine()) != null) {
sb.append(line + System.getProperty("line.separator")); //$NON-NLS-1$
}
} catch (Exception ex) {
sb.append(""); //$NON-NLS-1$
Log.warn(BaseMessages.getString(PKG, "SplashDialog.LicenseTextNotFound")); //$NON-NLS-1$
}
String licenseText = sb.toString();
e.gc.drawImage(kettle_image, 0, 0);
// If this is a Milestone or RC release, warn the user
if (Const.RELEASE.equals(Const.ReleaseType.MILESTONE)) {
versionText = BaseMessages.getString(PKG, "SplashDialog.DeveloperRelease") + " - " + versionText; //$NON-NLS-1$ //$NON-NLS-2$
drawVersionWarning(e);
} elseif (Const.RELEASE.equals(Const.ReleaseType.RELEASE_CANDIDATE)) {
versionText = BaseMessages.getString(PKG, "SplashDialog.ReleaseCandidate") + " - " + versionText; //$NON-NLS-1$//$NON-NLS-2$
}
elseif (Const.RELEASE.equals(Const.ReleaseType.PREVIEW)) {
versionText = BaseMessages.getString(PKG, "SplashDialog.PreviewRelease") + " - " + versionText; //$NON-NLS-1$//$NON-NLS-2$
}
elseif (Const.RELEASE.equals(Const.ReleaseType.GA)) {
versionText = BaseMessages.getString(PKG, "SplashDialog.GA") + " - " + versionText; //$NON-NLS-1$//$NON-NLS-2$
}
Font verFont = new Font(e.display, "Helvetica", 11, SWT.BOLD); //$NON-NLS-1$
e.gc.setFont(verFont);
e.gc.drawText(versionText, 290, 205, true);
// try using the desired font size for the license text
int fontSize = 8;
Font licFont = new Font(e.display, "Helvetica", fontSize, SWT.NORMAL); //$NON-NLS-1$
e.gc.setFont(licFont);
// if the text will not fit the allowed space
while (!willLicenseTextFit(licenseText, e.gc)) {
fontSize--;
licFont = new Font(e.display, "Helvetica", fontSize, SWT.NORMAL); //$NON-NLS-1$
e.gc.setFont(licFont);
}
e.gc.drawText(licenseText, 290, 290, true);
}
});
1. 修改背景图片
找到ui/image/下面的kettle_splash.png，替换该图片
2. 修改版本信息
找到e.gc.drawText(versionText, 290, 205, true); 改为e.gc.drawText("海康威视数据交换平台V1.0", 290, 205, true);
3. 修改下面的描述性文字
找到e.gc.drawText(licenseText, 290, 290, true);改为e.gc.drawText("作者：海康", 290, 290, true);
4. 预览效果
❽ 我看到你关于kettle不释放内存的回答，想要一下你改完后org.pentaho.di.core.logging.LoggingRegistr源码
你留个邮箱或者qq吧 网络hi怎么发文件我还不怎么清楚
❾ 做大数据分析一般用什么工具呢
Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据。基础
Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
好说完基础了，再说说还需要学习哪些大数据技术，可以按我写的顺序学下去。
Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。
记住学到这里可以作为你学大数据的一个节点。
Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。
Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。
Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。
Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。
Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。
Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。
Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。