当前位置:首页 » 操作系统 » kettle数据库配置

kettle数据库配置

发布时间: 2022-12-31 06:33:26

① Kettle配置数据源时加载外部properties配置文件

kettle很方便的一个点,就是从你有一个想法到落实到行动,可以很快很方便.这点也是使用kettle过程中有趣的点之一.

在设置变量中配置文件的路径:

如果使用 最简单的方式 ,那就是文件的路径在此处直接指定.而 常用的方式 是通过kettle的命名参数在执行脚本的时候通过变量的方式传递给job,然后在属性文件名处引用该文件路径变量即可.如下图

https://blog.csdn.net/andyzhaojianhui/article/details/50344247

java 怎么设置kettle数据库

java调用kettle数据库类型资源库中的ktr
此问题在1个月前或许已经接触,单是一直木有怎么用到,就被耽搁至今;问题的解决要来源于网络,其实我还想说问题的解决更多的是要靠我们自己的思想,不过多的言情,我们接下来直接进入主题吧!
环境:kettle-spoon 4.2.0,oracle11g,myeclipse6.5,sqlserver2008
前提:在kettle图形界面spoon里面已经做好了一个ktr转换模型,此时我的ktr信息如下图:

Step1:在myeclipse创建project,导入kettle集成所需要的包

Step2:重点解析与code源码
//定义ktr名字
private static String transName = "test1";
//初始化kettle环境
KettleEnvironment.init();
//创建资源库对象,此时的对象还是一个空对象
KettleDatabaseRepository repository = new KettleDatabaseRepository();
//创建资源库数据库对象,类似我们在spoon里面创建资源库
DatabaseMeta dataMeta =
new DatabaseMeta("enfo_bi","Oracle","Native","ip","sid","port","username","password");
//资源库元对象,名称参数,id参数,描述等可以随便定义
KettleDatabaseRepositoryMeta kettleDatabaseMeta =
new KettleDatabaseRepositoryMeta("enfo_bi", "enfo_bi", "king description",dataMeta);
//给资源库赋值
repository.init(kettleDatabaseMeta);
//连接资源库
repository.connect("admin","admin");
//根据变量查找到模型所在的目录对象
RepositoryDirectoryInterface directory = repository.findDirectory("/enfo_worker/wxj");
//创建ktr元对象
TransMeta transformationMeta = ((Repository) repository).loadTransformation(transName, directory, null, true, null ) ;
//创建ktr
Trans trans = new Trans(transformationMeta);
//执行ktr
trans.execute(null);
//等待执行完毕
trans.waitUntilFinished();

上面的两个步骤才可以确定是资源库中的那个路径下的ktr和我们用命令执行一样的-dir ,-tran -job
附上源码:

package kettle;
import org.pentaho.di.core.KettleEnvironment;
import org.pentaho.di.core.database.DatabaseMeta;
import org.pentaho.di.core.exception.KettleException;
import org.pentaho.di.repository.Repository;
import org.pentaho.di.repository.RepositoryDirectoryInterface;
import org.pentaho.di.repository.kdr.KettleDatabaseRepository;
import org.pentaho.di.repository.kdr.KettleDatabaseRepositoryMeta;
import org.pentaho.di.trans.Trans;
import org.pentaho.di.trans.TransMeta;
/**
* <p>Title: java调用kettle4.2数据库型资料库中的转换</p>
* <p>Description: </p>
* <p>Copyright: Copyright () 2012</p>
*/
public class ExecuteDataBaseRepTran {

private static String transName = "test1";

public static void main(String[] args) {

try {
//初始化kettle环境
KettleEnvironment.init();
//创建资源库对象,此时的对象还是一个空对象
KettleDatabaseRepository repository = new KettleDatabaseRepository();
//创建资源库数据库对象,类似我们在spoon里面创建资源库
DatabaseMeta dataMeta =
new DatabaseMeta("enfo_bi","Oracle","Native","ip","sid","port","username","password");
//资源库元对象,名称参数,id参数,描述等可以随便定义
KettleDatabaseRepositoryMeta kettleDatabaseMeta =
new KettleDatabaseRepositoryMeta("enfo_bi", "enfo_bi", "king description",dataMeta);
//给资源库赋值
repository.init(kettleDatabaseMeta);
//连接资源库
repository.connect("admin","admin");
//根据变量查找到模型所在的目录对象,此步骤很重要。
RepositoryDirectoryInterface directory = repository.findDirectory("/enfo_worker/wxj");
//创建ktr元对象
TransMeta transformationMeta = ((Repository) repository).loadTransformation(transName, directory, null, true, null ) ;
//创建ktr
Trans trans = new Trans(transformationMeta);
//执行ktr
trans.execute(null);
//等待执行完毕
trans.waitUntilFinished();

if(trans.getErrors()>0)
{
System.err.println("Transformation run Failure!");
}
else
{
System.out.println("Transformation run successfully!");
}
} catch (KettleException e) {
e.printStackTrace();
}
}

}

③ windows怎么安装kettle的jdk配置

【好评赠送】Kettle软件包6.1-8(1).2,免费下载

链接:https://pan..com/s/1qSJoR5D1Ih9ZtfYEfncQKg

提取码:sd59

kettle 是纯 java 开发,开源的 ETL工具,用于数据库间的数据迁移 。可以在 linux、windows、unix 中运行。有图形界面,也有命令脚本还可以二次开发。

④ 如何在kettle作业中设置参数

1、首先,我们先打开KETTLE,进入软件的主界面后,我们可以先创建一个作业或者转换,然后双击空白处。
2、我们即可呼出作业或者转换属性窗口,我们在选项卡中国选择“命名参数”,用户填写您所需要设置的命名参数以及默认值,支持添加描述。
3、这里,我们以表输入功能作为例子,我们打开数据库连接,然后可以使用对应的参数,我们设置主机名称、数据库名称等一系列参数,然后输入密码,若用户的密码需要使用参数,勾选密码下的Use Result Streaming Cursor选项。
4、然后,用户即可配置的作业中可以使用相应的参数,住的注意的是参数名称要与设置的参数名称一致,还需要·点选替换SQL语句里的变量。
5、用户按照下图所示进行输入相应参数,点击启动按钮即可配置完成。

⑤ 如何用Kettle链接Kingbase数据库

方法/步骤

  • 安装包下载后解压,运行setup.bat批处理文件,弹出黑框,自动加载安装程序。

⑥ kettle教程是什么

kettle 是纯 java 开发,开源的 ETL工具,用于数据库间的数据迁移 。可以在 Linux、windows、unix 中运行。有图形界面,也有命令脚本还可以二次开发。

kettle 的官网是https://community.hitachivantara.com/docs/DOC-1009855,github地址是https://github.com/pentaho/pentaho-kettle。

安装。

这边以 windows 下的配置为例,linux 下配置类似。

jdk 安装及配置环境变量。

由于 kettle 是基于 java 的,因此需要安装 java 环境,并配置 JAVA_HOME 环境变量。

建议安装 JDK1.8 及以上,7.0以后版本的 kettle 不支持低版本 JDK。

下载 kettle。

从 官网 下载 kettle ,解压到本地即可。

下载相应的数据库驱动。

由于 kettle 需要连接数据库,因此需要下载对应的数据库驱动。

例如 MySQL 数据库需要下载 mysql-connector-java.jar,oracle 数据库需要下载 ojdbc.jar。下载完成后,将 jar 放入 kettle 解压后路径的 lib 文件夹中即可。

注意:本文基于 pdi-ce-7.0.0.0-25 版本进行介绍,低版本可能有区别。

启动。

双击 Spoon.bat 就能启动 kettle 。

转换。

转换包括一个或多个步骤,步骤之间通过跳(hop)来连接。跳定义了一个单向通道,允许数据从一个步骤流向另一个步骤。在Kettle中,数据的单位是行,数据流就是数据行从一个步骤到另一个步骤的移动。

1、打开 kettle,点击 文件->新建->转换。

2、在左边 DB 连接处点击新建。

3、根据提示配置数据库,配置完成后可以点击测试进行验证,这边以 MySQL 为例。

4、在左侧找到表输入(核心对象->输入->表输入),拖到右方。

5、双击右侧表输入,进行配置,选择数据源,并输入 SQL。可以点击预览进行预览数据。

6、在左侧找到插入/更新(核心对象->输出->插入/更新),拖到右方。

7、按住 Shift 键,把表输入和插入/更新用线连接起来。

8、双击插入/更新进行配置。

9、点击运行,就可以运行这一个转换。

10、运行结束后,我们可以在下方看到运行结果,其中有日志,数据预览等,我们可以看到一共读取了多少条数据,插入更新了多少数据等等。

这样就完成了一个最简单的转换,从一个表取数据,插入更新到另一个表。

作业。

如果想要定时运行这个转换,那么就要用到作业。

1、新建一个作业。

2、从左侧依次拖动 START 、转换、成功到右侧,并用线连接起来。

3、双击 START,可以配置作业的运行间隔,这边配置了每小时运行一次。

4、双击转换,选择之前新建的那个转换。

5、点击运行,就能运行这次作业,点击停止就能停止。在下方执行结果,可以看到运行的日志。

这样就完成了一个最简单的作业,每隔1小时,将源表的数据迁移到目标表。

总结:kettle 是一个非常强大的 ETL 工具,通过图形化界面的配置,可以实现数据迁移,并不用开发代码。

通过它的作业,kettle 能自动地运行转换。

⑦ Kettle的MySQL数据库如何创建学生类表

1、我们打开mysql命令行编辑器。
2、我们输入密码,连接数据库。
3、我们先查看一下所有数据库,是否有我们想要操作的。(当然你也可以自己创建一个数据库)。
4、我们输入使用数据库。我们创建学生类表,表里面输入数据列。createtable表名。
5、我们showtables,就可以查看我们在数据库中创建的学生类表了。

⑧ kettle怎么把数据源配置成全局数据源

资源库
默认数据库连接为全局共有
非资源库
a) 将数据库连接进行共享,view-database connections-share
b) 设置为全局变量,在kettle.properties文件中,将数据库连接各属性配置为变量

⑨ 为什么kettle可以接入多种数据源

kettle可以接入多种数据源原因:由于kettle是纯java编辑,所以kettle连接mysql库的时候需要mysql的java连接包,网络下载一个mysql的java连接驱动。

kettle使用文件资源库不需要用户名和密码,如果没有资源库可以点击右上角的"+"新建资源库。为建立数据库的资源库,本例选择使用文件资源库,选择确定后会要求选择文件资源库的路径,并给文件资源库设置一个ID和名称。

kettle无代码拖拽式构建数据管道:

kettle可Pentaho采用拖拽组件、连线、配置的方式来构建数据管道,透过超过200个不同的组件,用户可以在不编写一句代码就能轻松完成对数据源读取。

对数据进行关联、过滤、格式转换、计算、统计、建模、挖掘、输出到不同的数据目标。极大程度地降低开发技术门槛和有效减低开发和维护成本。



⑩ kettle怎么把数据源配置成全局数据源

  1. 资源库

    默认数据库连接为全局共有

  2. 非资源库

    a) 将数据库连接进行共享,view-database connections-share

    b) 设置为全局变量,在kettle.properties文件中,将数据库连接各属性配置为变量

热点内容
存储器主要用来 发布:2025-05-10 15:17:34 浏览:426
两台服务器怎么部署redis 发布:2025-05-10 15:16:09 浏览:903
cocoa编程 发布:2025-05-10 15:15:18 浏览:181
中控导航什么配置好 发布:2025-05-10 15:15:07 浏览:790
个人网站的数据库 发布:2025-05-10 15:10:17 浏览:118
会编程好处 发布:2025-05-10 14:58:49 浏览:480
编程的过程 发布:2025-05-10 14:58:38 浏览:343
怎么退出服务器开机硬件监控 发布:2025-05-10 14:53:37 浏览:232
长虹安卓电视关闭网络在哪里 发布:2025-05-10 14:37:04 浏览:142
ubuntuhttp服务器的搭建 发布:2025-05-10 14:33:06 浏览:38