kettleftp上传

① Kettle链接Clickhouse实录

需求：通过kettle操作clickhouse

背景：kettle官方不支持clickhouse的驱动

版本：

clickhouse 20.8.7.15

kettle 8.1

实现步骤：

windows上环境：

1、将以下包放入   xxx\data-integration\libswt\win64

2、在kettle的plugins文件夹下创建clickhouse-plugins

3、将以下包文件放入上面创建的clickhouse-plugins目录下

4、重启kettle

5、kettle中操作

以上方案在kettle中插入日期数据到clickhouse会报异常，处理方式如下

1、删除第一步中放入到win64下面的所有jar包

2、将下面包放入到kettle的lib下，重启即可

ps:由于平台上不能上传相关jar包，以上包有需要的可以联系我。

参考文章： https://blog.csdn.net/aaa8210/article/details/110632472

② kettle 找不到ftp怎么用

我也遇到这问题了，分享一下解决方法吧以后没准还有人能用到。我机器的主要问题是环境变量java_HOME的值不对，应该写到jdk也就是C:\Program Files\Java\jdk1.7.0_25，并且，改完后要重启机器才行（这个很重要）。

③ kettle内存占用怎么解决

kettle工具本身也会占用很大的内存，可以将需要执行的job用kitchen命令写成bat脚本，这样就可以直接在windows上运行，节省很大的内存占用，如果需要定时执行，可以添加到计划任务中。

④ 用kettle抽取数据后 怎么生成报表 怎么发布到tomcat上 需要添加什么代码 jsp页面怎么设置

kettle工具没用过。
1.怎么生成报表，这个不知道。
2.怎么发布到tomcat上。
我下了一个kettle，网上说这个是纯JAVA写的工具，那么你要使用一些功能，需要将kettle的一些JAR文件添加到你工程的web-inf/lib目录下。
3. jsp页面怎设置。
这个要看生成的报表是什么了。如果是一个图片。有两种方法，一个是将文件生成到服务器上，在JSP中引用该图片，另一个就是直接以流的方式写到页面上。
如果是类似EXCEL那样的系统，可识别的文件 ，可以用流以打开方式写到页面上。打开显示文件内容。

⑤ 如何修改kettle slaveserver的最大连接数

背景

在使用ftp下载插件时，发现进行本地执行时可以正常，但当选择了远程执行并指定了远程服务器后发现出现了错误：从 FTP:User cannot log in. 获取文件时发生错误。根据错误信息可以判断是因为ftp登录不上的原因，至于具体的原因无法定位，为了一探究竟，于是便萌生了调试远程作业的想法，顺便深入了解一下了解kettle运行原理以及源码学习。

思路
carte服务器实际上就是一个web server,该web server 是基于 Jetty 这个嵌入式的开源 servlet 容器。这个web server主要是提供转换运行的环境，另外一个重要的功能通过提供servlet来在客户端、主服务器和从属服务器之间进行通讯和控制。主服务器和从属 服务器之间是通过httpClient来进行通讯的，通讯时传递的数据是xml格式。通过提供的servlet,可以实现启动、停止、暂停转换或者作业、 获得转换或者作业的状态、注册子服务器、获得子服务器的列表等等.
其实思路以及LZ使用的方法很简单：通过java代码在eclipse中启动一个Carte服务器，然后远程执行作业时指定服务器作为载体。
搭建Carte服务启动环境
首先创建一个普通的java project项目，如果没有kettle源码环境的话可以创建maven project，这样直接从中心仓库上面获得jar包以及源码。刚好LZ之前有编译过kettle源码且已 经作为项目导入了eclipse中，所以 源码以及相关kettle的jar包都已经有了。
创建了项目后，需要把相关的jar包加到java bulid path中，下面的jar包也可以从PDI工具的lib目录下获得：

把依赖包加入到项目中后，创建一个类来启动Carte服务：
public class CarteServer {
publicstaticvoid main(String[] args) throws Exception {
SlaveServerConfig config =new SlaveServerConfig("192.168.31.43", 7088,true);//ip与端口与通过Carte.bat启动时指定的参数一样
Carte.runCarte(config); //通过该静态方法启动carte
}
}

开始远程调试

1.启动carte服务，建好CarteServer类后，直接debug as --> java application，即可启动carte服务，在控制台可以看到以下信息：
2016/08/11 10:55:55 - Carte - 创建 web 服务监听器 @ 地址: 192.168.31.43:7088
2016-08-11 10:55:55.912:INFO::jetty-6.1.26
2016-08-11 10:55:55.933:INFO::Started [email protected]:7088

2.打开spoon工具，创建一个job，下面的job是从ftp服务器上下载文件：

3.因为作业用到了FTP下载插件，在源码中对应JobEntryFTP类，打开该类并在execute()方法中打上断点：


4.运行job，选择远程执行，选择上述类CarteServer中启动的服务器（要先在spoon工具中新建一个子服务器）：

5.观察断点位置，看到已经进入了调试：

大功告成，至于ftp下载插件为什么在远程执行中错误另外说明。
远程执行流程
用户运行kettle作业并选择“远程执行”，触发org.pentaho.di.job.Job类的sendToSlaveServer方法
在sendToSlaveServer方法中，首先生成XML格式的作业元数据描述。
调用SlaveServer的sendXML()方法把这些元数据会被发送到远程的carte服务器。
服务器端AddJobServlet接收到请求后，进入doGet()方法通过元数据构造出Job实体并把作业保存到JobMap中。
在sendToSlaveServer方法中，把XML发送到carte服务器后，接着调用SlaveServer的execService()方法进行启动远程的job
此时服务器端StartJobServlet会接收到请求后，会给job(其实是一个Thread)做一堆初始化工作，最后调用job的start方法进行启动。

⑥ kettle能让job，转换并行执行吗，是不是只能让步骤多线程执行

由于第一次碰linux，对其不是很了解，导致这个问题困扰了我近一个月的时间，现在终于解决了，分享给大家。首先，安装jre，配置java环境变量(一)下载jre-6u23-linux-x64.bin下载地址：/ESD6/JSCDL/jdk/6u23-b05/jre-6u23-linux-x64.bin?AuthParam=1292401739_&TicketId=CJ0nhpzNkjGGwpbkW40LAgA=&GroupName=CDS&FilePath=/ESD6/JSCDL/jdk/6u23-b05/jre-6u23-linux-x64.bin&File=jre-6u23-linux-x64.bin(二)安装jre-6u23-linux-x64.bin将jre-6u23-linux-x64.bin上传到linux服务器1.在终端上，键入：su2.输入超级用户口令。3.切换到所需的安装目录。类型：cd例如，要在/usr/java/目录中安装软件，请键入：cd/usr/java/关于超级用户访问权限的说明：要将JRE安装在系统级位置（例如/usr/local），必须以超级用户身份登录，从而获得必要的权限。如果您不具有超级用户访问权限，请将JRE安装在您的主目录中，或者安装在您具有写入权限的子目录中。4.将您下载的文件的权限更改为可执行。类型：chmoda+xjre-6u23-linux-x64.bin5.启动安装过程。键入：./jre-6u23-linux-x64.bin此时将显示二进制许可协议。通读许可协议。按空格键显示下一页。读完许可协议后，输入yes继续安装（此步骤可能直接跳过）。7.JRE安装在其自身的目录中。在本例中，它将安装在/usr/java/jre1.6.0_23目录中。当安装完成时，您将看到Done（完成）字样。(三)配置java环境变量1.命令行键入“cd/etc”进入etc目录2.命令行键入“viprofile”打开profile文件3.敲击键盘ctrl+F到文件末尾4.在末尾处，即第一个~的地方，敲击键盘将以下内容输入到文件JAVA_HOME=/usr/java/jre1.6.0_23PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportJAVA_.键盘敲击exc，命令行键入“:wq”，保存文件；6.重新登录linux，在命令行键入“java”，如果出现帮助信息则表示配置成功。然后，部署kettle1.将pdi-ce-4.1.0-stable.zip上传到linux服务器2.使用unzip命令解压pdi-ce-4.1.0-stable.zipunzippdi-ce-4.1.0-stable.zip-d"/mnt/kettle"3.赋予解压目录下.sh文件的执行权力chmod+x*.sh4.进入解压目录，键入“./kitchen.sh”回车，如果有帮助信息则表示kettle环境部署成功※（重点）接着，编写执行kettle任务的shell脚本创建test.sh，将以下内容复制粘贴到里面，然后键入“chmod+x/mnt/kettle/*.sh”，赋予test.sh执行权限。exportJAVA_HOME=/usr/java/jre1.6.0_23exportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar/mnt/kettle/data-integration/kitchen.sh-file=/mnt/kettle/test.kjb>/mnt/kettle/display.txt说明：前3行，设置java环境变量的语句必不可少，因为crond是个守护进程，它不归属于任何用户，虽然之前以root身份配置了java的环境变量，但是crond一样找不到java命令，所以，当crond执行kettle任务时，需要动态设置java环境变量，crond才能找到java命令。最后，使用crontab命令添加定时任务1.在终端上，键入“crontab-e”，进入定时任务文件2.键入“a”，对文件进行编辑输入如下内容：23111002*/mnt/kettle/test.sh其中23为分钟，11为小时，10为日，02为月，*为星期几，crontab命令的使用这里不再赘述。3.键盘敲击exc，终端键入“:wq”，保存文件4.重启crond服务键入“cd/etc/init.d”，进入该目录键入“./crondrestart”，重启crond服务5.等待执行结果6.执行成功，oh..nice!

⑦ 我现在想通过kettle 将一个远程目录的文件复制到另外一个远程目录下，求思路。

遇到相同问题，觉得应该可以尝试借助FTP工具，本地的文件上传至FTP，远程服务器那边从FTP下载到远程主机本地；然后定时执行这个作业

⑧ ODI与kettle的区别

大哥 你说这玩意 估计没几个人能知道 我用kettle已经快2年了 但是odi基本没用过
你要说区别我还能知道点 你要具体点还真具体不了 光kettle里面的东西就够研究了
网络就是坑货 现在 odi和kettle有几本书啊 补充下还老是审批不通过

我说下kettle的特点 你和odi对比下吧
1，kettle是纯java 对各种平台都支持
2，kettle对java开发api 在项目中集成也方便
3，提供图形化界面 拖拖拽拽搞开发 轻松
4，提供数据库已经文件2种形式的资源库 使用起来灵活
5，使用组件形式进行逻辑处理
6，支持各种数据接口：主流数据库就不说了 扁平文件，xml文件，excel文件甚至xbase的数据库文件都可以轻松读取
7，辅助功能强大：支持各种对文件的操作（移动，删除等），邮件功能，ftp,ssh2等等
8，组件包含 公式，js，java class等 语法简单轻松
在就想不起来了 上面说的都是我用过的（ftp，ssh2除外） 其中xbase当时是坑死我了 开始用ojdbc去弄死活弄不了 后来才发现可以直接读文件
然后就是与weblogic的jar包冲突 其他问题都好说

odi Oracle Data Integrator公司之所以没用他 就是感觉太麻烦 而且在项目中集成也很麻烦

存手打 求采纳 希望能帮到你

⑨ Kettle spoon 下的ftp功能报错，大家给看看这该怎么配置啊

FTPS一般端口是22吧，先测试下是否连接成功 test connection

⑩ 使用kettle抽取了1200000条数据,现在要求分批上传到druid,一次5000条,怎么搞

可以采取临时文件的方式
kettle在文本输出的时候可以设置5000行生成一个文件
然后再分文件导入你的druid