當前位置:首頁 » 文件管理 » kettleftp上傳

kettleftp上傳

發布時間: 2023-01-29 08:24:33

① Kettle鏈接Clickhouse實錄

需求:通過kettle操作clickhouse

背景:kettle官方不支持clickhouse的驅動

版本:

clickhouse 20.8.7.15

kettle 8.1

實現步驟:

windows上環境:

1、將以下包放入   xxx\data-integration\libswt\win64

2、在kettle的plugins文件夾下創建clickhouse-plugins

3、將以下包文件放入上面創建的clickhouse-plugins目錄下

4、重啟kettle

5、kettle中操作

以上方案在kettle中插入日期數據到clickhouse會報異常,處理方式如下

1、刪除第一步中放入到win64下面的所有jar包

2、將下麵包放入到kettle的lib下,重啟即可

ps:由於平台上不能上傳相關jar包,以上包有需要的可以聯系我。

參考文章: https://blog.csdn.net/aaa8210/article/details/110632472

② kettle 找不到ftp怎麼用

我也遇到這問題了,分享一下解決方法吧以後沒准還有人能用到。我機器的主要問題是環境變數java_HOME的值不對,應該寫到jdk也就是C:\Program Files\Java\jdk1.7.0_25,並且,改完後要重啟機器才行(這個很重要)。

③ kettle內存佔用怎麼解決

kettle工具本身也會佔用很大的內存,可以將需要執行的job用kitchen命令寫成bat腳本,這樣就可以直接在windows上運行,節省很大的內存佔用,如果需要定時執行,可以添加到計劃任務中。

④ 用kettle抽取數據後 怎麼生成報表 怎麼發布到tomcat上 需要添加什麼代碼 jsp頁面怎麼設置

kettle工具沒用過。
1.怎麼生成報表,這個不知道。
2.怎麼發布到tomcat上。
我下了一個kettle,網上說這個是純JAVA寫的工具,那麼你要使用一些功能,需要將kettle的一些JAR文件添加到你工程的web-inf/lib目錄下。
3. jsp頁面怎設置。
這個要看生成的報表是什麼了。如果是一個圖片。有兩種方法,一個是將文件生成到伺服器上,在JSP中引用該圖片,另一個就是直接以流的方式寫到頁面上。
如果是類似EXCEL那樣的系統,可識別的文件 ,可以用流以打開方式寫到頁面上。打開顯示文件內容。

⑤ 如何修改kettle slaveserver的最大連接數

背景

在使用ftp下載插件時,發現進行本地執行時可以正常,但當選擇了遠程執行並指定了遠程伺服器後發現出現了錯誤:從 FTP:User cannot log in. 獲取文件時發生錯誤。根據錯誤信息可以判斷是因為ftp登錄不上的原因,至於具體的原因無法定位,為了一探究竟,於是便萌生了調試遠程作業的想法,順便深入了解一下了解kettle運行原理以及源碼學習。

思路
carte伺服器實際上就是一個web server,該web server 是基於 Jetty 這個嵌入式的開源 servlet 容器。這個web server主要是提供轉換運行的環境,另外一個重要的功能通過提供servlet來在客戶端、主伺服器和從屬伺服器之間進行通訊和控制。主伺服器和從屬 伺服器之間是通過httpClient來進行通訊的,通訊時傳遞的數據是xml格式。通過提供的servlet,可以實現啟動、停止、暫停轉換或者作業、 獲得轉換或者作業的狀態、注冊子伺服器、獲得子伺服器的列表等等.
其實思路以及LZ使用的方法很簡單:通過java代碼在eclipse中啟動一個Carte伺服器,然後遠程執行作業時指定伺服器作為載體。
搭建Carte服務啟動環境
首先創建一個普通的java project項目,如果沒有kettle源碼環境的話可以創建maven project,這樣直接從中心倉庫上面獲得jar包以及源碼。剛好LZ之前有編譯過kettle源碼且已 經作為項目導入了eclipse中,所以 源碼以及相關kettle的jar包都已經有了。
創建了項目後,需要把相關的jar包加到java bulid path中,下面的jar包也可以從PDI工具的lib目錄下獲得:

把依賴包加入到項目中後,創建一個類來啟動Carte服務:
public class CarteServer {
publicstaticvoid main(String[] args) throws Exception {
SlaveServerConfig config =new SlaveServerConfig("192.168.31.43", 7088,true);//ip與埠與通過Carte.bat啟動時指定的參數一樣
Carte.runCarte(config); //通過該靜態方法啟動carte
}
}

開始遠程調試

1.啟動carte服務,建好CarteServer類後,直接debug as --> java application,即可啟動carte服務,在控制台可以看到以下信息:
2016/08/11 10:55:55 - Carte - 創建 web 服務監聽器 @ 地址: 192.168.31.43:7088
2016-08-11 10:55:55.912:INFO::jetty-6.1.26
2016-08-11 10:55:55.933:INFO::Started [email protected]:7088

2.打開spoon工具,創建一個job,下面的job是從ftp伺服器上下載文件:

3.因為作業用到了FTP下載插件,在源碼中對應JobEntryFTP類,打開該類並在execute()方法中打上斷點:


4.運行job,選擇遠程執行,選擇上述類CarteServer中啟動的伺服器(要先在spoon工具中新建一個子伺服器):

5.觀察斷點位置,看到已經進入了調試:

大功告成,至於ftp下載插件為什麼在遠程執行中錯誤另外說明。
遠程執行流程
用戶運行kettle作業並選擇「遠程執行」,觸發org.pentaho.di.job.Job類的sendToSlaveServer方法
在sendToSlaveServer方法中,首先生成XML格式的作業元數據描述。
調用SlaveServer的sendXML()方法把這些元數據會被發送到遠程的carte伺服器。
伺服器端AddJobServlet接收到請求後,進入doGet()方法通過元數據構造出Job實體並把作業保存到JobMap中。
在sendToSlaveServer方法中,把XML發送到carte伺服器後,接著調用SlaveServer的execService()方法進行啟動遠程的job
此時伺服器端StartJobServlet會接收到請求後,會給job(其實是一個Thread)做一堆初始化工作,最後調用job的start方法進行啟動。

⑥ kettle能讓job,轉換並行執行嗎,是不是只能讓步驟多線程執行

由於第一次碰linux,對其不是很了解,導致這個問題困擾了我近一個月的時間,現在終於解決了,分享給大家。首先,安裝jre,配置java環境變數(一)下載jre-6u23-linux-x64.bin下載地址:/ESD6/JSCDL/jdk/6u23-b05/jre-6u23-linux-x64.bin?AuthParam=1292401739_&TicketId=CJ0nhpzNkjGGwpbkW40LAgA=&GroupName=CDS&FilePath=/ESD6/JSCDL/jdk/6u23-b05/jre-6u23-linux-x64.bin&File=jre-6u23-linux-x64.bin(二)安裝jre-6u23-linux-x64.bin將jre-6u23-linux-x64.bin上傳到linux伺服器1.在終端上,鍵入:su2.輸入超級用戶口令。3.切換到所需的安裝目錄。類型:cd例如,要在/usr/java/目錄中安裝軟體,請鍵入:cd/usr/java/關於超級用戶訪問許可權的說明:要將JRE安裝在系統級位置(例如/usr/local),必須以超級用戶身份登錄,從而獲得必要的許可權。如果您不具有超級用戶訪問許可權,請將JRE安裝在您的主目錄中,或者安裝在您具有寫入許可權的子目錄中。4.將您下載的文件的許可權更改為可執行。類型:chmoda+xjre-6u23-linux-x64.bin5.啟動安裝過程。鍵入:./jre-6u23-linux-x64.bin此時將顯示二進制許可協議。通讀許可協議。按空格鍵顯示下一頁。讀完許可協議後,輸入yes繼續安裝(此步驟可能直接跳過)。7.JRE安裝在其自身的目錄中。在本例中,它將安裝在/usr/java/jre1.6.0_23目錄中。當安裝完成時,您將看到Done(完成)字樣。(三)配置java環境變數1.命令行鍵入「cd/etc」進入etc目錄2.命令行鍵入「viprofile」打開profile文件3.敲擊鍵盤ctrl+F到文件末尾4.在末尾處,即第一個~的地方,敲擊鍵盤將以下內容輸入到文件JAVA_HOME=/usr/java/jre1.6.0_23PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportJAVA_.鍵盤敲擊exc,命令行鍵入「:wq」,保存文件;6.重新登錄linux,在命令行鍵入「java」,如果出現幫助信息則表示配置成功。然後,部署kettle1.將pdi-ce-4.1.0-stable.zip上傳到linux伺服器2.使用unzip命令解壓pdi-ce-4.1.0-stable.zipunzippdi-ce-4.1.0-stable.zip-d"/mnt/kettle"3.賦予解壓目錄下.sh文件的執行權力chmod+x*.sh4.進入解壓目錄,鍵入「./kitchen.sh」回車,如果有幫助信息則表示kettle環境部署成功※(重點)接著,編寫執行kettle任務的shell腳本創建test.sh,將以下內容復制粘貼到裡面,然後鍵入「chmod+x/mnt/kettle/*.sh」,賦予test.sh執行許可權。exportJAVA_HOME=/usr/java/jre1.6.0_23exportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar/mnt/kettle/data-integration/kitchen.sh-file=/mnt/kettle/test.kjb>/mnt/kettle/display.txt說明:前3行,設置java環境變數的語句必不可少,因為crond是個守護進程,它不歸屬於任何用戶,雖然之前以root身份配置了java的環境變數,但是crond一樣找不到java命令,所以,當crond執行kettle任務時,需要動態設置java環境變數,crond才能找到java命令。最後,使用crontab命令添加定時任務1.在終端上,鍵入「crontab-e」,進入定時任務文件2.鍵入「a」,對文件進行編輯輸入如下內容:23111002*/mnt/kettle/test.sh其中23為分鍾,11為小時,10為日,02為月,*為星期幾,crontab命令的使用這里不再贅述。3.鍵盤敲擊exc,終端鍵入「:wq」,保存文件4.重啟crond服務鍵入「cd/etc/init.d」,進入該目錄鍵入「./crondrestart」,重啟crond服務5.等待執行結果6.執行成功,oh..nice!

⑦ 我現在想通過kettle 將一個遠程目錄的文件復制到另外一個遠程目錄下,求思路。

遇到相同問題,覺得應該可以嘗試藉助FTP工具,本地的文件上傳至FTP,遠程伺服器那邊從FTP下載到遠程主機本地;然後定時執行這個作業

⑧ ODI與kettle的區別

大哥 你說這玩意 估計沒幾個人能知道 我用kettle已經快2年了 但是odi基本沒用過
你要說區別我還能知道點 你要具體點還真具體不了 光kettle裡面的東西就夠研究了
網路就是坑貨 現在 odi和kettle有幾本書啊 補充下還老是審批不通過

我說下kettle的特點 你和odi對比下吧
1,kettle是純java 對各種平台都支持
2,kettle對java開發api 在項目中集成也方便
3,提供圖形化界面 拖拖拽拽搞開發 輕松
4,提供資料庫已經文件2種形式的資源庫 使用起來靈活
5,使用組件形式進行邏輯處理
6,支持各種數據介面:主流資料庫就不說了 扁平文件,xml文件,excel文件甚至xbase的資料庫文件都可以輕松讀取
7,輔助功能強大:支持各種對文件的操作(移動,刪除等),郵件功能,ftp,ssh2等等
8,組件包含 公式,js,java class等 語法簡單輕松
在就想不起來了 上面說的都是我用過的(ftp,ssh2除外) 其中xbase當時是坑死我了 開始用ojdbc去弄死活弄不了 後來才發現可以直接讀文件
然後就是與weblogic的jar包沖突 其他問題都好說

odi Oracle Data Integrator公司之所以沒用他 就是感覺太麻煩 而且在項目中集成也很麻煩

存手打 求採納 希望能幫到你

⑨ Kettle spoon 下的ftp功能報錯,大家給看看這該怎麼配置啊

FTPS一般埠是22吧,先測試下是否連接成功 test connection

⑩ 使用kettle抽取了1200000條數據,現在要求分批上傳到druid,一次5000條,怎麼搞

可以採取臨時文件的方式
kettle在文本輸出的時候可以設置5000行生成一個文件
然後再分文件導入你的druid

熱點內容
腳本注入到其他軟體運行 發布:2024-03-28 18:30:02 瀏覽:720
網易我的世界皮膚能用到伺服器嗎 發布:2024-03-28 18:24:44 瀏覽:804
access資料庫數據類型 發布:2024-03-28 18:16:04 瀏覽:301
安卓界面如何變成蘋果手機界面 發布:2024-03-28 18:07:17 瀏覽:742
方舟手游如何卡安卓大廳會員 發布:2024-03-28 17:52:37 瀏覽:241
空域銳化演算法 發布:2024-03-28 17:52:32 瀏覽:500
虎牙安卓版是什麼意思 發布:2024-03-28 17:43:10 瀏覽:861
電腦改成雲伺服器 發布:2024-03-28 17:37:50 瀏覽:266
文件夾審計 發布:2024-03-28 17:08:20 瀏覽:242
密碼反編譯是什麼意思 發布:2024-03-28 17:02:54 瀏覽:310