當前位置:首頁 » 文件管理 » kettleftp

kettleftp

發布時間: 2022-01-17 05:22:31

❶ ETL之kettle學習

Kettle是一款國外開源的ETL工具,純java編寫,可以在Windows、Linux、Unix上運行,數據抽取高效穩定。

Kettle 中文名稱叫水壺,該項目的主程序員MATT 希望把各種數據放到一個壺里,然後以一種指定的格式流出。

  • 外文名

  • Kettle

  • 中文名

  • 水壺

  • 產品

  • Spoon、Pan、CHEF、Kitchen

  • 腳本文件

  • transformation和job,

  • 特點

  • 綠色無需安裝

  • 最新版本

  • 8.2

❷ Kettle spoon 下的ftp功能報錯,大家給看看這該怎麼配置啊

FTPS一般埠是22吧,先測試下是否連接成功 test connection

❸ 如何修改kettle slaveserver的最大連接數

背景

在使用ftp下載插件時,發現進行本地執行時可以正常,但當選擇了遠程執行並指定了遠程伺服器後發現出現了錯誤:從 FTP:User cannot log in. 獲取文件時發生錯誤。根據錯誤信息可以判斷是因為ftp登錄不上的原因,至於具體的原因無法定位,為了一探究竟,於是便萌生了調試遠程作業的想法,順便深入了解一下了解kettle運行原理以及源碼學習。

思路
carte伺服器實際上就是一個web server,該web server 是基於 Jetty 這個嵌入式的開源 servlet 容器。這個web server主要是提供轉換運行的環境,另外一個重要的功能通過提供servlet來在客戶端、主伺服器和從屬伺服器之間進行通訊和控制。主伺服器和從屬 伺服器之間是通過httpClient來進行通訊的,通訊時傳遞的數據是xml格式。通過提供的servlet,可以實現啟動、停止、暫停轉換或者作業、 獲得轉換或者作業的狀態、注冊子伺服器、獲得子伺服器的列表等等.
其實思路以及LZ使用的方法很簡單:通過java代碼在eclipse中啟動一個Carte伺服器,然後遠程執行作業時指定伺服器作為載體。
搭建Carte服務啟動環境
首先創建一個普通的java project項目,如果沒有kettle源碼環境的話可以創建maven project,這樣直接從中心倉庫上面獲得jar包以及源碼。剛好LZ之前有編譯過kettle源碼且已 經作為項目導入了eclipse中,所以 源碼以及相關kettle的jar包都已經有了。
創建了項目後,需要把相關的jar包加到java bulid path中,下面的jar包也可以從PDI工具的lib目錄下獲得:

把依賴包加入到項目中後,創建一個類來啟動Carte服務:
public class CarteServer {
publicstaticvoid main(String[] args) throws Exception {
SlaveServerConfig config =new SlaveServerConfig("192.168.31.43", 7088,true);//ip與埠與通過Carte.bat啟動時指定的參數一樣
Carte.runCarte(config); //通過該靜態方法啟動carte
}
}

開始遠程調試

1.啟動carte服務,建好CarteServer類後,直接debug as --> java application,即可啟動carte服務,在控制台可以看到以下信息:
2016/08/11 10:55:55 - Carte - 創建 web 服務監聽器 @ 地址: 192.168.31.43:7088
2016-08-11 10:55:55.912:INFO::jetty-6.1.26
2016-08-11 10:55:55.933:INFO::Started [email protected]:7088

2.打開spoon工具,創建一個job,下面的job是從ftp伺服器上下載文件:

3.因為作業用到了FTP下載插件,在源碼中對應JobEntryFTP類,打開該類並在execute()方法中打上斷點:


4.運行job,選擇遠程執行,選擇上述類CarteServer中啟動的伺服器(要先在spoon工具中新建一個子伺服器):

5.觀察斷點位置,看到已經進入了調試:

大功告成,至於ftp下載插件為什麼在遠程執行中錯誤另外說明。
遠程執行流程
用戶運行kettle作業並選擇「遠程執行」,觸發org.pentaho.di.job.Job類的sendToSlaveServer方法
在sendToSlaveServer方法中,首先生成XML格式的作業元數據描述。
調用SlaveServer的sendXML()方法把這些元數據會被發送到遠程的carte伺服器。
伺服器端AddJobServlet接收到請求後,進入doGet()方法通過元數據構造出Job實體並把作業保存到JobMap中。
在sendToSlaveServer方法中,把XML發送到carte伺服器後,接著調用SlaveServer的execService()方法進行啟動遠程的job
此時伺服器端StartJobServlet會接收到請求後,會給job(其實是一個Thread)做一堆初始化工作,最後調用job的start方法進行啟動。

❹ elt kettle,請問在FTP上的遠程目錄應該怎麼填

想知道這個後面弄好了嗎?怎麼處理?

❺ 我現在想通過kettle 將一個遠程目錄的文件復制到另外一個遠程目錄下,求思路。

遇到相同問題,覺得應該可以嘗試藉助FTP工具,本地的文件上傳至FTP,遠程伺服器那邊從FTP下載到遠程主機本地;然後定時執行這個作業

❻ ODI與kettle的區別

大哥 你說這玩意 估計沒幾個人能知道 我用kettle已經快2年了 但是odi基本沒用過
你要說區別我還能知道點 你要具體點還真具體不了 光kettle裡面的東西就夠研究了
網路就是坑貨 現在 odi和kettle有幾本書啊 補充下還老是審批不通過

我說下kettle的特點 你和odi對比下吧
1,kettle是純java 對各種平台都支持
2,kettle對java開發api 在項目中集成也方便
3,提供圖形化界面 拖拖拽拽搞開發 輕松
4,提供資料庫已經文件2種形式的資源庫 使用起來靈活
5,使用組件形式進行邏輯處理
6,支持各種數據介面:主流資料庫就不說了 扁平文件,xml文件,excel文件甚至xbase的資料庫文件都可以輕松讀取
7,輔助功能強大:支持各種對文件的操作(移動,刪除等),郵件功能,ftp,ssh2等等
8,組件包含 公式,js,java class等 語法簡單輕松
在就想不起來了 上面說的都是我用過的(ftp,ssh2除外) 其中xbase當時是坑死我了 開始用ojdbc去弄死活弄不了 後來才發現可以直接讀文件
然後就是與weblogic的jar包沖突 其他問題都好說

odi Oracle Data Integrator公司之所以沒用他 就是感覺太麻煩 而且在項目中集成也很麻煩

存手打 求採納 希望能幫到你

❼ kettle 找不到ftp怎麼用

我也遇到這問題了,分享一下解決方法吧以後沒准還有人能用到。我機器的主要問題是環境變數JAVA_HOME的值不對,應該寫到jdk也就是C:\Program Files\Java\jdk1.7.0_25,並且,改完後要重啟機器才行(這個很重要)。

❽ kettle有什麼技巧解壓rar嗎

可以寫一個java程序解壓RAR,然後用KETTLE的java類控制項來調用

❾ kettle內存佔用怎麼解決

kettle工具本身也會佔用很大的內存,可以將需要執行的job用kitchen命令寫成bat腳本,這樣就可以直接在windows上運行,節省很大的內存佔用,如果需要定時執行,可以添加到計劃任務中。

熱點內容
maven編譯hadoop 發布:2022-05-18 01:23:03 瀏覽:714
留學源碼 發布:2022-05-18 01:22:54 瀏覽:59
神州租車的s90是什麼配置 發布:2022-05-18 01:20:16 瀏覽:571
天龍八部3d腳本 發布:2022-05-18 01:20:08 瀏覽:63
nas伺服器搭建教程 發布:2022-05-18 01:16:32 瀏覽:949
鐵甲雄兵需要什麼樣電腦配置 發布:2022-05-18 01:15:11 瀏覽:164
tap腳本 發布:2022-05-18 01:15:00 瀏覽:421
clion編譯c 發布:2022-05-18 01:14:57 瀏覽:132
上海衛星同步伺服器ip地址 發布:2022-05-18 01:14:55 瀏覽:590
伺服器如何屏蔽電腦視頻 發布:2022-05-18 01:12:17 瀏覽:714