edw資料庫

⑴ 項目管理對企業的作用有哪些

其一，它是項目管理者了解開發進度、存在的問題和預期目標的管理依據。第二，大多數軟體開發項目會被劃分成若干個任務，並由不同的組去完成。文檔管理則是不同小組任務之間聯系的重要憑證。第三，可提供完整的文檔，保證了項目開發的質量。第四，項目文檔是系統管理員、操作員、用戶、管理者和其他相關人員了解系統如何工作的培訓與參考資料;第五，項目文檔將為系統維護人員提供維護支持;第六，項目文檔作為重要的歷史檔案將成為新項目的開發資源。

現在大多數金融、通信企業為了更好的服務客戶、准確掌握自身數據，都在不遺餘力地建立數據倉庫系統。企業數據倉庫(EDW)從籌建項目組到軟體開發建設再到系統上線維護，基本涉及了軟體項目建設的所有環節，對文檔管理提出了比較全面的要求。以下就EDW建設為例做作進一步探討。

首先要藉助VSS軟體建立項目文檔管理伺服器以保存所有的項目文檔。其次，項目保存的文檔要涵蓋項目管理、項目調研、項目開發、項目應用、系統管理、系統測試驗收、項目培訓、版本控制、數據質量管理、用戶手冊、系統上線等整個項目周期。然而從項目管理者的親身體會來講，這些文檔的保存往往是混亂無序，無法快捷地獲得所需信息。究其原因，項目組在系統開發過程中雖然重視了文檔的保存，但卻忽視了文檔的管理。文檔歸檔沒有正式的管理要求，缺少文檔提交的依據和規則。最後是建立文檔管理規定。

以EDW項目為例，未建立文檔管理的情況如圖1所示。由於沒有統一的文檔管理規定，項目小組只對自己負責的項目文檔熟悉。此外，無論是項目小組成員還是項目經理都對自己需要的其他文檔的保存地點、文檔名稱等信息缺乏了解，無法及時獲取重要文檔。因此，項目經理根本無法從項目文檔把握項目進展情況。

制定了文檔管理規定後的情況如圖2所示。由於項目文檔管理員按照規定對文檔進行管理，因此項目經理及小組成員都能快速得到自己所需的各類文檔。同時，項目經理還可以很清晰地透過項目文檔把握項目進展情況。

折疊編輯本段建立規定

從各行業以及每個項目的個性出發，需要管理者結合實際情況制訂出適合自身的文檔管理規定。(軟體文檔管理指南》和《計算機軟體產品開發文件編制指南(GB 8567-88) 》 (以下統稱《指南》)為我們提供了相關的指導。首先要明確關於軟體項目文檔的具體分類。《指南 中提出文檔從重要性和質量要求方面可以分為非正式文檔和正式文檔;從項目周期角度可分為開發文檔、產品文檔、管理文檔;更細致一點還可分為l4類文檔文件，具體有:可行性研究報告、項目開發計劃、軟體需求說明書、數據要求說明書、概要設計說明書、詳細設計說明書、資料庫設計說明書、用戶手冊、操作手冊、模塊開發卷宗、測試計劃、測試分析報告、開發進度月報、項目開發總結報告。這樣的分類細化了項目進度中各個階段所需管理的文檔。

其次需要將項目文檔進行歸類整理。下面對EDW項目組文檔情況與 軟體文檔管理指南 進行對比分析。通過對比可以看出，沒有規范管理的EDW項目組文檔存在以下4方面的問題。

問題1:項目組在開發初期針對業務部門和科技部門進行了需求及信息調研，可以覆蓋部分軟體需求和數據需求說明書的內容，但卻缺少業務部門對項目需求描述和變更的文檔記錄。這部分文檔需建立相應目錄予以保存。

問題2:對於設計說明，在系統比較復雜的情況下，設計階段應分解成概要設計和詳細設計兩個步驟。目前EDW項目組只對ETL模塊提供了概要設計說明書，並沒有單獨的存放目錄，而是同其他設計文檔混亂地放在一起。對於比較復雜的應用開發項目，應將這兩種設計說明文檔分目錄管理。

問題3:在項目測試驗收中，項目組沒有要求將測試計劃文檔和測試結果報告進行規檔，而只重視了測試過程中的問題文檔，因此無法掌控測試進度與質量。

問題4:EDW項目組的工作分為模型設計、ETL、集市應用3個工作小組，對應的文檔管理需要圍繞這3個主題進行。其中模型設計和ETL都是數據倉庫項目實施的模塊，而集市應用則包括了建立在數據倉庫基礎上的小項目開發。因此，文檔管理也應該針對這3個部分不同的性質制定管理規則。

通過表l中的對比分析，針對EDW文檔管理存在的問題，EDW項目組最終依據通用規則建立了正式的項目文檔管理規定。具體規定有以下5點。

(1)將文檔分為兩大部分提交管理:項目常規文檔和項目歸檔文檔。常規文檔的提交和使用根據項目組內部小組成員任務的不同進行許可權劃分;項目歸檔文檔由項目管理主管(或項目文檔管理員)將項目中的重要文檔從常規文檔中進行分類歸檔。

(2)常規文檔管理目錄分為項目日常管理文檔和項目流程管理文檔。

(3)日常管理文檔包括項目報告、會議紀要、項目管理模板、重大問題跟蹤、數據質量管理。項目報告又可分為個人周報、小組周報、項目周報、項目簡報，項目簡報。並都按照不同目錄進行分類管理。

(4)提交完整的項目開發、應用開發流程文檔。一般包括:項目計劃、業務需求說明書、數據需求說明書、模塊、應用開發文檔、系統測試文檔、詳細設計文檔、系統測試文檔、用戶手冊、上線文檔、培訓資料、系統運行維護等。

(5)所有項目組成員均建立VSS軟體環境下的對應用戶，各自擁有對以上各類文檔的讀、寫、增加、刪除許可權。由各項目小組長保證提交已保存文檔的質量;由文檔管理員或項目經理整體把握項目文檔在各階段的提交情況。

項目文檔管理規范制定好之後，關鍵在於大家要"依規執行"，使雜亂無章的存放模式變得井井有條。

⑵ kettle 5.0.1 設置oracle 10g的資料庫連接報錯！

你JAVA home 配置好了嗎? 還有我用KETTLE 不需要吧ORACLE的ojdbc14.jar 放到KETTLE下的啊？

⑶ 淺談數據挖掘與數據倉庫

淺談數據挖掘與數據倉庫
1數據挖掘
1.1數據挖掘與傳統數據分析的區別
數據挖掘與傳統的數據分析，如查詢、報表、聯機應用分析的本質區別是數據挖掘是在沒有明確假設的前提下去挖掘信息、發現知識。數據挖掘所得到的信息應具有先前未知、有效和實用三個特徵。即數據挖掘是要發現那些不能靠直覺發現的信息或知識，甚至是違背直覺的信息或知識，挖掘出的信息越出乎意料就可能越有價值。而傳統的數據分析趨勢為從大型資料庫抓取所需數據並使用專屬計算機分析軟體。因此數據挖掘與傳統分析方法有很大的不同。
1.2數據挖掘的應用價值
（1）分類：首先從數據中選出已經分好類的訓練集，在該訓練集上運用數據挖掘分類的技術，建立分類模型，對於沒有分類的數據進行分類。（2）估計：與分類類似，不同之處在於，分類描述的是離散型變數的輸出，而估值處理連續值的輸出；分類是確定數目的，估計是不確定的。（3）聚類：是對記錄分組。聚類和分類的區別是聚集不依賴於預先定義好的類，不需要訓練集。中國移動採用先進的數據挖掘工具馬克威分析系統，對用戶wap上網的行為進行聚類分析，通過客戶分群，進行精確營銷。（4）關聯規則和序列模式的發現：關聯是某種事物發生時其他事物會發生的這樣一種聯系。例如：每天購買啤酒的人也有可能購買香煙，比重有多大，可以通過關聯的支持度和可信度來描述。與關聯不同，序列是一種縱向的聯系。例如：今天銀行調整利率，明天股市的變化。（5）預測：通過分類或估值得出模型，該模型用於對未知變數的預言。（6）偏差的檢測：對分析對象的少數的、極端的特例的描述，揭示內在的原因。除此之外，在客戶分析，運籌和企業資源的優化，異常檢測，企業分析模型的管理的方面都有廣泛使用價值。
2數據倉庫
2.1數據倉庫的特徵
（1）面向主題（Subject Oriented）的數據集合。數據倉庫圍繞一些主題如顧客、供應商、產品和銷售來組織。數據倉庫關注決策者的數據建模與分析，而不是組織機構的日常操作和事務處理。（2）集成（Integrated）的數據集合。數據倉庫中的數據是在對原有分散的資料庫數據抽取、清理的基礎上經過系統加工、匯總和整理得到的，必須消除源數據中的不一致性，以保證數據倉庫內的信息是關於整個企業的一致的全局信息。（3）時變（Time Variant）的數據集合。數據存儲從歷史的角度提供信息。數據倉庫中的數據通常包含歷史信息，通過這些信息，可以對企業的發展歷程和未來趨勢做出定量分析和預測。（4）非易失（Nonvolatile）的數據集合。數據倉庫的數據主要供企業決策分析之用，所涉及的數據操作主要是數據查詢，修改和刪除操作很少，通常只需要定期的載入、刷新。數據倉庫里的數據通常只需要兩種操作：初始化載入和數據訪問，因此其數據相對穩定，極少或根本不更新。[page] 2.2數據倉庫的類型
數據倉庫的類型根據數據倉庫所管理的數據類型和它們所解決的企業問題范圍，一般可將數據倉庫分為下列3種類型：企業數據倉庫（EDW）、操作型資料庫（ODS）和數據集市（Data Marts）。①企業數據倉庫為通用數據倉庫，它既含有大量詳細的數據，也含有大量累贅的或聚集的數據，這些數據具有不易改變性和面向歷史性。此種數據倉庫被用來進行涵蓋多種企業領域上的戰略或戰術上的決策。②操作型資料庫既可以被用來針對工作數據做決策支持，又可用做將數據載入到數據倉庫時的過渡區域。與EDW相比，ODS是面向主題和面向綜合的，易變的，僅含有目前的、詳細的數據，不含有累計的、歷史性的數據。③數據集市是為了特定的應用目的或應用范圍，而從數據倉庫中獨立出來的一部分數據，也可稱為部門數據或主題數據。幾組數據集市可以組成一個EDW。
2.3數據倉庫與傳統資料庫的比較
二者的聯系既有聯系又有區別。數據倉庫的出現，並不是要取代資料庫。目前，大部分數據倉庫還是用關系資料庫管理系統來管理的。可以說，資料庫、數據倉庫相輔相成、各有千秋。二者的區別可以從以下幾個方面進行比較：
（1）出發點不同：資料庫是面向事務的設計；數據倉庫是面向主題設計的。（2）存儲的數據不同：資料庫一般存儲在線交易數據；數據倉庫存儲的一般是歷史數據。（3）設計規則不同：資料庫設計是盡量避免冗餘，一般採用符合範式的規則來設計；數據倉庫在設計是有意引入冗餘，採用反範式的方式來設計。（4）提供的功能不同：資料庫是為捕獲數據而設計，數據倉庫是為分析數據而設計。（5）基本元素不同：資料庫的基本元素是事實表，數據倉庫的基本元素是維度表。（6）容量不同：資料庫在基本容量上要比數據倉庫小的多。（7）服務對象不同：資料庫是為了高效的事務處理而設計的，服務對象為企業業務處理方面的工作人員；數據倉庫是為了分析數據進行決策而設計的，服務對象為企業高層決策人員。
3數據倉庫與數據挖掘的關系
當然為了數據挖掘你也不必非得建立一個數據倉庫，數據倉庫不是必需的。建立一個巨大的數據倉庫，把各個不同源的數據統一在一起，解決所有的數據沖突問題，然後把所有的數據導到一個數據倉庫內，是一項巨大的工程，可能要用幾年的時間花上百萬的錢才能完成。只是為了數據挖掘，你可以把一個或幾個事務資料庫導到一個只讀的資料庫中，就把它當作數據集市，然後在他上面進行數據挖掘。

⑷ 大數據倉儲系統是什麼

什麼才是大數據

大數據相關的技術和工具非常多，給企業提供了很多的選擇。在未來，還會繼續出現新的技術和工具，如Hadoop分發、下一代數據倉庫等，這也是大數據領域的創新熱點。但是什麼才是大數據可能很多人會認為數據量大就是大數據，其實不然所謂大數據是結合數據的條數＋單個數據文件的大小綜合衡量得出，而這其中則包括如何快速精準定位到單條數據和快速傳輸數據等多項相關技術。
那麼我們企業到底該選用什麼技術？才能保證我們的系統或者軟體擺脫大數據的瓶頸呢？
可能大家都知道TDWI(數據倉庫研究所)對現有的大部分技術和工具進行了調查，以現在及未來三年內企業接受度和增長率兩個維度進行劃分，這些技術和工具可分成四類。
從中分析得出企業最需要關注的是第1類中的技術和工具，它們最有可能成為最佳的實施工具，有很多人認為這代表了大數據技術的發展方向。我們認為這是一個誤區。
對於我們真實使用及使用過程中，只有基於雲的數據分析及分布式平台進行數據處理才能趨於完善。
很多企業越來越希望能將自己的各類應用程序及基礎設施轉移到雲平台上。就像其他IT系統那樣，大數據的分析工具和資料庫也將走向雲計算。雲計算不單單是硬體的疊加，它必須結合分布式內核調用和內存計算，同時如果你想更快速的定位那就需要將演算法遷入其中。

雲計算能為大數據帶來哪些變化呢?

首先雲計算為大數據提供了可以彈性擴展、相對便宜的存儲空間和計算資源（請記住這不單單說的是硬體的疊加，我們的要考慮的是軟體層面的控制和管理，線程池／內存鎖／域空間／層級都是必可少的考慮因素），使得中小企業也可以像亞馬遜一樣通過雲計算來完成大數據分析。
其次，雲計算IT資源龐大、分布較為廣泛，是異構系統較多的企業及時准確處理數據的有力方式，甚至是唯一的方式。（此時的傳輸效率就會成為我們應該去考慮的問題，量子數據傳輸系統為我么提供了非常好的解決方案）
當然，大數據要走向雲計算，還有賴於數據通信帶寬的提高和雲資源池的建設，需要確保原始數據能遷移到雲環境以及資源池可以隨需彈性擴展。
數據分析集逐步擴大，企業級數據倉庫將成為主流如現有的NOSQL，內存性資料庫等，更加便宜和迅速，成為企業業務經營的好助手，甚至可以改變許多行業的經營方式。

輿情早報網大數據的商業模式與架構

我們不得不承認雲計算及其分布式結構是重要途徑大數據處理技術正在改變目前計算機的運行模式，正在改變著這個世界：它能處理幾乎各種類型的海量數據，無論是微博、文章、電子郵件、文檔、音頻、視頻，還是其它形態的數據；它工作的速度非常快速：實際上幾乎實時；它具有普及性：因為它所用的都是最普通低成本的硬體，而雲計算它將計算任務分布在大量計算機構成的資源池上，使用戶能夠按需獲取計算力、存儲空間和信息服務。雲計算及其技術給了人們廉價獲取巨量計算和存儲的能力，雲計算分布式架構能夠很好地支持大數據存儲和處理需求。這樣的低成本硬體+低成本軟體+低成本運維，更加經濟和實用，使得大數據處理和利用成為可能。但這只是從投入來說我們可以有更多的彈性。

大數據的存儲和管理----雲資料庫的必然

很多人認為NoSQL就是雲資料庫，因為其處理數據的模式完全是分布於各種低成本伺服器和存儲磁碟，因此它可以幫助網頁和各種交互性應用快速處理過程中的海量數據。
它採用分布式技術結合了一系列技術，可以對海量數據進行實時分析，滿足了大數據環境下一部分業務需求。
但我說這是一個錯誤，至少不是完整的，不能或無法徹底解決大數據存儲管理需求。不可否認雲計算對關系型資料庫的發展將產生巨大的影響，而絕大多數大型業務系統（如銀行、證券交易等）、電子商務系統所使用的資料庫還是基於關系型的資料庫，隨著雲計算的大量應用，勢必對這些系統的構建產生影響，進而影響整個業務系統及電子商務技術的發展和系統的運行模式。
而基於關系型資料庫服務的雲資料庫產品將是雲資料庫的主要發展方向，雲資料庫（CiiDB），提供了海量數據的並行處理能力和良好的可伸縮性等特性，提供同時支持在在線分析處理（ CRD）和在線事務處理(CRD) 能力，提供了超強性能的資料庫雲服務，並成為集群環境和雲計算環境的理想平台。它是一個高度可擴展、安全和可容錯的軟體系統，客戶能通過整合降低IT成本，管理位於多個數據，提高所有應用程序的性能和實時性做出更好的業務決策服務。
我們認為CII分布式結構粒度數據結構數據倉庫才是大數據處理的未來。它包含量子數據傳輸系統（有效解決數據傳輸的瓶頸）/高效壓縮系統（壓縮比例128:1）／雲智能粒度層級分布式系統。
當人們從大數據分析中嘗到甜頭以後，數據分析集就會逐步擴大。目前大部分的企業所分析的數據量一般以TB為單位。按照目前數據的發展速度，很快將會進入PB時代。特別是目前在100-500TB和500+TB范圍的分析數據集的數量會呈3倍或4倍增長。
隨著數據分析集的擴大，以前部門層級的數據集市將不能滿足大數據分析的需求，它們將成為企業級資料庫(EDW)的一個子集。有一部分用戶已經在使用企業級數據倉庫，未來這一佔比將會更高。傳統分析資料庫可以正常持續，但是會有一些變化，一方面，數據集市和操作性數據存儲(ODS)的數量會減少，另一方面，傳統的資料庫廠商會提升它們產品的數據容量，細目數據和數據類型，以滿足大數據分析的需要。
這就是我們所說的分布式結構粒度數據結構數據倉庫，而如何做好大數據處理，輿情早報網已經做到了。

⑸ 資料庫在金融行業中的應用

DB2資料庫為何在金融領域應用如此廣泛？在我接觸過的銀行用戶中，絕大部分都在使用IBM DB2資料庫產品，當然還是有一大批證劵公司也在使用。給我印象最為深刻的一次是在深圳辦的一場DB2技術專家沙龍，那次來的基本上都銀行用戶和證劵用戶。當時，就在想，DB2資料庫產品在金融領域應用咋那麼廣呢？

在開始這個討論之前，我也問了一些朋友，問他們是什麼原因導致了這一事實的發生，其中有人回答是歷史原因，也有人回答是因為DB2資料庫產品好。當然，眾多金融客戶選擇DB2資料庫產品，肯定是有各自的原因，歷史原因也罷，功能強大、性能穩定也罷，肯定各有說詞。不過我們可以想像一下，對於金融用戶來說，每天所產生的數據都非常多，且復雜，而且這些數據都相當重要，來不到半點馬虎。因此，他們在選擇資料庫產品的時候，自然是分外小心，不敢怠慢。另外，作為一家金融企業，在IT上的預算肯定也比較充足，所以產品的價格自然不是他們擔心的問題（當然，這只是一種猜測！）。這樣再分析原因的時候，我們就把重點放在了DB2資料庫的性能和穩定性上。那麼，究竟是不是了DB2資料庫的性能和穩定性導致了它在金融領域的應用如此廣泛呢，我不得而知！

針對這個『DB2資料庫為何在金融領域應用如此廣泛？』的疑問，是一個值得我們思索的過程。但至於是什麼真正的原因導致的，我這主題中就不詳細聊了，因為我的答案都是來源於大家，只有有了大家的支持，這個答案才會日漸豐富，日漸完善。

DB2的並發性、穩定性、擴展性這些都做得不錯，
金融行業很多業務是實時性交易很強的系統它們追求的是系統的穩定性，性能好，支持高並發、安全性高
所以選擇ORACLE、DB2這類資料庫等等
主要是用DB2 在用AIX系統 本身兼容性又好吧這樣穩定性更強，而且DB2 剛開始打開市場時是免費使用的

在金融行業，大家知道數據量大，數據復雜，更新頻繁，把大量而且關系復雜的數據進行整合，二次加工，做個決策分析，這些工作的前提都是要有一個穩定高效的資料庫。IBM DB2具有很好的安全性，數據可移植性，其他資料庫數據可以移植過來，又善於處理關系復雜的數據，而且速度快，連接方式靈活，可通過 ODBC、JBDC、網路服務、本地客戶機或非同步客戶機介面來實現，總之，相對其他資料庫DB2具有明顯的優勢，正好符合銀行的要求。

金融行業使用 DB2 可能是有其歷史原因的， 因為金融行業本身用 IBM 的主機就比較多 ：）
還是聽金融行業的兄弟們站出來說句吧

大家好
在金融行業中，我想大部分的業務系統使用的是DB2，而絕大部分的經營分析系統用的是teradata，我所知道就有工行，建行，中行，光大，浦發，民生，郵政銀行等等，IBM的產品一貫是安全性的代表，在銀行交易數據極其重要的前提下，選擇DB2是一個不錯的選擇，同時，DB2的大數據處理速度也僅次於teradata，另外很多銀行的硬體選擇了IBM的大機，自然iBM的軟體產品也是他們考慮的重中之重，至於teradata，在成功實施了walmart，ebay等超大的數據倉庫後，在入主中國也強勢地拿下了近10省的移動的經分系統和移動集團公司的經分系統，同時又很成功的實施了上海證交所的DW，這些事實的確證明了他們是數據倉庫行業的領導者，如果不缺錢，我相信選擇teradata做構建EDW是一個不錯的選擇！

我認為主要有以下幾點：
1、歷史原因
金融行業對於數據安全和系統可用性要求很高，因此，選用IBM主機的頗多。而DB2最初就是建立在主機操作系統上的，毫無疑問，是與IBM主機配合最好的資料庫產品，所以自然就會選擇DB2資料庫。由於對DB2比較熟悉，在開放式系統上也就選擇了DB2資料庫。
2、IBM技術支持和售後服務做的很好，產品性價比較高
根據我個人的親身體驗，IBM能夠根據客戶的需求進行電話或者現場技術支持，能夠根據客戶要求參與項目建設，與ORACLE相比，售後服務價格相對較低。
3、產品自身為用戶提供了較多的監控和分析工具，便於用戶自己進行問題診斷和性能優化