雲計算與資料庫
1. 數據倉庫,大數據和雲計算有什麼區別和聯系
您好,上海藍盟為您解答。
首先簡單的看一下雲計算與大數據的概念.
1)雲計算:雲計算本質上是一種計算資源集中分布和充分共享的效用計算模式,其中集中是為了計算資源的集約化管理,分布是便於擴展計算能力.集中分布式是針對雲服務提供商的,充分共享是針對用戶,在雲計算中,雖然對於每個雲用戶來說都擁有一台超級計算機,但本質上,這些用戶是充分共享了雲服務商所提供的計算服務.而效用計算更多的是一種商業模式,就是用戶按所需服務來付費.
2)在前面的博文中,對大數據有個討論,簡單的說,大數據的特點就是數據量大(雖然很多人都把大數據定義在T級別以上,其實我覺得這是有問題的,大數據的大其實應該是個相對概念,是相對於當前的存儲技術和計算能力的),數據應用需求大,計算量大.數據量大是最基本的,需求大其實包含了需求的數量、多樣性和實時性.計算量大是因為數據量大和需求量大和演算法復雜(檢索,推薦,模式識別)所致.大數據的這種特點使得我們很難找到通用的處理模式來解決大數據所面臨的問題,我們只能針對不同的需求採用不同的處理方法,這也是大數據處理比較困難的症結所在。無論是傳統的資料庫還是最近興起的NoSQL資料庫,在大數據存儲和處理方面其實都是有非常大的局限性的,所以分布式計算才在大數據處理中大興其道。Hadoop雖然提供了比較完整的一套處理模式,但相對於大數據所面臨的應用需求的多樣性而言,能處理的問題域也是十分有限的。
資料庫和數據倉庫的概念,大家google一下就可以了,接下來,我們看看它們之間的關系:
1)資料庫和數據倉庫都是數據的一種存儲方式,大數據處理更多的是一種需求(問題),而雲計算是一種比較綜合的需求(問題)解決方案。
2)由於雲計算本身的特性,天生就面臨大數據處理(存儲、計算等)問題,因為雲計算的基本架構模式是C/S模式,其中S相對集中,而C是廣泛分布。所有用戶的數據和絕大部分的計算都是在S端完成的(數據量大,計算量大),加上用戶也天然具有多樣性(地域,文化,需求,個性化等),因此需求(也包括計算量)就非常大。
3)雲計算當然會涉及到數據的存儲技術,但資料庫技術對於雲計算來說要視具體的情況來分析:
A)對於IaaS而言,資料庫技術不是必需的,也不是必備的功能;
B)對於PaaS來說,資料庫功能應該是必備的功能
C)對於SaaS而言,必然會用到資料庫技術(包括傳統關系資料庫和NoSQL資料庫)。
而對於數據倉庫技術,並不是雲計算所必需的,但由於雲數據的信息價值極大,類似一座金礦,我想雲服務商是不可能放過從這些金礦中提取金子的.
4)大數據首先所面臨的問題就是大數據的存儲問題,一般都會綜合運用各種存儲技術(文件存儲,資料庫存儲),當然,你完全用文件存儲或者資料庫存儲來解決,也是沒問題的。與雲計算類似,數據倉庫技術不是必需的,但對於數據倉庫技術對於結構化數據進行淘金還是非常有用的,當然,你不用數據倉庫技術也可以,比如Hadoop模式。
在雲計算和大數據處理中,最基礎的技術其實是分布式計算技術。而對於構建分布式計算而言,多線程,同步,遠程調用(RPC,RMI等),進程管理與通信是其基本技術點。分布式計算編程是一種綜合性應用編程,不僅需要有基本的技術點,還需要一定的組織管理知識。
就目前來說,雲計算和大數據處理其實都沒有形成一個統一的標准和定義。希望我的回復對您有所幫助。
2. 大數據和雲計算有什麼區別和聯系
(1)大數據和雲計算的概念區別:大數據說的是一種移動互聯網和物聯網背景下的應用場景,各種應用產生的巨量數據,需要處理和分析,挖掘有價值的信息;雲計算說的是一種技術解決方案,就是利用這種技術可以解決計算、存儲、資料庫等一系列IT基礎設施的按需構建的需求,兩者並不是同一個層面的東西。
(2)大數據與雲計算的關系那麼上面說了大數據和雲計算的區別,兩者之間又有著非常緊密的聯系,大數據是雲計算非常重要的應用場景,而雲計算則為大數據的處理和數據挖掘都提供了最佳的技術解決方案。
3. 資料庫好還是雲計算好
目前雲計算是新新事物,新新事物風險和機遇並存。雲計算最有價值的理念之一是資源整合,物盡其用,之二是即服務的盈利模式.
雲計算是整合資源以即方式提供服務,它主要在三個層面體現技術和服務。
一是硬體基礎設施層面,讓硬體資源以即方式提供服務;
(客戶要硬體環境資源,登錄資源池自己定製、然後交錢、最後獲取資源,用多少付多少錢; 付費對象是:應用開發者,企業IT管理者,應用平台供應商等。);
二是應用平台層面,讓應用平台以即方式提供服務;
(供應商提高軟體平台,平台可以開發、部署、管理、監控應用,提供開放的類APP商店; 付費對象是:應用開發者。)
三是應用層面,讓應用以即方式提供服務;
(應用開放商,把應用部署在應用平台,用戶可以去使用這些應用,按即方式享受服務和付費;付費對象是:終端消費者。)
即方式服務:
像水電一樣,從你開始使用到你結束使用進行度量,你登錄應用入口就可以直接使用應用,甚至不用在你本地安裝應用,就像打開水龍頭就可以用水一樣,然後付費,它本質是一種推的服務、盈利模式。所以,雲計算要學習就多方多面。
不過,他們的根本基礎還是計算機科學與技術,包括網路、硬體、軟體等,只是硬體或平台會比較側重虛擬機、網格計算、分布式計算等方面的技術,而應用會比較在意用戶體驗、大眾互聯方面,應用主要技術還是軟體開放技術,特別可能會熱於android或ios或wm的WIFI移動應用的開發。
下一波的IT浪潮就是雲計算、物聯網、人工智慧、生物技術。目前雲計算是新新事物,教學資源緊張是正常的,新新事物風險和機遇並存。請相信機遇的東西確實是過了這個村,沒了這個店,雲計算目前就像初期的計算機專業一樣,等它成熟了,等你看到它的發展了,那時候你就落後,只能在前人後面撿煙頭。好好把握學習這個專業的機會,目前雲計算處於發展初期,機會還是很大的:http://e.51cto.com/course/course_id-2334.html相信選擇這個新新行業有風險,但機會總是給第一個敢吃螃蟹的人。
4. 雲計算與大數據的關系
雲計算和大數據能做什麼,很多人都分不清楚,那麼雲計算與大數據的關系是什麼呢?今天就給大家簡單的分析一下。
雲計算:雲計算是通過互聯網提供全球用戶計算力、存儲服務,為互聯網信息處理提供硬體基礎。雲計算,簡單說就是把你自己電腦里的或者公司伺服器上的硬碟、CPU都放到網上,統一動態調用,現在比較有名的雲計算服務商是亞馬遜的AWS。
大數據:大數據運用日趨成熟的雲計算技術從浩瀚的互聯網信息海洋中獲得有價值的信息進行信息歸納、檢索、整合,為互聯網信息處理提供軟體基礎。大數據,簡單說,就是把所有的數據放到一起分析,找到關聯,實現預測。這里的所有數據對應的是之前的抽樣調研取得的部分數據。
雲計算與大數據的關系:
雲計算是基礎,沒有雲計算,無法實現大數據存儲與計算。大數據是應用,沒有大數據,雲計算就缺少了目標與價值。兩者都需要人工智慧的參與,人工智慧是互聯網信息系統有序化後的一種商業應用。這才是:雲計算與大數據真正的出口!
而商業智能中的智能從何而來?方法之一就是通過大數據這個工具來對大量數據進行處理,從而得出一些關聯性的結論,從這些關聯性中來獲得答案,因此,大數據是商業智能的一種工具。 而大數據要分析大量的數據,這對於系統的計算能力和處理能力要求是非常高的,傳統的方式是需要一個超級計算機來進行處理,但這樣就導致了計算能力空的時候閑著、忙的時候又不夠的問題, 而雲計算的彈性擴展和水平擴展的模式很適合計算能力按需調用,因此,雲計算為大數據提供了計算能力和資源等物質基礎。
5. 雲計算和大數據有什麼區別
雲計算和大數據的區別是什麼?關於大數據和雲計算的關系人們通常會有誤解。而且也會把它們混起來說,分別做一句話直白解釋就是:雲計算就是硬體資源的虛擬化;大數據就是海量數據的高效處理。
大數據技術是指從各種各樣類型的數據中,快速獲得有價值信息的能力。適用於大數據的技術,包括大規模並行處理(MPP)資料庫,數據挖掘電網,分布式文件系統,分布式資料庫,雲計算平台,互聯網,和可擴展的存儲系統。
雲計算是基於互聯網的相關服務的增加、使用和交付模式,通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源。雲是網路、互聯網的一種比喻說法。過去在圖中往往用雲來表示電信網,後來也用來表示互聯網和底層基礎設施的抽象。
雲計算相當於我們的計算機和操作系統,將大量的硬體資源虛擬化之後再進行分配使用,在雲計算領域目前的老大應該算是Amazon,可以說為雲計算提供了商業化的標准,另外值得關注的還有VMware(其實從這一點可以幫助你理解雲計算和虛擬化的關系),開源的雲平台較有活力的就是Openstack了。
大數據相當於海量數據的「資料庫」,而且通觀大數據領域的發展也能看出,當前的大數據處理一直在向著近似於傳統資料庫體驗的方向發展,Hadoop的產生使我們能夠用普通機器建立穩定的處理TB級數據的集群,把傳統而昂貴的並行計算等概念一下就拉到了我們的面前,但是其不適合數據分析人員使用(因為MapRece開發復雜),所以PigLatin和Hive出現了(分別是Yahoo!和facebook發起的項目,說到這補充一下,在大數據領域Google、facebook、twitter等前沿的互聯網公司作出了很積極和強大的貢獻),為我們帶來了類SQL的操作,到這里操作方式像SQL了,但是處理效率很慢,絕對和傳統的資料庫的處理效率有天壤之別,所以人們又在想怎樣在大數據處理上不只是操作方式類SQL,而處理速度也能「類SQL」,Google為我們帶來了Dremel/PowerDrill等技術,Cloudera(Hadoop商業化較強的公司,Hadoop之父cutting就在這里負責技術領導)的Impala也出現了。
6. 雲計算和大數據是什麼關系
大數據和雲計算在技術體系結構上,都是以分布式存儲和分布式計算為基礎,所以二者之間的聯系也比較緊密。
從技術上看,大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理,必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘。但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。
從應用角度來看,大數據是雲計算的應用案例之一,雲計算是大數據的實現工具之一。
雲計算的特點
1、虛擬化技術。
必須強調的是,虛擬化突破了時間、空間的界限,是雲計算最為顯著的特點,虛擬化技術包括應用虛擬和資源虛擬兩種。眾所周知,物理平台與應用部署的環境在空間上是沒有任何聯系的,正是通過虛擬平台對相應終端操作完成數據備份、遷移和擴展等。
2、動態可擴展。
雲計算具有高效的運算能力,在原有伺服器基礎上增加雲計算功能能夠使計算速度迅速提高,最終實現動態擴展虛擬化的層次達到對應用進行擴展的目的。
3、按需部署。
計算機包含了許多應用、程序軟體等,不同的應用對應的數據資源庫不同,所以用戶運行不同的應用需要較強的計算能力對資源進行部署,而雲計算平台能夠根據用戶的需求快速配備計算能力及資源。
4、靈活性高。
目前市場上大多數IT資源、軟、硬體都支持虛擬化,比如存儲網路、操作系統和開發軟、硬體等。虛擬化要素統一放在雲系統資源虛擬池當中進行管理,可見雲計算的兼容性非常強,不僅可以兼容低配置機器、不同廠商的硬體產品,還能夠外設獲得更高性能計算。
7. 雲計算方向和資料庫方向哪種好,或者兩種技術是不是有共通的地方哪個前景更好一些
1、雲計算屬於綜合類,適合於喜歡歸納、整合的人去學習、研究和發展;
2、資料庫屬於細分類,適合於喜歡沿著一個方向、心無旁騖、深鑽細究的人去學習、研究和發展;
3、資料庫是雲計算發展基礎之一,雲計算是資料庫應用案例之一;
4、資料庫是IT基礎之一、雲計算是IT當下最紅的新秀,因此,從短期來看,相較而言,雲計算更熱、更有前途;從長期來看,資料庫可以更長久地存在下去,而雲計算說不定哪一天又會被其它新秀所取代。
綜上,如果個人喜好不同、長短期追求不同,那麼就會有不同的選擇答案。
8. 什麼是雲計算和大數據
雲計算(cloud computing)是基於互聯網的相關服務的增加、使用和交付模式,通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源。雲是網路、互聯網的一種比喻說法。過去在圖中往往用雲來表示電信網,後來也用來表示互聯網和底層基礎設施的抽象。狹義雲計算指IT基礎設施的交付和使用模式,指通過網路以按需、易擴展的方式獲得所需資源;廣義雲計算指服務的交付和使用模式,指通過網路以按需、易擴展的方式獲得所需服務。這種服務可以是IT和軟體、互聯網相關,也可是其他服務。它意味著計算能力也可作為一種商品通過互聯網進行流通。
大數據(big data),或稱海量數據,指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。大數據的4V特點:Volume、Velocity、Variety、Veracity。
從技術上看,大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理,必須採用分布式計算架構。它的特色在於對海量數據的挖掘,但它必須依託雲計算的分布式處理、分布式資料庫、雲存儲和虛擬化技術。
大數據管理,分布式進行文件系統,如Hadoop、Maprece數據分割與訪問執行;同時SQL支持,以Hive+HADOOP為代表的SQL界面支持,在大數據技術上用雲計算構建下一代數據倉庫成為熱門話題。從系統需求來看,大數據的架構對系統提出了新的挑戰:
1、集成度更高。一個標准機箱最大限度完成特定任務。
2、配置更合理、速度更快。存儲、控制器、I/O通道、內存、CPU、網路均衡設計,針對數據倉庫訪問最優設計,比傳統類似平台高出一個數量級以上。
3、整體能耗更低。同等計算任務,能耗最低。
4、系統更加穩定可靠。能夠消除各種單點故障環節,統一一個部件、器件的品質和標准。
5、管理維護費用低。數據藏的常規管理全部集成。
6、可規劃和預見的系統擴容、升級路線圖。