s3雲存儲
『壹』 亞馬遜雲科技的雲存儲,最應該知道的有這三點
傳統存儲在以各種方式對接公有雲生態,公有雲的雲上服務類型也在不斷完善,作為企業信息化負責人要做的是更多地了解公有雲,然後,考慮如何充分利用公有雲的優勢。
本文通過介紹亞馬遜雲 科技 存儲服務的三個關鍵點,帶您認識雲存儲的現狀。
正文:
乘著互聯網產業的春風,雲存儲在過去近二十年走過了可遇不可求的發展歷程。也讓從90年代開始,就一直坐著冷板凳,負責數據歸檔的對象存儲,一躍成為整個互聯網數據的基石。
如今,絕大部分互聯網上可訪問的數據都靠對象存儲來存,偶爾曝出的數據泄露事件也大多都跟對象存儲有關,當然,問題不在於對象存儲本身。
從2006年,亞馬遜雲 科技 的對象存儲服務Amazon S3發布,到現在,算起來也有十六年的時間了,這也是亞馬遜雲 科技 推出的第一款雲服務。
從市場表現來看,Amazon S3是非常成功的,前兩年有人推測說,亞馬遜雲 科技 在存儲方面的營收規模非常大,甚至被稱作是全球最大的存儲公司,Amazon S3無疑是功勞最大的一個。
有人說,許多亞馬遜雲 科技 用戶使用的第一個產品就是Amazon S3對象存儲,在所有亞馬遜雲 科技 的用戶案例,在所有技術文檔里,Amazon S3的出鏡率都非常高。
雲上原生存儲Amazon S3的主線任務:不斷降低成本
如果亞馬遜雲 科技 的用戶沒用過Amazon S3,就好比去包子鋪吃飯沒點包子,光顧燒烤店沒吃烤串一樣,令人費解。
Amazon S3的易用性高、可用性高,開發者很喜歡,Amazon S3幾乎不丟數據的可靠性,穩定性也很高,運維管理人員很喜歡,Amazon S3在互聯網應用場景被普遍應用。
如今,Amazon S3上存著超過100萬億個對象,每秒需要處理上千百萬次請求。
Amazon S3一開始解決了可靠性和可用性以及安全方面的基本問題,性能也一直在提升,多年看下來,最大的工作重點就是不斷降低成本。
亞馬遜雲 科技 大中華區產品部總經理 陳曉建介紹稱,同樣存儲一份數據,如果2006年需要100塊錢,而在2022年就只需要大概15塊錢,16年間,Amazon S3的存儲成本降低了大約7倍。
2021年12月,亞馬遜雲 科技 宣布在全球九大區域,將Amazon S3 Standard In Frequent Access和Amazon S3 One Zone In Frequent Access的價格降低了31%。
Amazon S3存儲分了八個層級。
對於需要經常訪問的數據,首選標准版的Amazon S3,它具有毫秒級的訪問表現,而不太經常訪問的數據就選Amazon S3 Standard-IA上,相較於前者能節省大概40%的費用。
而對於那些很少訪問的數據,則可以選擇放在Amazon S3 Glacier DeepArcihve上,它的成本非常低,大約1美刀1個TB,但代價是,想把數據拿回來就得多等等,大概需要12到48個小時。
有人覺得這等的時間也太長了,於是,亞馬遜雲 科技 又推出了Amazon S3 Glacier Flexible Retrieval,只需要等上幾分鍾到幾小時。
就沒有一種,既可以便宜,訪問性能又高的存儲嗎?還真有。
這就是Amazon S3 Glacier Instant Retrieval,它是最新的一個存儲層級,拿回數據的速度是毫秒級的,成本與Amazon S3 Glacier相當,適合每季度才訪問一次、又需要毫秒級取回的海量數據。
另外,Amazon S3 One Zone-IA的成本也很低,顧名思義,數據只存在單個可用區上,而其他S3存儲的數據都在多個可用區上存著好幾分,相比之下,理論上丟數據的風險高了些。
最後,出於合規的要求,用戶有些數據不能上雲,亞馬遜雲 科技 可以提供Amazon Outposts,把雲的硬體放到了用戶的數據中心裡。使用Amazon S3 on Outposts,就像在雲上使用S3一樣。
總的來說,Amazon S3的存儲層級還是挺多的,但問題是,這給選型和管理也帶來了負擔。
為此,亞馬遜雲 科技 推出了Amazon S3 Intelligent-Tiering(智能分層),它會根據對象被訪問的次數在多個存儲層級間進行自動化遷移。
如果不能確定要選什麼或者存儲需求會變,那就選它,它不僅能解除選擇困難症,還能避免用戶自行管理數據分層的麻煩。
一家在東南亞和北美市場非常有影響力的互聯網公司,在亞馬遜雲 科技 上存放了大約幾十PB的數據,原本主要使用的是Amazon S3 Standard—IA,在使用Amazon S3智能分層後,沒有進行任何額外操作,就將存儲成本降低了62%。
亞馬遜雲 科技 最早在2018年就推出了Amazon S3智能分層功能,如今,Amazon S3智能分層已經涵蓋了Amazon S3家族的幾乎所有存儲類別,最多可節省68%的成本。
不僅如此,如今數據分層還拓展到文件存儲Amazon EFS,Amazon EFS提供四種文件存儲等級,數據分層能節省高達72%的存儲成本。
打通雲應用與傳統應用的隔閡:靠多種文件存儲
如果說,對象存儲是雲存儲的標配的話,那文件存儲就是雲存儲連接本地存儲的橋梁。
如今常見的應用分為兩類。
一類是雲原生的現代化應用,也就是在雲上開發的、充分利用雲架構優勢的應用,比如電商、 游戲 、社交媒體等平台。對應需要的存儲,大部分是對象存儲Amazon S3來滿足,少部分需要文件存儲Amazon EFS。
另一類是傳統企業應用,它誕生在公有雲之前,常見的有高性能計算、EDA、視頻渲染等場景,通常由本地的文件存儲系統,比如NAS來支撐的,為提升安全性和可靠性,通常都帶有快照、鏡像、遠程復制等功能特性。
這類工作負載並沒有根據雲架構的特點來設計,如果強行上雲,不僅需要調整應用本身,而且還可能出現兼容性的問題,為了避免此類問題,亞馬遜雲 科技 推出了FSx文件存儲家族。
從2018年開始,陸續推出了面向Windows環境的Amazon FSx for Windows,面向高性能計算場景的Amazon FSx for Lustre,面向大數據分析場景推出了Amazon FSx for OpenZFS。
金風慧能採用了亞馬遜雲 科技 構建HPC高性能計算系統,其中使用了Amazon FSx for Lustre共享存儲系統,不僅使氣象預測系統性能提升了10%,氣象計算時間縮短了1/3,還將成本降低了70%,運維復雜度也大大降低。
此外,還與知名存儲廠商NetApp合作推出了Amazon FSx for NetApp ONTAP,把NetApp的經典NAS文件存儲系統NetApp ONTAP放到了公有雲上。
NetApp在2015年就提出了Data Fabric的概念,大意就是想要實現數據在雲上和雲下的自由流動,是比較早積極擁抱混合雲的存儲廠商之一。
與一些存儲廠商的雲上託管服務不同,Amazon FSx for NetApp ONTAP沒有刪減任何功能,它是雲上唯一完整且全託管的NetApp ONTAP文件存儲系統,能夠無縫地跟企業本地的ONTAP系統對接,所以,用戶的IT系統不需要做任何改動,就能使用雲上服務。
2019年,NetApp與聯想成立合資公司——聯想凌拓,聯想凌拓在中國區提供相關服務,聯想凌拓產品管理與營銷高級總監林佑聲表示,從發布到現在,Amazon FSx for NetApp ONTAP得到了非常多客戶的認可,包括金融、醫療、石油以及高 科技 行業客戶。
嘉里物流原本是本地存儲NetApp ONTAP的用戶,隨著業務全球化發展,在數據擴容以及數據共享方面碰到的問題越來越多,通過使用亞馬遜雲 科技 提供的Amazon FSx for NetApp ONTAP,將數據從本地遷到雲上,解決了這些問題。
上雲之後,不僅可以使用原來NetApp ONTAP自帶的快照和備份等功能,同時,還可以使用亞馬遜雲 科技 遍布全球的數據中心,實現跨區域的災備。
補足數據保護方面的短板:Amazon Backup
一直以來,雲存儲被詬病的點還在於缺少數據災備功能,在如何維持業務連續性方面有一些爭議,而亞馬遜雲 科技 正在試著消除這一顧慮,這就是Amazon Backup。
由於缺少與業務價值的強關聯性,數據保護經常容易被忽視,同時,由於數據保護系統本身很復雜,合規的要求還特別多,實踐起來也特別麻煩,所以,數據保護的實踐相對落後。
可能也是基於這樣的考慮,亞馬遜雲 科技 的數據保護服務Amazon Backup才特別喜歡強調「一站式」「操作簡單」的特點,讓用戶知道,數據保護也沒有那麼麻煩。
於是我們看到,Amazon Backup能覆蓋旗下的幾乎所有存儲產品,包括塊存儲(Amazon EBS)、對象存儲、文件存儲、資料庫,以及計算和存儲網關等相關產品。
Amazon Backup的操作比較簡單,通過圖形的界面即可完成大部分操作,用戶還可以通過預設的策略進行自動化的備份,降低手動備份帶來的問題。
安全合規的問題讓許多用戶頭疼,Amazon Backup深度集成了亞馬遜雲 科技 自帶的KMS數據加密服務,整個備份操作許可權、數據訪問許可權都可以用IAM進行細顆粒度監控,滿足個人信息安全規范、信息安全等級保護等方面的合規要求。
Amazon Backup避免讓數據保護帶來太多的成本負擔,因此也用上了智能分層技術,用戶通過冷熱分層策略可以有效降低約75%的成本。
澳大利亞石油天然氣的供應商Santos要對Amazon EBS塊存儲做備份,原本都是用手動備份的方案,但隨著業務量的發展,備份的出錯率越來越高,成功率越來越低。
而在用了Amazon Backup後,平均備份任務用時和運營成本均有大幅降低,備份成功率到了100%,而且還完全做到企業數據合規。
結束語
確實如陳曉建所言,亞馬遜雲 科技 存儲服務已經成為IT行業的「水」和「電」,讓各行各業的業務都能從存儲服務中獲得價值。
亞馬遜雲 科技 的存儲服務類型和存儲的相關實踐都非常有代表性,而且,很多做法已經成了上雲的參考實踐,企業用戶應該多少了解亞馬遜雲 科技 的雲存儲,特別是有上雲打算的企業。
當然,上雲帶來的便捷和靈活,穩定性和安全性,以及對運維的解放都很吸引人。
還有顧慮?據我個人了解,亞馬遜雲 科技 非常在意企業在雲上的成功和成本節省,不僅會幫企業不斷優化。除此之外,市場上有一些專門的服務,幫助企業做規劃實施,讓你充分利用雲的優勢。
『貳』 【Minio】基於AWS S3協議搭建個人雲存儲服務
在2007年,GlusterFS演變為大型分布式存儲方案後,任何配備合適硬體的公司,單位都可以利用個做分布式的流媒體,數據分析。在2011年,Red Hat收購了GlusterFS.
Minio是GlusterFS創始人之一Anand Babu Periasamy發布新的開源項目。Minio兼容Amason的S3分布式對象存儲項目,採用Golang實現,客戶端支持java,python,Javacript, Golang語言。
Minio 提供對象存儲服務,兼容了 AWS S3 存儲協議,用於非結構化的數據存。非結構化對象,比如圖像,音、視頻,日誌文件,備份鏡像…等等管理不方便,不定長,大小變化大、類型多,雲端的訪問復雜,minio就是來解決這種場景的。非結構化的文件從數KB到5TB都能很好的支持。開源並且用 Go 語言開發,有web操作界面,我們可以用它來搭建兼容S3協議的存儲雲服務。
Minio可以做為雲存儲的解決方案用來保存海量的圖片,視頻,文檔。由於採用Golang實現,服務端可以工作在Windows,linux, OS X和FreeBSD上。配置簡單,基本是復制可執行程序,單行命令可以運行起來。
官網: https://minio.io
那麼,如何自己搭建一個私有的S3存儲雲服務呢?
官方的話是推薦用Docker來搞,我們先用普通的二進制文件來直接解決了!
######################################################################################
# mkdir /data/aws_s3
# wget https://dl.minio.io/server/minio/release/linux-amd64/minio
# mv minio /usr/local/bin/
# chmod 755 /usr/local/bin/minio
# minio server /data/aws_s3
#############################################################
Created minio configuration file successfully at /root/.minio
Endpoint: http://10.5.10.89:9000 http://127.0.0.1:9000 http://172.17.0.1:9000
AccessKey: U3XLU4IMXY3IDKHU268F
SecretKey: /
Region: us-east-1
SQS ARNs:
Browser Access:
http://10.5.10.89:9000 http://127.0.0.1:9000 http://172.17.0.1:9000
Command-line Access: https://docs.minio.io/docs/minio-client-quickstart-guide
################################################################
$ mc config host add myminio http://10.5.10.89:9000 U3XLU4IMXY3IDKHU268F /
Object API (Amazon S3 compatible):
Go: https://docs.minio.io/docs/golang-client-quickstart-guide
Java: https://docs.minio.io/docs/java-client-quickstart-guide
Python: https://docs.minio.io/docs/python-client-quickstart-guide
JavaScript: https://docs.minio.io/docs/javascript-client-quickstart-guide
Drive Capacity: 8.3 GiB Free, 9.1 GiB Total
##############################################################
我們就成功啟動了minio的s3服務,默認埠9000,可以通過網頁訪問:
http://10.5.10.89:9000
http://127.0.0.1:9000
http://172.17.0.1:9000
注意 :第一次打開時候需要填寫AccessKey和SecretKey才能進入,我們上面啟動服務的時候,已經看到屏幕有輸出:
AccessKey: U3XLU4IMXY3IDKHU268F
SecretKey:
把這兩個Key填入,就能順利進入,進入後展開頁面如下:
這就是我們的S3雲存儲的管理頁面了,看著是不是和七牛什麼的提供雲存儲的產品頁面挺像的,大家都是基於S3協議開發的!
上傳個文件試試:
點擊右下角的紅色小加號按鈕,彈出的菜單選擇」create bucket」則會創建一個桶,輸入名字」test」
點擊剛才那個紅色小加號按鈕,這次選擇」Upload file」上傳文件,給這個桶上傳了一個叫login.txt的文本文檔
此時頁面如下:
至此我們可以看到文件已經上傳,要訪問這個文件,可以點擊文件右側的三個點的按鈕,選擇分享就可以得到一個外鏈,在瀏覽器中訪問這個外鏈就可以直接訪問文件。
那麼文件到底被存到哪裡去了呢,我們啟動命令中其實指定了工作路徑/data/aws_s3/,所以到伺服器這個目錄下看看:
# ls /data/aws_s3/
test
# ls /data/aws_s3/test/
login.txt
桶名稱test是一個目錄,其下就有上傳的login.txt文件。
如果想指定ip和埠,可以這樣寫:
# minio server /data/aws_s3 --address=0.0.0.0:9000
如果想讓服務在後台運行:
# nohup minio server /data/aws_s3 --address=0.0.0.0:443 &
[1] 19882
// nohup: 忽略輸入並把輸出追加到啟動命令的當前目錄下的 "nohup.out"文件
minio可以用來搭建分布式存儲系統 GlusterFS,這樣就成了真正的雲存儲了,有時間再研究下把它從現在的單機測試,變成一朵存儲雲!
minio官網: https://minio.io
minio官方文檔: https://docs.minio.io/docs/minio-docker-quickstart-guide
minio github主頁: https://github.com/minio/minio
『叄』 2018-12-09基於AWS S3協議搭建個人雲存儲服務
基於AWS S3協議搭建個人雲存儲服務
su root
mkdir /data
mkdir /data/aws_s3
wget https://dl.minio.io/server/minio/release/linux-amd64/minio
mv minio /usr/local/bin/
chmod +x /usr/local/bin/minio
minio server /data/aws_s3/
Endpoint: http://192.168.1.105:9000 http://127.0.0.1:9000
AccessKey: Q3RZEATLVD576K68LVEM
SecretKey: wshme+
Browser Access:
悄脊 http://192.168.1.105:9000 http://127.0.0.1:9000
Command-line Access: https://docs.minio.io/docs/minio-client-quickstart-guide
$ mc config host add myminio http://192.168.1.105:9000 Q3RZEATLVD576K68LVEM wshme+
Object API (Amazon S3 compatible):
Go: https://docs.minio.io/docs/golang-client-quickstart-guide
Java: https://docs.minio.io/docs/java-client-quickstart-guide
Python: 談運滾 https://docs.minio.io/docs/python-client-quickstart-guide
JavaScript: https://docs.minio.io/docs/javascript-client-quickstart-guide
含余 .NET: https://docs.minio.io/docs/dotnet-client-quickstart-guide
『肆』 亞馬遜雲科技的AmazonS3上線16年了,對雲存儲服務發展有何影響
影響當然是非常大的,在這16年的時間裡面,價格下降培宏了7倍扮中歷左右,還對一些第三方也造成了不同程度廳搜的影響。
『伍』 如何部署項目到伺服器非容器化
分布式存儲,很關鍵的點在於數據的可靠性,即保證數據的完整,不丟失,不損壞。只有在可靠性實現的前提下,才有了追求一致性、高可用、高性能的基礎。而對於在存儲領域,一般對於保證數據可靠性的方法虧橡主要有兩類,一類是冗餘法,一類是校驗法。好在這些問題已經有相關中間件給我們解決了。Minio就是這樣的一個中間件,同類型的還有FastDfs等。但是FastDfs部署較為復雜,所以我採用的Minio。
MinIO 是一個基於Apache License v2.0開源協議的對象存儲服務。它兼容亞馬遜S3雲存儲服務介面,非常適合於存儲大容量非結銷仔旁構化的數據,例如圖片、視頻、日誌文件、備份數據和容器/虛擬機鏡像等,而一個對象文件可以是任意大小,從幾kb到最大5T不等。
MinIO是一個非常輕戚襲量的服務,可以很簡單的和其他應用的結合,類似 NodeJS, Redis 或者 MySQL。
『陸』 如何使用Linux命令行訪問Amazon S3雲存儲
在linux上安裝s3cmd
在Ubuntu或者Debian上安裝s3cm
$ sudo apt-get install s3cmd
在Fedora上安裝s3cmd
$ sudo yum install s3cmd
在CentOS或者RHEL上安裝s3cm
$ s3cmd put –acl-public 4.png s3://dev99
4.png -> s3://dev99/4.png [1 of 1]
30778 of 30778 100% in 8s 3.34 kB/s done
先從官方站點上下載rpm包,然後手工安裝。64位CentOS或RHEL 6,用以下命令:
$ sudo rpm -ivh s3cmd-1.0.0-4.1.x86_64.rpm
配置s3cmd
第一次運行s3cmd需要運行下面的命令做配置:
$ s3cmd –configure
它將會問你一系列問題:
AWS S3的訪問密鑰和安全密鑰
對AWS S3雙向傳輸的加密密碼和加密數據
為加密數據設定GPG程序的路徑(例如,/usr/bin/gpg)
是否使用https協議
如果使用http代理,設定名字和埠
配置將以保存普通文本格式保存在 ~/.s3cfg.
s3cmd的基本用法
在你的賬戶中列出所有現有的bucket:
$ s3cmd ls
2011-05-28 22:30 s3://mybucket1
2011-05-29 00:14 s3://mybucket2
建立新的bucket:
$ s3cmd mb s3://dev99
Bucket 』s3://dev99/』 created
上傳文件到現有的bucket:
$ s3cmd put 1.png 2.png 3.png s3://dev99
1.png -> s3://dev99/1.png [1 of 3]
26261 of 26261 100% in 5s 4.33 kB/s done
2.png -> s3://dev99/2.png [2 of 3]
201430 of 201430 100% in 2s 98.05 kB/s done
3.png -> s3://dev99/3.png [3 of 3]
46630 of 46630 100% in 0s 56.62 kB/s done
上傳文件的默認訪問許可權是私有的(private),就是只有你自己可以訪問,使用正確的訪問和安全密碼即可。
上傳公開訪問許可權的文件到現有bucket:
$ s3cmd put --acl-public 4.png s3://dev99
4.png -> s3://dev99/4.png [1 of 1]
30778 of 30778 100% in 8s 3.34 kB/s done
Public URL of the object is: http://dev99.s3.amazonaws.com/4.png
如果上傳的文件授予公開訪問許可權,任何人在瀏覽器中都可以通過http://dev99.s3.amazonaws.com/4.png 訪問。
查看一個現有bucket的內容:
$ s3cmd ls s3://dev99
2013-06-02 02:52 26261 s3://dev99/1.png
2013-06-02 02:52 201430 s3://dev99/2.png
2013-06-02 02:52 46630 s3://dev99/3.png
2013-06-02 02:56 30778 s3://dev99/4.png
下載現有bucket包含的文件(例如所有的.png文件):
$ s3cmd get s3://dev99/*.png
s3://dev99/1.png -> ./1.png [1 of 4]
26261 of 26261 100% in 0s 39.39 kB/s done
s3://dev99/2.png -> ./2.png [2 of 4]
201430 of 201430 100% in 7s 24.64 kB/s done
s3://dev99/3.png -> ./3.png [3 of 4]
46630 of 46630 100% in 1s 39.34 kB/s done
s3://dev99/4.png -> ./4.png [4 of 4]
30778 of 30778 100% in 0s 97.01 kB/s done
刪除現有bucket中的文件:
$ s3cmd del s3://dev99/*.png
File s3://dev99/1.png deleted
File s3://dev99/2.png deleted
File s3://dev99/3.png deleted
File s3://dev99/4.png deleted
獲取現有bucket的信息,包括存儲位置和訪問控制列表(ACL):
$ s3cmd info s3://dev99
s3://dev99/ (bucket):
Location: us-east-1
ACL: dan.nanni: READ
ACL: dan.nanni: WRITE
ACL: dan.nanni: READ_ACP
ACL: dan.nanni: WRITE_ACP
在上傳到現有的bucket之前,加密文件:
$ s3cmd -e put encrypt.png s3://dev99
/tmp/tmpfile-pzT1zV3kLZlxDwqA0kwy -> s3://dev99/encrypt.png [1 of 1]
196890 of 196890 100% in 1s 99.51 kB/s done
當用s3cmd下載一個加密過的文件時,它會自動檢測加密並在下載過程解密,因此下載和訪問加密文件時,就像通常所做的一樣:
$ s3cmd get s3://dev99/encrypt.png
s3://dev99/encrypt.png -> ./encrypt.png [1 of 1]
196890 of 196890 100% in 1s 131.29 kB/s done
刪除現有的bucket:
$ s3cmd rb s3://dev99
Bucket 』s3://dev99/』 removed
注意,你不能刪除一個非空的bucket.
『柒』 s3雲存儲程序變慢
2019年1月21日S3儲存桶(源)在國外,導致國內用戶訪問資源時速度實在是游埋慢陸慎,大多時候基本無法直接訪問。 CloudFront Amazon CloudFront 是一神悉螞項快速內容分發網路 (CDN...
『捌』 有哪些存儲類的亞馬遜雲科技服務推薦嗎
我了解的有Amazon S3 Glacier存儲類服務,其中S3 Glacier Instant Retrieval能夠提供成本最低的歸檔存儲和毫秒級的高效檢索,S3 Glacier Flexible Retrieval是可以用於備份和災難恢復的低成本、安全且持久地存儲,而S3 Glacier Deep Retrieval更適用於長期數據留存的最低成本存儲。另外,AWS Storage Gateway能夠提供對幾乎無限制的雲存儲的本地訪問的混合雲存儲⌄.
『玖』 奧迪S3原車行車記錄儀怎麼存儲到車機硬碟
奧迪S3原車行車記錄儀存儲到車機硬碟:
1、首先是需要通過電腦進行轉化。
2、用讀卡器讀取出記錄儀數據卡中存儲的影像.
3、然後保存在車機硬碟中,或者是通過電腦轉存保存在專用的移動硬碟中即可。因為日常在行車,駕駛以及戶外活動的過程中會攜帶記錄儀,主要是用來記錄第一視角發現的實時的畫面,存儲到車機硬碟裡面會更方便查看。
『拾』 什麼是雲存儲你如何看待雲存儲
雲存儲的幾十年發展歷程,其計算架構模型,也從Scale Up走向Scale Out。但是展望未來數字世界的海量需求,目前流行的模型還能夠持續滿足嗎?本文通過對雲存儲 歷史 的回顧,及對Scale Up和Scale Out兩種擴展模型的詮釋,來揭開雲存儲的未來模式。
1. 雲存儲及其 歷史
簡而言之,雲存儲(cloud storage)就是將數字內容安全的存儲在伺服器上,從而任何連接互聯網的設備可以方便的獲取。首先讓我們簡單回顧一下雲存儲的 歷史 。
雲存儲的早期雛形要回溯到上個世紀的90年代,也就是互聯網泡沫時期(dot-com boom),當時有許多家公司,例如EVault, NetMass, Arkeia和CommVault等等[1]均提供在線數據備份服務,當然它們絕大部分也隨著互聯網泡沫的破碎而煙消雲散了。少數倖存下來的有一家叫Veritas NetBackup最後也被Symantec收購,現在依舊提供Symantec NetBackup的在線存儲服務。
而真正讓大家耳熟能詳的雲存儲是2006年由Amazon提供的AWS S3雲存儲服務,其最具有革命意義的變革是,提出了即買即用(pay-per-use)的價格模型,使得雲存儲的使用像水電一樣可計算衡量。從此雲存儲以S3為標准一路絕塵,我們所熟悉的大廠,比如Netflix, Pinterest, Dropbox也是S3的顧客。尾隨的Microsoft和Google也於2010年分別發布了類似的Azure Blob Storage和Google Storage的存儲服務。
雲存儲真正發展的十幾年中,見證了移動互聯網的崛起,大數據的生機勃發,人工智慧的再次復興,並能夠展望到未來物聯網,無人駕駛及各類機器人自動化的世界。海量數據的產生,存儲,分析,預測及應用,快速以正反饋循環方式,推進著人類 社會 向數字世界大步邁進。所以,為了適應數據存儲新的需求,各家雲存儲產品的應用場景及價格模型,已從單一向多元發展,比如AWS S3就有Standard,Intelligent-Tiering, Standard-IA,One Zone-IA,Glacier和Glacier Deep Archive六類存儲產品來滿足各類使用場景,我會在未來的文章里針對性的細講一下。而本文重點所探討的是,目前雲存儲的基礎架構體系是否能夠適應未來數據存儲的要求和挑戰?為了回答這個問題,讓我們先簡單回顧一下計算機體系架構里的Scale Up和Scale Out擴展模型。
2. Scale Up和Scale Out?
Scale Up又稱為垂直擴展(scale vertically)[2],意為在單節點上添加資源,如CPU,內存和存儲,在縱向上擴展從而獲得更多計算或存儲能力;Scale Up初期能夠快速達到升級目的,操作起來相對比較簡單,但隨著計算或存儲的要求越來越高,硬體資源的添加可能已經達到極限,不僅單節點的造價非常昂貴,維護成本很高,而且更容易留下單點故障的隱患。傳統的RAID(Rendant Array of Inexpensive Disks)存儲就是此種模式。
Scale Out又稱為水平擴展(scale horizontally)[2],意為在分布式環境下,通過添加節點計算或存儲資源,在橫向上滿足更多的計算存儲需求;隨著計算和存儲單位價格的降低和效率的提升,使用低端的商用(commodity)系統,利用分布式技術可以搭建起「超級計算」中心,以及後來衍生出來的私有或公有雲平台解決方案。雖然分布式系統會帶來一定程度上的軟體復雜度和管理困難,但由軟體定義的計算和存儲解決方案,能夠以較低的價格和較高的魯棒性,優雅的解決了海量增長的計算存儲需求,也是目前雲平台的主流技術。但它就一定能夠承載未來的更加海量的需求嗎?雲存儲的未來是什麼?方向是向左還是向右?
3. 未來向左還是向右?
話說天下大勢, 分久必合, 合久必分,事物發展的規律似乎從來就沒有什麼絕對。當下,雲平台內部似乎已完全是Scale Out模式了,但當我們把鏡頭再拉遠一點,從雲平台在全球部署的每一個可用區來看,整體上它又是一個Scale Up模型,不是嗎?單點投入巨大,耗費能源,使用成本高昂。而相反,隨著強大的計算,存儲和帶寬能力能夠進入尋常家庭、工作和生活等邊緣節點,資源閑置或者不均衡使用也變得越來越明顯。
那麼,是否能夠將這些邊緣節點的計算存儲能力結合起來,組成一個真正意義上的Scale Out平台,提供人們日益增長的計算存儲需求?
可否將浪費或者不對等的資源重新組合,提供一個更加節能環保的綠色Scale Out平台?
可否摒棄中心化的單點故障和數據安全隱患,真正做到廉價高效,零數據泄露的Scale Out平台?
答案是應該可以而且必須可以!
縱觀雲存儲平台的發展 歷史 ,從單節點的Scale Up模式走向可用區內部的Scale Out模式,又從內部的Scale Out模式走向整體上相對的Scale Up模式。而未來數字世界的海量計算和存儲需求的滿足,一定需要真正意義上的全球Scale Out模型,那就是把邊緣節點和半中心化節點高效且系統的組織起來,減少浪費,提高效率,節省成本,去除中心。將天空中幾塊為數不多的白雲,變成漫天遍布的朵朵白雲,讓人們自由定價、自由選擇、自由組合。
挑戰雖然巨大,但未來很美好,讓我們一起努力迎接雲存儲的明天!
[1]: History of Online Storage
[2]: Wiki Scalability
文章作者:Bruce Lee(http://PP.IO總架構師)
轉載請註明出處
如果有關於PPIO的交流,可以通過下面的方式聯系我:
加我微信,注意備注來源
wechat:omnigeeker
雲存儲服務平台,很精練吧
網路解釋:雲存儲是在雲計算(cloud computing)概念上延伸和發展出來的一個新的概念,是一種新興的網路存儲技術,是指通過集群應用、網路技術或分布式文件系統等功能,將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作,共同對外提供數據存儲和業務訪問功能的系統。
雲存儲可以簡單的理解為將數據保存在一個第三方空間,隨時取用和處理。雲存儲也可以說是一個以數據存儲和管理為核心的雲計算系統。雲存儲對用戶來講,不只是一個簡單的設備,而是整個雲存儲系統的一種數據訪問服務。
通過集群應用,網路技術等功能把網路中不同類型的存儲設備通過應用軟體集合起來工作。
雲儲存就是企業的公用空間(伺服器),定期有人維護不用自己操心不怕數據丟失,但是數據都會在企業無保密可言,
就是網上的存儲空間,不佔自身內存,要用時聯網下載
雲存儲是指通過集群應用、網格技術或分布式文件系統或類似網格計算等功能聯合起來協同工作,並通過一定的應用軟體或應用介面,對用戶提供一定類型的存儲服務和訪問服務。
雲存儲的優勢樓主有需要的話可以了解一下企業共享辦公系統,可支持手機端、雲端、公司伺服器存儲、為企業獨立搭建維護企業網盤,從而實現文件歸檔存儲、文檔管理、協同辦公等功能。
雲存儲就是將文件內存存儲在雲端的一種方式,不佔用自己本身電腦或者手機的內存,海量存儲輕松搞定,解決了很多的存儲難與存儲傳輸難的問題。
使用呆貓雲盤的幾大好處,企業存儲資產更安全:1、使用呆貓遠程桌面時可直接掛載雲盤,輕松上傳下載文件,支持在線修改文件。
2、項目資源統一集中管理,釋放本地存儲空間;支持彈性擴容,按需使用,降低本地硬體使用成本;
3、呆貓同一賬號內存儲互通,資源可異地共享,減少傳輸成本。
4、呆貓雲盤與渲雲網盤存儲互通,使用渲雲提交渲染任務時,內網同步,文件秒傳,節省傳輸時間。
5、支持高並發讀取資產文件,可同一賬號最多可支持上千台機器同時讀取雲盤文件,提高工作效率。
6、高性能存儲,百萬級IOPS,超高算力助力設計行業發展。
7、雲盤基於域控的安全策略,免受病毒攻擊;提供多副本可靠性機制,即使機器出現故障,也不會引起數據丟失。
把你需要存儲的數據放到網上,不佔用你自己設備的內存,當你需要使用時從網上下載。這之間會產生數據流量。
雲存儲其實我們都經歷過,2013年-2016年蓬勃發展,而後被玩壞的雲盤,就是典型代表,雖然我們控制權益不多,只能上傳下載,離線,共享,基本當作網路硬碟和交流工具使用,但卻解決了人們的燃眉之急。我們現在部分手機上還有雲端保存照片的功能。
實際的雲存儲並不是這么簡單,引用一下網路:
雲存儲是建立在雲計算的基礎上,為雲計算服務。對於我們似乎太深奧,但又息息相關,我們只需要知道它是好東西就行了。不單單能當作個人網路上的儲存空間。