awss3存儲伺服器搭建

1. Django使用S3服務

static靜態文件和media多媒體(多為用戶上傳)需要分目錄存儲，新建s3utils.py文件：

settings.py添穗升並加S3配置：

因為S3開放了本機訪問許可權，因為不需要認證。

需要認證的添加 KEY_ID 和ACCESS_KEY:

運行 collectstaticDjango管理命令 ：

靜態文件應該以 http://horoscope-cxclient.s3.amazonaws.com/static/ 為結尾。

任何上傳的文件FileField或ImageField模型上的屬性都應該在 http://horoscope-cxclient.s3.amazonaws.com/media/ 中。如果這些模型屬性指定upload_to路猜跡徑，則存儲於 /media/*** 。

如上配置配置成功後，資源訪問域名是 https://horoscope-cxclient.s3.amazonaws.com/media/

發現資源載入速度慢了很多，17K耗時將近兩秒，而且不同區域訪問不穩定。

此時就應該祭出CDN了 知乎CDN

CDN HOST： http://***.cloudfront.net/ ，解析至 http://static.mobileapp666.com 域名下，settings配置:

重啟後資源通過 http://static.mobileapp666.com/** 訪問，速度有了明顯的提高。

AWS_S3_SECURE_URLS： 是否啟動安全網址，即是否使用 https ， 默認為True，因為https需要申請證書等等一系列處理，暫時設置為False後將使用笑薯 http 協議。

使用 staticfiles

常用命令：

上傳目錄 需要添加參數 --recursive

AWS CLI命令參考： AWS CLI Command Reference

參考：

django-s3-temporary

cname-support-aws_s3_custom_domain-doesnt

django-wont-serve-static-files-from-amazon-s3-with-custom-domain

Using-Amazon-S3-to-store-your-Django-sites-static-and-media-files

2. 如何用AWS搭建一個自己的BLOG

自己搭蘆猜建了一個伺服器，在這里也分享一下經驗。原文我放在blog4it.com，是我新申請的頂級域名，後面會介紹如何申請這個頂級域名。

做了10多年的IT工作，很想有一個自己的網站，剛好慧與公司鼓勵開發部門做自己的網站，就下定決心搞一個。鑒於自己維護一個伺服器太麻煩了，不確定阿里雲的訪問速度如何，最後決定通過亞馬遜來搭建一個網站。搭建一個Wordpress的網站很容易，只要以下幾步，你就可以擁有一個和你看的一樣甚至更好的blog了。
亞馬遜提供的伺服器包括了1CPU + 1G RAM，可以免核嘩猜費用1年，然後使用最低配的系統每年的費用大約是365元。
申請一個AWS賬號
選擇伺服器所在的國家。（重要）
申請一個帶Wordpress的AWS雲伺服器。
檢查你的網站已經建好了。
找到你的用戶名密碼
登陸到你的網路伺服器
修改網站的標題和樣式
開通新用戶的注冊。
添加訪問量監控
使用自己的域名
今天開篇說一下如何申請一個AWS雲伺服器，並建立一個Wordpress的instance.
首先當然是打開AWS的網站
http://aws.amazon.com/，點擊這個按鈕
注冊一個新的賬號，填寫郵箱，密碼和地址信息。
填寫信用卡信息，我用的是招商銀行的全幣卡，應該其他的visa或者master card都可以使用。

然後亞馬遜會從你的信用改型卡上面扣除1美元的預授權。
接下來就可以進入AWS的console來新建一個instance，一個instance就是一個網路伺服器。亞馬遜提供了一年的免費試用，如果你建兩個伺服器那麼試用時間就減半。
2. 在建立網路伺服器之前，一定要選擇一個合適的伺服器地址，我嘗試了useast, uswest在國內訪問都很慢。建議使用新加坡的伺服器，美國和中國訪問速度都不錯。
選擇伺服器的方法在你的console的右上角：

3. 接下來進入到AWS的console

然後點擊這個

然後AWS會顯示線面的頁面，裡麵包括了AWS的推薦選項，你可以從中選擇一個，AWS就會幫你建一個網上伺服器，但是具體的應用比如Wordpress要你自己裝

為了方便，直接選擇AWS market，裡面有別人做好的帶應用的伺服器模版，搜索wordpress

接下來選擇
如果你想通過一個wordpress支持多人建站的話，你要選擇WordPress Multisite powered by Bitnami (HVM)
然後選一個免費的instance包括了1個CPU和1GB的內存。
後面有更多的配置，可以直接使用默認配置，點擊然後
接下來你會看見下面的界面：

你需要新建一個key pair，並且一定要保存好，你需要通過這個key pair來訪問你的伺服器，其他人也通過這個key pair可以直接訪問你的伺服器。
然後點擊Launch instance。
接下來你會看到你的新的伺服器正在啟動中，當啟動結束以後，你就會看到下面的界面，離勝利只剩一步了

5. 把上圖中的域名輸入到你的瀏覽器中，當~當~當~當~~，enjoy it.

3. 如何在AWS中為自己的S3託管站點添加SSL/TSL證書（https）

概要

利用AWS的S3服務託管靜態網站後，如何將自己的域名與該站點綁定，並為此域名提供SSL/TSL證書（https）。

面向人群

已經掌握如何利用S3服務託管靜態網站。

已經擁有自己的域名。

希望為自己的域名添加安全證書，可以通過https訪問自己的靜態網站。

實施步驟

在AWS Certificate Manager（ACM）申請證書。

為自己的域名申請證書。比如www.example.com。

在AWS CloudFront Manager（CF）建立分發（Distributions）。

delivery method選擇Web。

Origin Domain Name選擇託管成靜態網站的S3存儲桶。

在Distribution Settings節中做以下設定：

* Alternate Domain Names(CNAMEs)裡面填寫要進行關聯的域名，比如www.example.com。

* SSL Certificate選擇Custom SSL Certificate，然後在下拉框中選擇之前在ACM申請的證書。

其他設置項默虛銷認即可。

點擊Create Distribution。需要一段時間才能完成配置，等待Status變成Deployed。

這時可以看到Domain Name列下面有一個xxxxx.cloudfront.net，這個地址下一步會游譽舉用到。

去自己的域名託管商的管理頁面，進行DNS設定。

添加一個CNAME，將自己的域名比如www.example.com的目標設置成第3步記下來的xxxxx.cloudfront.net。

需要一點時間讓所有設置生效。

之後，可以通過http://www.example.com訪問網站。

如果使用https://www.example.com則會看到瀏覽器的地址欄前面出現了一個小鎖頭啦。

要點

ACM必須在「美國東部（弗吉尼亞北部）」區域申請。

CloudFront的CNAMEs中要將自己的神碧域名添加進去。

域名託管商的CNAME中要指向CloudFront的地址。

4. 如何在AWS上部署千萬用戶級別服務

基礎架構

AWS分布在全球12個區域里

每個區域對應著一個地理位置，裡面含有多個Availability
Zones(可用區)。這些區域設置在北美，南美，歐洲，中東，非洲，亞太區。
每個AZ實質上是單個數據中心，盡管它們可由多個數據中心構建。
每個AZ有著獨立的供電系統和互聯網連接。
不同AZ之間以低延遲網路進行連接，這種快速網路可消除物理位置帶來的速度影響。
每個區域含有至少兩個AZ，共計32個AZs。
藉助AZ可創建高可用性的程序架構。

AWS在全球還分布有53個偏遠區域(Edge locations)

偏遠區域的使用對象是CloudFront，這是Amazon的內容分發網路(CDN)和DNS伺服器。
偏遠區域的存在使得全球用戶都可以享用低延遲網路而不論他們身在何處。建立區塊服務(Block Services)
Amazon透過AWS創建了大量高可用和高容錯的服務，具體的服務清單可點擊這里查看。
繳納一定的費用，你就可以在個人的應用中使用這些服務而不必為高可用性而憂心。
部分服務位於一個AZ中：CloudFront, Route 53, S3, DynamoDB, Elastic Load
Balancing, EFS, Lambda, SQS, SNS, SES, SWF。
即使是使用單個AZ的服務，其高可用架構也是足夠強大的。

1個用戶

在這個時候，開發者=用戶。你的架構看起來是這樣的：

運行單個實例，如t2.micro。你可以為你的伺服器選擇不同的CPU，內存，存儲設備和網路環境。
該伺服器承載了全部web任務，如：web應用，資料庫，管理器等。
使用AmazonRoute 53進行DNS管理。
為該實例附加一個Elastic IP地址。

那麼隨著用戶數的增加，我們需要如何進行升級改造，直至能為千萬用戶提供優質的服務呢？強調文字

優化策略

採用多主機模式

嘗試使用Amazon資料庫服務，如Amazon RDS(關系資料庫)，Amazon DynamoDB(NoSQL資料庫)，Amazon Redshift。
逐步從SQL資料庫轉為NoSQL資料庫，特別是數據量超過5TB，你的應用對低延遲敏感的時候。
使用Elastic Load Balancer(彈性負載均衡器)，它可以對主機進行健康檢測以確保網路的通暢，同時可以幫助實現網路的擴展。

垂直升級

需要更強的實例類型，例如c4.8xlarge或者m3.2xlarge。
停止使用當前的伺服器，換用功能更強大的機器，如：244GB RAM，40核CPU。
某些Amazon服務提供了Provisined IOPS選項以便用戶自行配置變更，這樣一來用戶可以使用類似DynamoDB的擴展服務。
類似上面的做法就叫做垂直升級。但其有個缺點，就是一旦機器出錯，你的網站也會停止運作了。所以要盡量避免單個實例的做法。

自動擴展

如果你一直在為峰值負載而努力，如黑色星期五，那麼其實是在浪費金錢。更好的解決方案

列表內容
是按需分配，這就是Auto Scaling(自動擴展)，在計算機群組中實現自動化的大小變更。
你可以為你的容量池定義最大值和最小值。
CloudWatch是一個管理服務，已內置到所有的Amazon應用中。
CloudWatch事件會觸發擴展。
觸發事件可以是CPU佔用率，時間延遲，網速等等。
你也可以向CloudWatch導入自定義基線，按照你的意願來觸發擴展。

架構分解

使用SOA/微服務，使你的服務層組件化。
這樣做的好處是單獨的服務可以獨立地進行擴展，從而大大增加了靈活性和可用性。
SOA是Amazon提供的重要架構組件。

避免重復勞動

把精力投入到能使你的業務與眾不同的事情上。
Amazon提供了很多高容錯的服務。例如，排隊(SQS服務)，郵件，轉碼，搜索，資料庫，監控等等。所以類似的服務都不必再次編寫了。

用戶數>千萬+

當用戶達到千萬級別的時候，你考慮的策略應該是這樣的：

多AZs模式

在不同層之間執行ELB(彈性負載平衡)。除了web層，在應用層，數據層等層里也需要進行ELB。

能夠自動擴展

使用面向服務的架構
緩存架構內和外的數據
使用Amazon S3和CloudFront。S3用於存儲靜態數據，如js，CSS，圖像等，具有足夠的擴展性。CloudFront可對數據進行緩存。
使用Amazon SES來進行郵件發送。
使用CloudWatch進行監控。

對數據寫入執行如下的策略：

聯結 – 根據功能劃分不同的資料庫。
分表 – 把一個數據集分解到多個主機上。
把部分功能放到其他類型的資料庫上（NoSQL,graph等）。
不斷優化你的應用和整個架構堆棧，針對瓶頸進行分析並找出解決方法。

5. 2018-12-09基於AWS S3協議搭建個人雲存儲服務

基於AWS S3協議搭建個人雲存儲服務

su root

mkdir /data

mkdir /data/aws_s3

wget https://dl.minio.io/server/minio/release/linux-amd64/minio

mv minio /usr/local/bin/

chmod +x /usr/local/bin/minio

minio server /data/aws_s3/

Endpoint: http://192.168.1.105:9000 http://127.0.0.1:9000

AccessKey: Q3RZEATLVD576K68LVEM

SecretKey: wshme+

Browser Access:

 悄脊 http://192.168.1.105:9000  http://127.0.0.1:9000

Command-line Access: https://docs.minio.io/docs/minio-client-quickstart-guide

  $ mc config host add myminio http://192.168.1.105:9000 Q3RZEATLVD576K68LVEM wshme+

Object API (Amazon S3 compatible):

  Go:        https://docs.minio.io/docs/golang-client-quickstart-guide

  java:      https://docs.minio.io/docs/java-client-quickstart-guide

  python: 談運滾   https://docs.minio.io/docs/python-client-quickstart-guide

  JavaScript: https://docs.minio.io/docs/javascript-client-quickstart-guide

 含余 .NET:      https://docs.minio.io/docs/dotnet-client-quickstart-guide

6. Amazon AWS 使用心得（摸索篇一）

本文主要罩老胡講述本人使用過程中，Amazon Aws 內常用模塊說明。

1. 固定IP怎麼配置？
答： EC2默認動態IP，每次實例重啟，IP都會發生改變。這么做的好處，個人理解是鼓勵大家不要使用免費實例。嘿嘿...
而如果選擇收費實例時，可選擇綁定IP，達到固定IP效果。具體配置如下圖：
1.1. 分配彈性IP

1.2. 將彈性IP關聯至EC2 實例

2. 負載均衡的使用？
答： 個人感覺使用AWS負載能減輕本人的運維工作，畢竟不是專業運維人員。比較明顯的好處就是，不需要在伺服器中安裝nginx搭建負載了。
具體配置如下圖：
2.1. 創建負載均衡器，選擇Application Load Balancer。

2.2. 填寫負載均衡器信息。

2.3. 選擇EC2所在區

2.4. 選擇或配置安全組，繼續下一步；
2.5. 配置路由，填寫完成繼續下一步，具體如下圖：

2.6. 選擇應用所在EC2實例，並提交審核。

2.7. 等待負載均衡器安裝完成，即可使用。

1. 訪問許可權問題
答： 如果是公開的S3存儲桶，則忽略此項。要開啟S3 API訪問許可權，需配置2步：
1.1. 配置阻止公有訪問(存儲桶設置)，如下圖：

1.2. 配置存儲桶策略，內容大概：

2. 靜態頁面託管問題
答： S3自身除非公開存儲物攔桶，否則無法含襲直接訪問存儲桶數據。如想通過存儲桶來託管靜態頁面，目前知道的需注意以下2點：
2.1. 存儲桶名詞需與域名保持一致；
2.2. 為避免直連存儲桶，可考慮使用CloudFront來實現轉發達到目的。

7. 如果我自己在AWS上手動裝一個redis資料庫, 我是買EC2 還是S3實例來搭

如果直觀的理解你的問題，那答案當然是EC2啦。

因為：
EC2就是彈性計算單元（也就是虛擬機的意思），用它來搭建Redis自然是沒有什麼問題的。
而S3是對象存儲系統， 他是用來存放數據的（你可以簡單的把他理解為移動硬碟），對象存儲系統的確提供了簡單的託管靜態網站的功能，但這也基本上是它的極限了。
像redis這樣嚴重依賴操作系統提供系統調用的應用程序，使用EC2服務才是正解。 當然AWS也提供了託管的redis服務（滑鼠點幾下，開箱即用），不過，這並不在你的問題的考慮范圍內。

8. 【Minio】基於AWS S3協議搭建個人雲存儲服務

在2007年，GlusterFS演變為大型分布式存儲方案後，任何配備合適硬體的公司，單位都可以利用個做分布式的流媒體，數據分析。在2011年，Red Hat收購了GlusterFS.

Minio是GlusterFS創始人之一Anand Babu Periasamy發布新的開源項目。Minio兼容Amason的S3分布式對象存儲項目，採用Golang實現，客戶端支持Java,Python,Javacript, Golang語言。

Minio 提供對象存儲服務，兼容了 AWS S3 存儲協議，用於非結構化的數據存。非結構化對象，比如圖像，音、視頻，日誌文件，備份鏡像…等等管理不方便，不定長，大小變化大、類型多，雲端的訪問復雜，minio就是來解決這種場景的。非結構化的文件從數KB到5TB都能很好的支持。開源並且用 Go 語言開發，有web操作界面，我們可以用它來搭建兼容S3協議的存儲雲服務。

Minio可以做為雲存儲的解決方案用來保存海量的圖片，視頻，文檔。由於採用Golang實現，服務端可以工作在Windows,Linux, OS X和FreeBSD上。配置簡單，基本是復制可執行程序，單行命令可以運行起來。

官網： https://minio.io

那麼，如何自己搭建一個私有的S3存儲雲服務呢？

官方的話是推薦用Docker來搞，我們先用普通的二進制文件來直接解決了！

######################################################################################

# mkdir /data/aws_s3

# wget   https://dl.minio.io/server/minio/release/linux-amd64/minio

# mv  minio /usr/local/bin/

#  chmod  755  /usr/local/bin/minio 

# minio server  /data/aws_s3

#############################################################

Created minio configuration file successfully at /root/.minio

Endpoint: http://10.5.10.89:9000   http://127.0.0.1:9000   http://172.17.0.1:9000

AccessKey: U3XLU4IMXY3IDKHU268F 

SecretKey: / 

Region:    us-east-1

SQS ARNs:  

Browser Access:

http://10.5.10.89:9000   http://127.0.0.1:9000   http://172.17.0.1:9000

Command-line Access:  https://docs.minio.io/docs/minio-client-quickstart-guide

################################################################

$ mc config host add myminio  http://10.5.10.89:9000  U3XLU4IMXY3IDKHU268F /

Object API (Amazon S3 compatible):

Go:  https://docs.minio.io/docs/golang-client-quickstart-guide

Java:  https://docs.minio.io/docs/java-client-quickstart-guide

Python:  https://docs.minio.io/docs/python-client-quickstart-guide

JavaScript:  https://docs.minio.io/docs/javascript-client-quickstart-guide

Drive Capacity: 8.3 GiB Free, 9.1 GiB Total

##############################################################

我們就成功啟動了minio的s3服務，默認埠9000，可以通過網頁訪問:

http://10.5.10.89:9000  

http://127.0.0.1:9000  

http://172.17.0.1:9000

注意 ：第一次打開時候需要填寫AccessKey和SecretKey才能進入，我們上面啟動服務的時候，已經看到屏幕有輸出:

AccessKey: U3XLU4IMXY3IDKHU268F 

SecretKey:

把這兩個Key填入，就能順利進入，進入後展開頁面如下:

這就是我們的S3雲存儲的管理頁面了，看著是不是和七牛什麼的提供雲存儲的產品頁面挺像的，大家都是基於S3協議開發的！

上傳個文件試試：

點擊右下角的紅色小加號按鈕，彈出的菜單選擇」create bucket」則會創建一個桶，輸入名字」test」

點擊剛才那個紅色小加號按鈕，這次選擇」Upload file」上傳文件，給這個桶上傳了一個叫login.txt的文本文檔

此時頁面如下：

至此我們可以看到文件已經上傳，要訪問這個文件，可以點擊文件右側的三個點的按鈕，選擇分享就可以得到一個外鏈，在瀏覽器中訪問這個外鏈就可以直接訪問文件。

那麼文件到底被存到哪裡去了呢，我們啟動命令中其實指定了工作路徑/data/aws_s3/，所以到伺服器這個目錄下看看：

# ls /data/aws_s3/ 

test

# ls /data/aws_s3/test/

login.txt 

桶名稱test是一個目錄，其下就有上傳的login.txt文件。

如果想指定ip和埠，可以這樣寫:

# minio server /data/aws_s3 --address=0.0.0.0:9000

如果想讓服務在後台運行：

# nohup minio server /data/aws_s3   --address=0.0.0.0:443 &

[1] 19882

// nohup: 忽略輸入並把輸出追加到啟動命令的當前目錄下的 "nohup.out"文件

minio可以用來搭建分布式存儲系統 GlusterFS，這樣就成了真正的雲存儲了，有時間再研究下把它從現在的單機測試，變成一朵存儲雲！

minio官網： https://minio.io

minio官方文檔： https://docs.minio.io/docs/minio-docker-quickstart-guide

minio github主頁： https://github.com/minio/minio

9. 如何使用Linux命令行訪問Amazon S3雲存儲

在Ubuntu或者Debian上安裝s3cm
$ sudo apt-get install s3cmd
在Fedora上安裝s3cmd
$ sudo yum install s3cmd
在CentOS或者RHEL上安裝s3cm
$ s3cmd put –acl-public 4.png s3://dev99 4.png -> s3://dev99/4.png [1 of 1] 30778 of 30778 100% in 8s 3.34 kB/s done
先從官方站點上下載rpm包，然後手工安裝。64位CentOS或RHEL 6，用以下命令：
$ sudo rpm -ivh s3cmd-1.0.0-4.1.x86_64.rpm
配置s3cmd
第一次運行s3cmd需要運行下面的命令做配置：
$ s3cmd –configure
它將會問你一系列問題：
AWS S3的訪問密鑰和安全密鑰
對AWS S3雙向傳輸的加密密碼和加密數據
為加密數據設定GPG程序的路徑（例如，/usr/bin/gpg）
是否使用https協議
如果使用http代理，設定名字和埠
配置將以保存普通文本格式保存在 ~/.s3cfg.

10. 怎麼用亞馬遜的雲服務 ec2 和s3

你可以使用aws console 來進行EC2 和 S3的配置。 EC2就是虛擬機，S3就是一個存儲空間。

你要是想使用php的sdk，請參閱文檔

http://docs.aws.amazon.com/aws-sdk-php-2/latest/

為了得到更優質的服務，推薦您在AWS論壇上求助：
https://forums.aws.amazon.com/index.jspa