pb級數據伺服器搭建

1. 有啥巨吃內存的軟體

巨吃內存的軟體主要包括大型資料庫軟體、專業設計軟體和社交媒體應用等。

首先，大型資料庫軟體如SAP HANA，這類軟體在處理海量數據時，對內存的需求極高。SAP HANA被設計用於實時分析業務數據，能夠處理PB級的數據量，因此往往需要配置大容量的內存來支持其高效運行。這類軟體通常部署在高端伺服器上，以滿足其對計算資源和存儲資源的高要求。

其次，專業設計軟體也是內存消耗大戶。在平面設計領域，Adobe Photoshop和Adobe After Effects等軟體在處理高解析度圖像或復雜視頻特效時，會佔用大量內存。同樣，三維設計和模擬軟體如Autodesk InfraWorks、Bentley MicroStation等，在模型創建、渲染和模擬過程中，也會消耗大量內存資源。這些軟體在模型總裝階段或同時處理多維度復雜變數時，對內存的需求尤為突出。

此外，隨著移動互聯網的發展，社交媒體應用也逐漸成為內存消耗的重要來源。以微信為例，作為一款集聊天、支付、社交、購物等多種功能於一體的應用，微信在使用過程中會不斷產生緩存數據，佔用手機內存。同時，隨著用戶好友數量的增加和聊天記錄的累積，微信的內存佔用也會不斷增長。類似地，抖音、快手等短視頻應用，以及淘寶、京東等電商應用，也會因為緩存視頻、圖片和商品信息等原因，佔用大量手機內存。

綜上所述，巨吃內存的軟體多種多樣，涵蓋了資料庫、專業設計和社交媒體等多個領域。在使用這些軟體時，用戶需要注意及時清理緩存和不必要的文件，以釋放內存資源，提高設備運行效率。

2. 數據處理方式

什麼是大數據：大數據（big data），指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

大數據的5V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性），網路隨便找找都有。

大數據處理流程：

1.是數據採集,搭建數據倉庫，數據採集就是把數據通過前端埋點，介面日誌調用流數據，資料庫抓取，客戶自己上傳數據，把這些信息基礎數據把各種維度保存起來，感覺有些數據沒用（剛開始做只想著功能，有些數據沒採集， 後來被老大訓了一頓）。

2.數據清洗/預處理：就是把收到數據簡單處理，比如把ip轉換成地址，過濾掉臟數據等。

3.有了數據之後就可以對數據進行加工處理，數據處理的方式很多，總體分為離線處理，實時處理，離線處理就是每天定時處理，常用的有阿里的maxComputer,hive,MapRece,離線處理主要用storm,spark,hadoop,通過一些數據處理框架，可以吧數據計算成各種KPI,在這里需要注意一下，不要只想著功能，主要是把各種數據維度建起來，基本數據做全，還要可復用，後期就可以把各種kpi隨意組合展示出來。

4.數據展現，數據做出來沒用，要可視化，做到MVP，就是快速做出來一個效果，不合適及時調整，這點有點類似於Scrum敏捷開發，數據展示的可以用datav，神策等，前端好的可以忽略，自己來畫頁面。

數據採集：

1.批數據採集，就是每天定時去資料庫抓取數據快照，我們用的maxComputer，可以根據需求，設置每天去資料庫備份一次快照，如何備份，如何設置數據源，如何設置出錯，在maxComputer都有文檔介紹，使用maxComputer需要注冊阿里雲服務

2.實時介面調用數據採集，可以用logHub,dataHub,流數據處理技術,DataHub具有高可用，低延遲，高可擴展，高吞吐的特點。

高吞吐：最高支持單主題（Topic）每日T級別的數據量寫入，每個分片（Shard）支持最高每日8000萬Record級別的寫入量。

實時性：通過DataHub ，您可以實時的收集各種方式生成的數據並進行實時的處理，

設計思路：首先寫一個sdk把公司所有後台服務調用介面調用情況記錄下來，開辟線程池，把記錄下來的數據不停的往dataHub,logHub存儲，前提是設置好接收數據的dataHub表結構

3.前台數據埋點，這些就要根據業務需求來設置了，也是通過流數據傳輸到數據倉庫，如上述第二步。

數據處理：

數據採集完成就可以對數據進行加工處理，可分為離線批處理，實時處理。

1.離線批處理maxComputer，這是阿里提供的一項大數據處理服務，是一種快速，完全託管的TB/PB級數據倉庫解決方案，編寫數據處理腳本，設置任務執行時間，任務執行條件，就可以按照你的要求，每天產生你需要數據

2.實時處理：採用storm/spark,目前接觸的只有storm,strom基本概念網上一大把，在這里講一下大概處理過程，首先設置要讀取得數據源，只要啟動storm就會不停息的讀取數據源。Spout，用來讀取數據。Tuple：一次消息傳遞的基本單元，理解為一組消息就是一個Tuple。stream,用來傳輸流，Tuple的集合。Bolt：接受數據然後執行處理的組件,用戶可以在其中執行自己想要的操作。可以在里邊寫業務邏輯，storm不會保存結果，需要自己寫代碼保存，把這些合並起來就是一個拓撲，總體來說就是把拓撲提交到伺服器啟動後，他會不停讀取數據源，然後通過stream把數據流動，通過自己寫的Bolt代碼進行數據處理，然後保存到任意地方，關於如何安裝部署storm，如何設置數據源，網上都有教程，這里不多說。

數據展現：做了上述那麼多，終於可以直觀的展示了，由於前端技術不行，借用了第三方展示平台datav,datav支持兩種數據讀取模式，第一種，直接讀取資料庫，把你計算好的數據，通過sql查出，需要配置數據源，讀取數據之後按照給定的格式，進行格式化就可以展現出來

@jiaoready @jiaoready 第二種採用介面的形式，可以直接採用api，在數據區域配置為api，填寫介面地址，需要的參數即可，這里就不多說了。

3. 在新聞上看到雲創存儲的超低功耗PB級雲存儲系統怎麼樣在存儲海量數據的安全性、速度如何

剛好上個星期有去他們公司參觀過，最大的感覺就是密度很高，他們的單機架存儲裸容量有1.125PB。而且能耗特別小，單機架總功率僅有4KW，單節點功率僅有10W。一般的雲存儲設備，有80%的成本都是用在能耗方面，所以從節能方面，就可以為用戶省下一大筆成本。
這套系統每個硬碟，主板，電源，交換機，Master伺服器之間相互冗餘，任何單節點出現故障，都不會影響整個系統的運行，號稱「超安存」系統。其他的信息你可以到雲創存儲的官方網站上面查看詳細的產品介紹！