壓縮aqq

Ⅵ [hive]一種基於Hive日誌分析的大數據存儲優化方法_王正也_百度文庫

一種悄或基於Hive日誌分析的大數據存儲優化方法 王正也 網路文庫
http://wenku..com/link?url=-

2 一種基於Hive日誌的大數據存儲優化方法
2.1 優化方法概述
Hive作為Hadoop開源分布式平台下的數據倉庫工具，他的作用是HDFS上存儲的結構化數據，根據使用者的需求將其映射出數據表，並可以向用戶提供類似SQL的HiveQL查詢功能，並將用戶提交的Query轉換成Map-Rece任務執行。Hive的優點是提供類SQL的查詢介面，快速實現數據的統計分析功能，而不必編寫專用的Map-Rece任務。而也正是因為如此，通用的Hive數據倉庫，沒有進行專用化的優化設計，其查詢分析效率也有很大的優化空間[4]。
文章根據常用的HiveQL的查詢日誌分析和根據現有的數據存儲結構的關聯特性提出一種通用的Hive數據存儲的優化方法。

本策略認為優化一個專用的Hive海量數據倉庫分為以下幾個步驟： 1. 分析常用查詢日誌，根據使用人員習慣定製數據分區結構。 2. 使用專用的優化過的列式存儲結構作為數據導入格式。 3. 根據數據表，和表中欄位的實際物理意義塵攜合並壓縮重復欄位和數據表。 4. 根據數據表中欄位實際的取值優化欄位的存儲類型。 5. 編寫UDF，在不改變用戶使用習慣的基礎上，應用上述優化。 其中1.2.兩點在數據導入階段進行優化，3.4.5.是在對數據表欄位和表結構的優化，需要配合UDF來進行。通過上述優化過程可以大大節省HiveQL的查詢時間以及HDFS上數據的佔用空間。

2.2 根據查詢日誌進行分區優化
Hive的日誌記錄了Hive的運行狀況，為本文分析操作者的使用習慣提供了很大的幫助。可以通過編寫Hive的EXPAIN功能進行日誌的分析，利用Hive的EXPLAIN功能，本文可以得到查詢語句的抽象語法樹(ABSTRACT SYNTAX TREE)，通過抽象語法樹，本文可以快速得到查詢語句的語法結構。
例如，以下一條語句SELECT col1, SUM(col2) FROM tab1 GROUP BY col1的通過EXPLAIN命令本文可以得到如下結果：
ABSTRACT SYNTAX TREE:
(TOK_QUERY (TOK_FROM (TOK_TABREF (TOK_TABNAME tab1))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) (TOK_SELECT (TOK_SELEXPR (TOK_TABLE_OR_COL col1)) (TOK_SELEXPR (TOK_FUNCTION sum (TOK_TABLE_OR_COL col2)))) (TOK_GROUPBY (TOK_TABLE_OR_COL col1))))

可以通過使用正則表達式抓取特徵數據，得到該語句的語法結構，同時通過編寫Shell腳本，批量執行EXPLAIN命令，可以很快的啟兄伍理解到使用者的常用語法習慣，為後文的分區優化提供了數據支持。 通過對使用者常用欄位進行分區(partition)，帶來的便利是大大的節省了一些常用查詢的在硬碟中讀取數據所消耗的時間。 通常在沒有進行過優化的Hive系統中，每次查詢提交之後，Hive要對輸入數據進行全盤掃描滿足條件的的項目，通過合理的劃分分區，在單次任務提交後，可以按照任務的限定條件只掃描某些關鍵分區的數據，大大提高的Hive查詢執行的效率。

2.3 選取合適的Hive數據存儲格式
在Hive中數據表創建時需要指定文件存儲格式，在Hive0.90版本中，常用的數據格式分為TEXTFILE、SEQUNCEFILE、RCFILE和用戶自定格式等幾種，以上格式的主要區別在行式存儲與列式存儲，不同壓縮演算法等方面的區別。根據Hive數據表格的特性，和通過Hive日誌觀察到的用戶使用習慣等特性，通過選擇合適的文件存儲格式，可以大大提高查詢效率，減少查詢耗費時間。

4 結論
本文給出了一種基於Hive日誌分析的大數據存儲優化方法，通過實際測試可以看出，使用該優化方法的Hive數據存儲系統無論從磁碟空間利用率還是從查詢效率上都得到和很大提升。

Ⅶ 國產MID神器第二波 清華同方Q5-1評測

【IT168 評測】2009年瑞芯微致力打造出完全由國人自主研發，並且第一個支持Android的中國芯：RK2808。到了2010年，隨著瑞芯微RK2808發布，很多廠家都相繼推出採用該晶元的MID產品。就在前段時間我們已經對第一款採用RK2808晶元的MID藍魔W7進行了測試。由於還是工程樣機，所以系統上好出行比較多的問題，但是通過深入試用我們也大概對瑞芯微RK2808晶元有了一個初步的了解。

清華同方 Q5-1
而前幾天我們收到了同樣采昌升老用瑞芯微RK2808晶元的MID，那就是來自清華同方首款的MID產品：同方手持電腦Q5-1。雖然該機子還不是零售版，但是整體上已經非常完善。那麼下面請大家跟著我來一起了解一下同方手持電腦Q5-1(下面簡稱同方Q5)吧。

清華同方Q5-1整機
同方手持電腦Q5-1具體參數(官方信息)：
1、處理器 ：RK2808(866MHZ)
2、屏幕：4.8英寸 800*480 TFT顯示屏
3、觸摸屏：4.8英寸電容式觸摸屏
4、SDRAM：128MB
5、內置存儲：4GB (可擴展TF卡)
6、WIFI：802.11a/b/g
7、重力感應：是
8、視頻播放：720P高清播放
9、電池容量：2200mAh
10、系統：Android
11、外形尺寸：120x80.7x9.9mm
12、笑鋒重量：209g
包裝配件
同方Q5的產品包裝比較簡單，盒子上標著該產品的主要功能特點：高清觸控屏幕、多種應用程序支持和互聯網娛樂。在右下角印有Android機器人圖案，表示同方Q5是才用谷歌的Android系統。

同方Q5 外包裝
同方Q5的配件比較簡單，包括充電器、數據線、耳機、驅動光碟、屏幕貼膜和用戶手冊。其中同方Q5所用的數據線比較特別，它並不是採用大家熟悉的micorUSB標准介面，而是採用了Apple ipod 30PIN多功能數據介面。此介面可與市面上銷售的ipod配套附件相兼容(如ipod音箱、充電器等多達300個豐富的配件組合)，為後續同方Q5功能的進一步擴展奠定了基礎。

同方Q5 全家福
而自帶的光碟裡麵包括不單只有同方Q5的驅動，還有固件燒錄工具、初始固件系統和燒錄工具使用說明。這可為以後系統升級提供了便利和保障。
外觀設計
同方Q5整體設計十分穩固，正面一個4.8寸觸摸屏並採用了超窄框設計。而機身周圍則是黑色的金屬邊框，加強了機身的穩定性同時，也減少外力對本耐升機造成變形的影響。

同方Q5 背板
同方Q5的背面則採用了銀色磨砂金屬外殼加黑色工程塑膠設計。金屬背殼增加穩定性的同時也有助於機子的散熱。表面磨砂處理，使其增加了防劃、耐磨的效果。正中央和右下角的清華同方標准與機子信息採用了激光雕刻技術，字體非常清晰而且很耐磨損。右下角則是碩大的揚聲器，音量非常值得期待。

同方Q5 揚聲器
在背面黑色工程塑膠中間的位置有一個小孔，小編本人一開始以為那個是Resat按鍵。其實那個是同方Q5的麥克風接受口。在這里小編要問一個問題，那就是為什麼麥克風開接收口要開在背面，而不是像MP4那樣開在側面呢?答案下面揭曉……
按鍵介面
同方Q5按鍵設計主要集中在右上角與右側，由頂端的左邊開始依次是Power、VOL+/-、Esc、Menu、Home共六個標准按鍵。其中Power鍵除了有開關機功能外，還具有關屏鎖機功能。在開機狀態下，按一下Power鍵，主機關閉屏幕進入待機狀態，再按一下就亮屏。長按該鍵3秒以上，屏幕會彈出關機或靜音模式對話框。而右側則為下方為TF卡和3.5mm耳塞插口。

同方Q5 側身按鍵

同方Q5 側身
就前面我們已經提過，同方Q5並沒有採用大家熟悉的micorUSB標准介面，而是採用了Apple ipod 30PIN多功能數據介面。這種設計小編本人覺得非常的好，首先官方也表明了此介面可與市面上銷售的ipod配套附件相兼容，例如：ipod音箱、充電器等。第二在美觀設計與穩定性上表現非常好。美觀方面就不怎麼說啦，大家看圖就會明白。關於介面的穩定性方面，數據插口上左右兩側都有一個小勾。當插進介面的時候兩個小勾會卡在介面，從而使數據線不容易脫開。

同方Q5 介面
屏幕介紹
同方Q5採用了4.8寸WVGA(480*800像素)解析度的TFT屏幕，雖然沒有採用主流的LTPS屏幕，但是整體顯示效果都非常細膩。

同方Q5 顯示顏色

同方Q5 顯示效果
在圖片測試中，256級灰階能看到第8個，色彩過渡與漸變表現一般，文字表現清晰，沒有出現變形的情況。左右視角基本能達到170度，但是上下角度就不太理想。

同方Q5 顯示效果
在風景與人物的表現中，景物的色彩還原准確。人物皮膚色彩與毛發表現自然，沒有出現偏紅偏黃的情況。

同方Q5 顯示效果

同方Q5 顯示效果

同方Q5 顯示效果

同方Q5 顯示效果
在觀看圖片中，小編發現有一個Bug。就是當點擊瀏覽圖片的時候，亮度會自動降到一般，即是你一開始在系統亮度中已經設了最高。而且推出圖片瀏覽之後亮度還是只有一般，要從新進入系統設置的亮點調節哪裡從新調整。但是那時系統的亮點調節依然還是最高狀態，只是亮點會突然變到最亮。
系統介紹
從包裝上我們可以看到同方Q5採用的是谷歌的Android 1.5版系統，界面也是標準的Android風格，並沒有像藍魔W7那樣對其做太多的定製。主界面共分為三個頁面，通過滑動操作進行切換。用戶可以通過長按屏幕打開添加菜單來進行更換壁紙、添加程序快捷方式等操作。

清華同方LOGO

同方Q5 桌面

同方Q5 桌面

同方Q5 網路連接

同方Q5 功能

同方Q5 版本號

同方Q5 桌面自定義效果
軟體介紹
同方Q5雖然沒有對系統界面做太多的定製，但是在內置軟體上就下了一番功夫。打開同方Q5的菜單，你會發現系統自帶的幾個必備軟體之外，還內置了aQQ、Skype(BETA)、YouKu、ES任務管理器等豐富的應用程序。基本上日常使用所必須的應用程序都已經內置在裡面，雖然如此你也可以通過APK安裝器或者Market來進行安裝自己喜歡的應用程序或游戲。 下面就介紹一下本人常用的幾個軟體在同方Q5上面的運行情況吧。
系統自帶網路瀏覽器：Chrome
Chrome瀏覽器可以說是移動設備裡面界面與功能最強大的網路瀏覽器，特別表現在多窗口管理與切換，以及放大閱讀功能中。

同方Q5 軟體介紹
當你點擊網頁上任意鏈接的時候，瀏覽器會自動在新開的頁面中打開。而且切換打開過程中還有動態效果，切換過程很流暢。當點擊多頁面模式按鈕，就可以瀏覽你所打開過的頁面，方便用戶自由切換需要的頁面瀏覽。而且瀏覽器還具有局部放大瀏覽功能，點解頁面右下角的圖標就能打開局部放大瀏覽模式。那時候瀏覽器會縮小打開整版頁面，你就通過拖動來放大瀏覽，放手後立即放大顯現所需頁面。
上網的時候依然要插TF卡才能進行下載。
"網路聊天工具：QQ

上QQ可以說是網蟲們每天必須所做的事情，對此騰訊在不久之前就推出了Android版QQ。經過多次變更和測試，現在軟體本身已經相當。這次測試使用的是最新的手機QQ1.0（Android）beta1 Build0112版。現在這版本也還只是提供了基本的聊天功能，像空間和郵箱管理等功能都還沒有。在實際應用用沒有出現強制關閉和丟失信息的情況。

同方Q5 QQ聊天工具
"手機必備瀏覽器：UCWEB

UCWEB的Android版有兩種，一種是320*480和480*800版、另一種是240*320版。所以要根據實際情況來選擇安裝。由於UCWEB主要應用於移動設備，以省流量為主要目的而設計的，所以整體瀏覽效果與速度沒有系統自帶的Chrome瀏覽這么華麗快捷。在實際應用中一切正常，沒有出現錯誤提示或強制關閉。唯獨跟系統自動瀏覽器一樣，一定要插存儲卡才能下載。

同方Q5 UC瀏覽器
進程管理：ES任務管理器
同方Q5自帶了ES任務管理器，這是小編本人比較喜歡的一款任務管理器軟體。大家都知道Android系統是支持多任務運行的，但是任務運行之後很難關閉，這樣就佔用了很多運行內存，從而拖慢系統運行。這時候就要用到ES任務管理器來進行任務結束，釋放運行內存。不單只這樣，該程序還能顯示各個任務的CPU和內存佔用量。在使用過程中一切正常，任務結束與卸載軟體等功能都正常。

ES任務管理器
系統檢查：系統信息
這是我從Market裡面下載的一個比較有趣的軟體，他不但只可以檢查出該機子的硬體信息，而且還自帶有進程結束功能。從圖中我們可以看到同方Q5的CPU頻率為299Mhz，跟官方標稱的866Mhz出入較大，這一點有待考證。內存為122MB,與官方給出的128/MB出入不大，開機後剩餘可用內存大概有55MB左右。

系統信息
"在線視頻播放：YouKu

同方Q5內置了3G YouKu，點解後直接打開3g.youku.com進行瀏覽，而視頻點播中有普清播放和高清播放兩種。經常試用本人極力推薦選高清播放，雖然效果也不太好，但是起碼比普清的要好很多。整體試用起來非常快捷，載入視頻非常迅速（與網速有關）。

優酷觀看
下面還有很多比較實用的軟體，在這里就不一一介紹了。

Skype網路電話
話又說回來，看到這圖片大家還記得剛才我問的那個問題沒有啊？那就為什麼麥克風開口要開在背面，而不是像普通MP4那樣開在側面呢？我相信你大概應該明白了，那就是通話功能。雖然同方Q5沒有加入通信模塊，但是該機子內置了Skype這款網路電話軟體。揚聲器和麥克風分別位於機身背部，這樣用戶就可以按照手機的接聽方式來撥打電話了。

文件夾

桌面系統

閱讀器

地圖
游戲測試
Android系統支持的游戲非常的話，在Market軟體裡面點解Games就有一堆出來了。在哪裡我隨意下載了幾個下來，玩了一下還不錯。但是通過之前對藍魔W7的評測知道，RK2808的圖像處理性能是非常低的。所以不能運行3D游戲，而且畫面比較復雜的都比較吃力。下面就一下較為流暢的游戲截圖介紹。

同方Q5 游戲

同方Q5 游戲

同方Q5 游戲

同方Q5 游戲
影音測試
1、視頻測試

視頻測試

視頻測試
這次同方Q5在視頻優化方面比之前的藍魔W7工程樣機要好。AVI跟MKV文件大部分能播放，只是部分出現影音不同步現象，視頻掉幀情況一般，RMVB全部流暢播放。整體來說對於MID來說視頻播放還是比較滿意的。下面是一些視頻截圖……

|
同方Q5 視頻播放效果

同方Q5 視頻播放效果

同方Q5 視頻播放效果

同方Q5 視頻播放效果

同方Q5 視頻播放效果
音頻測試

音頻播放
在官方給出的信息中，有提到同方Q5內置了獨立的DAC進行音頻處理。小編估計同方Q5跟藍魔W7一樣是採用歐勝的DAC但是具體哪個型號就要等到拆機才能知道咯。
1．有損壓縮音樂格式測試：
MPEG-1 Layer3（8KHz~44.1KHz、8Kbps~320Kbps CBR）：可播放
MPEG-1 Layer3（44.1KHz~48KHz、73Kbps~270Kbps VBR）：可播放
Windows Media Audio 9（8KHz~44.1KHz、5Kbps~32Kbps CBR）：可播放
Windows Media Audio 9（44.1KHz、65Kbps~81Kbps VBR）：可播放
2．無損壓縮音樂格式測試：
FLAC格式文件（44.1KHz、Average 1001Kbps）：可播放
WAV格式文件（44.1KHz、Average 1411.2Kbps）：可播放
APE格式單個曲目（44.1KHz、Average 874Kbps）：可播放
APE格式專輯（44.1KHz、Average 926Kbps）：可播放
3．左右聲道測試：經測試，同方Q5的左右聲道輸出正常，聽不出有串音等問題的出現。
4. 音質評價
由於該機的定位不是純音頻播放機，而且現在手上又沒有好一點的耳塞或耳機，所以就用原裝耳塞簡單地測試了一下。配原裝耳機聽了一下，感覺較差。聲場較窄，而且三頻表現不太平衡。但是就硬體上來說歐勝的DAC音質應該不會太差，估計可能是那個原裝耳塞的問題。
傳輸與續航
1.傳輸

數據傳輸測試
同方Q5的傳輸速度還是不錯的，軟體測試寫入平均有3.3MB/秒，讀取有8.8MB/秒。實際寫入一個2G多的視頻文件，平均的寫入速度為3.5MB/秒，讀取為9MB/秒。
續航
同方Q5內置了2200毫安的電池，其續航能力十分理想。小編在試用當中把屏幕亮度調到最大，接著上網1個多小時，再看一個小時的電影，電量也只用了50%左右。保守估計純上網的話能用2~3個小時，看電影能用3~4個小時。
缺點與總結

同方Q5-1
與清華同方Q5-1接觸的時間較為短暫，但是整體感覺還是非常好的，雖然如此但機子還是存在幾個缺點。
1、充電最多隻能充到95%，我嘗試過幾個充電器包括原裝的都是這樣;
2、圖片瀏覽的時候亮度會突然降到一半，退出瀏覽依然如此;
3、不插耳機的情況下，背面的揚聲器電流聲比較大，特別是資料傳輸和充電的時候。
瑞芯微RK2808，這是國內唯一採用65nm工藝生產的ARM9+DSP核心主控。主頻達到了600MHz(同方Q5標稱為866Mhz)，而且支持720P多格式視頻解碼。就因為這一強勁的核心為清華同方Q5-1帶來了強勁的性能，可以實現隨時隨地實現辦公和娛樂所需的各種功能。同時內置無線網路模塊，可隨時隨地登陸互聯網，並獲得PC級體驗：瀏覽網頁，收發郵件，在線聊天，網上支付寶購物，在線游戲，博客，播客，在線證券交易等。現在官方報價為1999元，如果價格能降下來的話，相信清華同方Q5-1也是一個不錯的選擇。

Ⅷ oppor9splus隱藏功能

oppo R9splus隱藏功能有：

1. 更全面的聯系人設計；

2. 語音旁鬧哪助手：用了就會上癮；

3. 快速的文件處理；

4. 發送名片竟然如此簡單。
   

具體oppo R9splus隱藏功能分析，如下：