压缩aqq

Ⅵ [hive]一种基于Hive日志分析的大数据存储优化方法_王正也_百度文库

一种悄或基于Hive日志分析的大数据存储优化方法 王正也 网络文库
http://wenku..com/link?url=-

2 一种基于Hive日志的大数据存储优化方法
2.1 优化方法概述
Hive作为Hadoop开源分布式平台下的数据仓库工具，他的作用是HDFS上存储的结构化数据，根据使用者的需求将其映射出数据表，并可以向用户提供类似SQL的HiveQL查询功能，并将用户提交的Query转换成Map-Rece任务执行。Hive的优点是提供类SQL的查询接口，快速实现数据的统计分析功能，而不必编写专用的Map-Rece任务。而也正是因为如此，通用的Hive数据仓库，没有进行专用化的优化设计，其查询分析效率也有很大的优化空间[4]。
文章根据常用的HiveQL的查询日志分析和根据现有的数据存储结构的关联特性提出一种通用的Hive数据存储的优化方法。

本策略认为优化一个专用的Hive海量数据仓库分为以下几个步骤： 1. 分析常用查询日志，根据使用人员习惯定制数据分区结构。 2. 使用专用的优化过的列式存储结构作为数据导入格式。 3. 根据数据表，和表中字段的实际物理意义尘携合并压缩重复字段和数据表。 4. 根据数据表中字段实际的取值优化字段的存储类型。 5. 编写UDF，在不改变用户使用习惯的基础上，应用上述优化。 其中1.2.两点在数据导入阶段进行优化，3.4.5.是在对数据表字段和表结构的优化，需要配合UDF来进行。通过上述优化过程可以大大节省HiveQL的查询时间以及HDFS上数据的占用空间。

2.2 根据查询日志进行分区优化
Hive的日志记录了Hive的运行状况，为本文分析操作者的使用习惯提供了很大的帮助。可以通过编写Hive的EXPAIN功能进行日志的分析，利用Hive的EXPLAIN功能，本文可以得到查询语句的抽象语法树(ABSTRACT SYNTAX TREE)，通过抽象语法树，本文可以快速得到查询语句的语法结构。
例如，以下一条语句SELECT col1, SUM(col2) FROM tab1 GROUP BY col1的通过EXPLAIN命令本文可以得到如下结果：
ABSTRACT SYNTAX TREE:
(TOK_QUERY (TOK_FROM (TOK_TABREF (TOK_TABNAME tab1))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) (TOK_SELECT (TOK_SELEXPR (TOK_TABLE_OR_COL col1)) (TOK_SELEXPR (TOK_FUNCTION sum (TOK_TABLE_OR_COL col2)))) (TOK_GROUPBY (TOK_TABLE_OR_COL col1))))

可以通过使用正则表达式抓取特征数据，得到该语句的语法结构，同时通过编写Shell脚本，批量执行EXPLAIN命令，可以很快的启兄伍理解到使用者的常用语法习惯，为后文的分区优化提供了数据支持。 通过对使用者常用字段进行分区(partition)，带来的便利是大大的节省了一些常用查询的在硬盘中读取数据所消耗的时间。 通常在没有进行过优化的Hive系统中，每次查询提交之后，Hive要对输入数据进行全盘扫描满足条件的的项目，通过合理的划分分区，在单次任务提交后，可以按照任务的限定条件只扫描某些关键分区的数据，大大提高的Hive查询执行的效率。

2.3 选取合适的Hive数据存储格式
在Hive中数据表创建时需要指定文件存储格式，在Hive0.90版本中，常用的数据格式分为TEXTFILE、SEQUNCEFILE、RCFILE和用户自定格式等几种，以上格式的主要区别在行式存储与列式存储，不同压缩算法等方面的区别。根据Hive数据表格的特性，和通过Hive日志观察到的用户使用习惯等特性，通过选择合适的文件存储格式，可以大大提高查询效率，减少查询耗费时间。

4 结论
本文给出了一种基于Hive日志分析的大数据存储优化方法，通过实际测试可以看出，使用该优化方法的Hive数据存储系统无论从磁盘空间利用率还是从查询效率上都得到和很大提升。

Ⅶ 国产MID神器第二波 清华同方Q5-1评测

【IT168 评测】2009年瑞芯微致力打造出完全由国人自主研发，并且第一个支持Android的中国芯：RK2808。到了2010年，随着瑞芯微RK2808发布，很多厂家都相继推出采用该芯片的MID产品。就在前段时间我们已经对第一款采用RK2808芯片的MID蓝魔W7进行了测试。由于还是工程样机，所以系统上好出行比较多的问题，但是通过深入试用我们也大概对瑞芯微RK2808芯片有了一个初步的了解。

清华同方 Q5-1
而前几天我们收到了同样采昌升老用瑞芯微RK2808芯片的MID，那就是来自清华同方首款的MID产品：同方手持电脑Q5-1。虽然该机子还不是零售版，但是整体上已经非常完善。那么下面请大家跟着我来一起了解一下同方手持电脑Q5-1(下面简称同方Q5)吧。

清华同方Q5-1整机
同方手持电脑Q5-1具体参数(官方信息)：
1、处理器 ：RK2808(866MHZ)
2、屏幕：4.8英寸 800*480 TFT显示屏
3、触摸屏：4.8英寸电容式触摸屏
4、SDRAM：128MB
5、内置存储：4GB (可扩展TF卡)
6、WIFI：802.11a/b/g
7、重力感应：是
8、视频播放：720P高清播放
9、电池容量：2200mAh
10、系统：Android
11、外形尺寸：120x80.7x9.9mm
12、笑锋重量：209g
包装配件
同方Q5的产品包装比较简单，盒子上标着该产品的主要功能特点：高清触控屏幕、多种应用程序支持和互联网娱乐。在右下角印有Android机器人图案，表示同方Q5是才用谷歌的Android系统。

同方Q5 外包装
同方Q5的配件比较简单，包括充电器、数据线、耳机、驱动光盘、屏幕贴膜和用户手册。其中同方Q5所用的数据线比较特别，它并不是采用大家熟悉的micorUSB标准接口，而是采用了Apple ipod 30PIN多功能数据接口。此接口可与市面上销售的ipod配套附件相兼容(如ipod音箱、充电器等多达300个丰富的配件组合)，为后续同方Q5功能的进一步扩展奠定了基础。

同方Q5 全家福
而自带的光盘里面包括不单只有同方Q5的驱动，还有固件烧录工具、初始固件系统和烧录工具使用说明。这可为以后系统升级提供了便利和保障。
外观设计
同方Q5整体设计十分稳固，正面一个4.8寸触摸屏并采用了超窄框设计。而机身周围则是黑色的金属边框，加强了机身的稳定性同时，也减少外力对本耐升机造成变形的影响。

同方Q5 背板
同方Q5的背面则采用了银色磨砂金属外壳加黑色工程塑胶设计。金属背壳增加稳定性的同时也有助于机子的散热。表面磨砂处理，使其增加了防划、耐磨的效果。正中央和右下角的清华同方标准与机子信息采用了激光雕刻技术，字体非常清晰而且很耐磨损。右下角则是硕大的扬声器，音量非常值得期待。

同方Q5 扬声器
在背面黑色工程塑胶中间的位置有一个小孔，小编本人一开始以为那个是Resat按键。其实那个是同方Q5的麦克风接受口。在这里小编要问一个问题，那就是为什么麦克风开接收口要开在背面，而不是像MP4那样开在侧面呢?答案下面揭晓……
按键接口
同方Q5按键设计主要集中在右上角与右侧，由顶端的左边开始依次是Power、VOL+/-、Esc、Menu、Home共六个标准按键。其中Power键除了有开关机功能外，还具有关屏锁机功能。在开机状态下，按一下Power键，主机关闭屏幕进入待机状态，再按一下就亮屏。长按该键3秒以上，屏幕会弹出关机或静音模式对话框。而右侧则为下方为TF卡和3.5mm耳塞插口。

同方Q5 侧身按键

同方Q5 侧身
就前面我们已经提过，同方Q5并没有采用大家熟悉的micorUSB标准接口，而是采用了Apple ipod 30PIN多功能数据接口。这种设计小编本人觉得非常的好，首先官方也表明了此接口可与市面上销售的ipod配套附件相兼容，例如：ipod音箱、充电器等。第二在美观设计与稳定性上表现非常好。美观方面就不怎么说啦，大家看图就会明白。关于接口的稳定性方面，数据插口上左右两侧都有一个小勾。当插进接口的时候两个小勾会卡在接口，从而使数据线不容易脱开。

同方Q5 接口
屏幕介绍
同方Q5采用了4.8寸WVGA(480*800像素)分辨率的TFT屏幕，虽然没有采用主流的LTPS屏幕，但是整体显示效果都非常细腻。

同方Q5 显示颜色

同方Q5 显示效果
在图片测试中，256级灰阶能看到第8个，色彩过渡与渐变表现一般，文字表现清晰，没有出现变形的情况。左右视角基本能达到170度，但是上下角度就不太理想。

同方Q5 显示效果
在风景与人物的表现中，景物的色彩还原准确。人物皮肤色彩与毛发表现自然，没有出现偏红偏黄的情况。

同方Q5 显示效果

同方Q5 显示效果

同方Q5 显示效果

同方Q5 显示效果
在观看图片中，小编发现有一个Bug。就是当点击浏览图片的时候，亮度会自动降到一般，即是你一开始在系统亮度中已经设了最高。而且推出图片浏览之后亮度还是只有一般，要从新进入系统设置的亮点调节哪里从新调整。但是那时系统的亮点调节依然还是最高状态，只是亮点会突然变到最亮。
系统介绍
从包装上我们可以看到同方Q5采用的是谷歌的Android 1.5版系统，界面也是标准的Android风格，并没有像蓝魔W7那样对其做太多的定制。主界面共分为三个页面，通过滑动操作进行切换。用户可以通过长按屏幕打开添加菜单来进行更换壁纸、添加程序快捷方式等操作。

清华同方LOGO

同方Q5 桌面

同方Q5 桌面

同方Q5 网络连接

同方Q5 功能

同方Q5 版本号

同方Q5 桌面自定义效果
软件介绍
同方Q5虽然没有对系统界面做太多的定制，但是在内置软件上就下了一番功夫。打开同方Q5的菜单，你会发现系统自带的几个必备软件之外，还内置了aQQ、Skype(BETA)、YouKu、ES任务管理器等丰富的应用程序。基本上日常使用所必须的应用程序都已经内置在里面，虽然如此你也可以通过APK安装器或者Market来进行安装自己喜欢的应用程序或游戏。 下面就介绍一下本人常用的几个软件在同方Q5上面的运行情况吧。
系统自带网络浏览器：Chrome
Chrome浏览器可以说是移动设备里面界面与功能最强大的网络浏览器，特别表现在多窗口管理与切换，以及放大阅读功能中。

同方Q5 软件介绍
当你点击网页上任意链接的时候，浏览器会自动在新开的页面中打开。而且切换打开过程中还有动态效果，切换过程很流畅。当点击多页面模式按钮，就可以浏览你所打开过的页面，方便用户自由切换需要的页面浏览。而且浏览器还具有局部放大浏览功能，点解页面右下角的图标就能打开局部放大浏览模式。那时候浏览器会缩小打开整版页面，你就通过拖动来放大浏览，放手后立即放大显现所需页面。
上网的时候依然要插TF卡才能进行下载。
"网络聊天工具：QQ

上QQ可以说是网虫们每天必须所做的事情，对此腾讯在不久之前就推出了Android版QQ。经过多次变更和测试，现在软件本身已经相当。这次测试使用的是最新的手机QQ1.0（Android）beta1 Build0112版。现在这版本也还只是提供了基本的聊天功能，像空间和邮箱管理等功能都还没有。在实际应用用没有出现强制关闭和丢失信息的情况。

同方Q5 QQ聊天工具
"手机必备浏览器：UCWEB

UCWEB的Android版有两种，一种是320*480和480*800版、另一种是240*320版。所以要根据实际情况来选择安装。由于UCWEB主要应用于移动设备，以省流量为主要目的而设计的，所以整体浏览效果与速度没有系统自带的Chrome浏览这么华丽快捷。在实际应用中一切正常，没有出现错误提示或强制关闭。唯独跟系统自动浏览器一样，一定要插存储卡才能下载。

同方Q5 UC浏览器
进程管理：ES任务管理器
同方Q5自带了ES任务管理器，这是小编本人比较喜欢的一款任务管理器软件。大家都知道Android系统是支持多任务运行的，但是任务运行之后很难关闭，这样就占用了很多运行内存，从而拖慢系统运行。这时候就要用到ES任务管理器来进行任务结束，释放运行内存。不单只这样，该程序还能显示各个任务的CPU和内存占用量。在使用过程中一切正常，任务结束与卸载软件等功能都正常。

ES任务管理器
系统检查：系统信息
这是我从Market里面下载的一个比较有趣的软件，他不但只可以检查出该机子的硬件信息，而且还自带有进程结束功能。从图中我们可以看到同方Q5的CPU频率为299Mhz，跟官方标称的866Mhz出入较大，这一点有待考证。内存为122MB,与官方给出的128/MB出入不大，开机后剩余可用内存大概有55MB左右。

系统信息
"在线视频播放：YouKu

同方Q5内置了3G YouKu，点解后直接打开3g.youku.com进行浏览，而视频点播中有普清播放和高清播放两种。经常试用本人极力推荐选高清播放，虽然效果也不太好，但是起码比普清的要好很多。整体试用起来非常快捷，载入视频非常迅速（与网速有关）。

优酷观看
下面还有很多比较实用的软件，在这里就不一一介绍了。

Skype网络电话
话又说回来，看到这图片大家还记得刚才我问的那个问题没有啊？那就为什么麦克风开口要开在背面，而不是像普通MP4那样开在侧面呢？我相信你大概应该明白了，那就是通话功能。虽然同方Q5没有加入通信模块，但是该机子内置了Skype这款网络电话软件。扬声器和麦克风分别位于机身背部，这样用户就可以按照手机的接听方式来拨打电话了。

文件夹

桌面系统

阅读器

地图
游戏测试
Android系统支持的游戏非常的话，在Market软件里面点解Games就有一堆出来了。在哪里我随意下载了几个下来，玩了一下还不错。但是通过之前对蓝魔W7的评测知道，RK2808的图像处理性能是非常低的。所以不能运行3D游戏，而且画面比较复杂的都比较吃力。下面就一下较为流畅的游戏截图介绍。

同方Q5 游戏

同方Q5 游戏

同方Q5 游戏

同方Q5 游戏
影音测试
1、视频测试

视频测试

视频测试
这次同方Q5在视频优化方面比之前的蓝魔W7工程样机要好。AVI跟MKV文件大部分能播放，只是部分出现影音不同步现象，视频掉帧情况一般，RMVB全部流畅播放。整体来说对于MID来说视频播放还是比较满意的。下面是一些视频截图……

|
同方Q5 视频播放效果

同方Q5 视频播放效果

同方Q5 视频播放效果

同方Q5 视频播放效果

同方Q5 视频播放效果
音频测试

音频播放
在官方给出的信息中，有提到同方Q5内置了独立的DAC进行音频处理。小编估计同方Q5跟蓝魔W7一样是采用欧胜的DAC但是具体哪个型号就要等到拆机才能知道咯。
1．有损压缩音乐格式测试：
MPEG-1 Layer3（8KHz~44.1KHz、8Kbps~320Kbps CBR）：可播放
MPEG-1 Layer3（44.1KHz~48KHz、73Kbps~270Kbps VBR）：可播放
Windows Media Audio 9（8KHz~44.1KHz、5Kbps~32Kbps CBR）：可播放
Windows Media Audio 9（44.1KHz、65Kbps~81Kbps VBR）：可播放
2．无损压缩音乐格式测试：
FLAC格式文件（44.1KHz、Average 1001Kbps）：可播放
WAV格式文件（44.1KHz、Average 1411.2Kbps）：可播放
APE格式单个曲目（44.1KHz、Average 874Kbps）：可播放
APE格式专辑（44.1KHz、Average 926Kbps）：可播放
3．左右声道测试：经测试，同方Q5的左右声道输出正常，听不出有串音等问题的出现。
4. 音质评价
由于该机的定位不是纯音频播放机，而且现在手上又没有好一点的耳塞或耳机，所以就用原装耳塞简单地测试了一下。配原装耳机听了一下，感觉较差。声场较窄，而且三频表现不太平衡。但是就硬件上来说欧胜的DAC音质应该不会太差，估计可能是那个原装耳塞的问题。
传输与续航
1.传输

数据传输测试
同方Q5的传输速度还是不错的，软件测试写入平均有3.3MB/秒，读取有8.8MB/秒。实际写入一个2G多的视频文件，平均的写入速度为3.5MB/秒，读取为9MB/秒。
续航
同方Q5内置了2200毫安的电池，其续航能力十分理想。小编在试用当中把屏幕亮度调到最大，接着上网1个多小时，再看一个小时的电影，电量也只用了50%左右。保守估计纯上网的话能用2~3个小时，看电影能用3~4个小时。
缺点与总结

同方Q5-1
与清华同方Q5-1接触的时间较为短暂，但是整体感觉还是非常好的，虽然如此但机子还是存在几个缺点。
1、充电最多只能充到95%，我尝试过几个充电器包括原装的都是这样;
2、图片浏览的时候亮度会突然降到一半，退出浏览依然如此;
3、不插耳机的情况下，背面的扬声器电流声比较大，特别是资料传输和充电的时候。
瑞芯微RK2808，这是国内唯一采用65nm工艺生产的ARM9+DSP核心主控。主频达到了600MHz(同方Q5标称为866Mhz)，而且支持720P多格式视频解码。就因为这一强劲的核心为清华同方Q5-1带来了强劲的性能，可以实现随时随地实现办公和娱乐所需的各种功能。同时内置无线网络模块，可随时随地登陆互联网，并获得PC级体验：浏览网页，收发邮件，在线聊天，网上支付宝购物，在线游戏，博客，播客，在线证券交易等。现在官方报价为1999元，如果价格能降下来的话，相信清华同方Q5-1也是一个不错的选择。

Ⅷ oppor9splus隐藏功能

oppo R9splus隐藏功能有：

1. 更全面的联系人设计；

2. 语音旁闹哪助手：用了就会上瘾；

3. 快速的文件处理；

4. 发送名片竟然如此简单。
   

具体oppo R9splus隐藏功能分析，如下：