脚本埋点

A. 数据分析师日常工作是什么

(1)写sql 脚本：俗称“跑数据”。leader要一组 季度数据/月数据/周数据 ，写一段或者N段SQL把数据跑出来。一般是临时性需求，不过当发现默默地演变成一个常规性需求时，最好直接封装SP（存储过程）了……每次跑一下方便省事。这项工作内容需要的技能点有：数据库，SQL
(2)数据分析项目前中期：这个是耗时很长很麻烦的部分。前期是基础数据的处理清洗，基础汇总聚合，然后设计监测指标，指标的设计不仅仅是数学分析，更多需要跑业务需求方那边了解，毕竟最终目的是要让别人用，提升效率，不是为了凸显模型高大上。所有需要的数据都有了之后，开始建立业务模型(数学模型)，整个建模的过程也是反复探索数据的过程，在一定数据量的情况下，初期的建模应用起来一定会这种问题那种问题balabala烦死人……以后边应用边调整优化。技能点：数据库，SQL，excel，R语言，数理统计，数据挖掘，业务知识。
(3)兼职产品经理：业务模型完了后，就有了指标结果。把数据落地到数据库中。然后接下来需要找开发帮你做可视化站点。作为数据分析师我是最了解这个项目 逻辑流程、核心算法、业务应用的。找开发帮你做可视化站点：曲线图啊 柱状图啊 饼图啊 balabala 让别人一眼就能看到指标的整体状况。技能点：逻辑思维，流程规划，数据可视化，一定的开发知识（方便和开发沟通），表达能力力和表情。
(4)模型和指标正式应用起来自后：收集业务部的反馈，不停的跟他们沟通邮件，不停地优化模型，数据表。以及给业务部一些特定需求的分析评估报告（临时性需求）。技能点：逻辑思维，表达能力
(5)个人学习：有时候会遇到等待别人工作进度的情况，比如别人的上一批数据没出来，你完全没法工作。那就上网或者看书 学习知识。数理统计和数据挖掘博大精深，如何能应用得好，产生最高性价比更是一门学问啦。多了解些总是没坏处的。
(6)大数据部分：涉及到”大数据“已经不是我个人工作内容部分了，而是整组的工作内容。具体需要有专门比较懂hadoop和spark的人负责在上面跑数据，写最终实现代码。我们组里的分工大概就是：数据分析师，数据工程师，（半个产品经理），有人身兼三种，有人只爱专精。技能点：无特定加点法则，团队加点。

B. 如何对脚本进行加密

一：最简单的加密解密
二：转义字符"\"的妙用
三：使用Microsoft出品的脚本编码器Script. Encoder来进行编码 （自创简单解码）
四：任意添加NUL空字符（十六进制00H） （自创）
五：无用内容混乱以及换行空格TAB大法
六：自写解密函数法
七：错误的利用 （自创）
在做网页时（其实是网页木马呵呵），最让人烦恼的是自己辛辛苦苦写出来的客户端IE运行的javaSCRIPT代码常常被别人轻易的拷贝，实在让自己的心里有点不是滋味，要知道自己写点东西也挺累的......^*^
我们清楚地认识到因为JAVASCRIPT代码是在IE中解释执行，要想绝对的保密是不可能的，我们要做的就是尽可能的增大拷贝者复制的难度，让他知难而退（但愿~!~），下面我结合自己这几年来的实践，及个人研究的心得，和大家一起来探讨一下网页中JAVASCRIPT代码的加密解密技术。
以加密下面的JAVASCRIPT代码为例：
alert("《黑客防线》");
一：最简单的加密解密
大家对于JAVASCRIPT函数escape()和unescape()想必是比较了解啦（很多网页加密在用它们），分别是编码和解码字符串，比如例子代码用escape()函数加密后变为如下格式：
alert%28%22%u9ED1%u5BA2%u9632%u7EBF%22%29%3B
如何？还看的懂吗？当然其中的ASCII字符"alert"并没有被加密，如果愿意我们可以写点JAVASCRIPT代码重新把它加密如下：
%61%6C%65%72%74%28%22%u9ED1%u5BA2%u9632%u7EBF%22%29%3B
呵呵！如何？这次是完全都加密了！
当然，这样加密后的代码是不能直接运行的，幸好还有eval(codeString)可用，这个函数的作用就是检查JavaScript代码并执行，必选项
codeString 参数是包含有效 JavaScript. 代码的字符串值，加上上面的解码unescape()，加密后的结果如下：
var code=unescape("%61%6C%65%72%74%28%22%u9ED1%u5BA2%u9632%u7EBF%22%29%3B");
eval(code)
是不是很简单？不要高兴，解密也就同样的简单，解密代码都摆给别人啦（unescape()）！呵呵
二：转义字符"\"的妙用
大家可能对转义字符"\"不太熟悉，但对于JavaScript提供了一些特殊字符如：\n （换行）、 \r （回车）、\' （单引号
）等应该是有所了解的吧？其实"\"后面还可以跟八进制或十六进制的数字，如字符"a"则可以表示为："\141"或"\x61"（注意是小写字符"x"），至于双字节字符如汉字"黑"则仅能用十六进制表示为"\u9ED1"（注意是小写字符"u"），其中字符"u"表示是双字节字符，根据这个原理例子代码则可以表示为：
八进制转义字符串如下:
eval("\141\154\145\162\164\50\42\u9ED1\u5BA2\u9632\u7EBF\42\51\73")
十六进制转义字符串如下:
eval("\x61\x6C\x65\x72\x74\x28\x22\u9ED1\u5BA2\u9632\u7EBF\x22\x29\x3B")
这次没有了解码函数，因为JavaScript执行时会自行转换，同样解码也是很简单如下：
alert("\x61\x6C\x65\x72\x74\x28\x22\u9ED1\u5BA2\u9632\u7EBF\x22\x29\x3B")
就会弹出对话框告诉你解密后的结果！三：使用Microsoft出品的脚本编码器Script. Encoder来进行编码
工具的使用就不多介绍啦！我是直接使用JavaScript调用控件Scripting.Encoder完成的编码！代码如下：
var Senc=new ActiveXObject("Scripting.Encoder");
var code='\r\nalert("《黑客防线》");\r\n';
var Encode=Senc.EncodeScriptFile(".htm",code,0,"");
alert(Encode);
编码后的结果如下：
#@~^FgAAAA==@#@&lsDD`J黑客防线r#p@#@&FgMAAA==^#~@
够难看懂得吧？但相应的解密工具早已出来，而且连解密网页都有！因为其解密网页代码过多，我就不多说拉！给大家介绍一下我独创的解密代码，如下：
function decode(){
#@~^FgAAAA==@#@&lsDD`J黑客防线r#p@#@&FgMAAA==^#~@
}
alert(decode.toString());
咋样？够简单吧？它是原理是：编码后的代码运行前IE会先对其进行解码，如果我们先把加密的代码放入一个自定义函数如上面的decode()中，然后对自定义函数decode调用toString()方法，得到的将是解码后的代码！
如果你觉得这样编码得到的代码LANGUAGE属性是JScript.Encode，很容易让人识破，那么还有一个几乎不为人知的window对象的方法execScript()，其原形为：
window.execScript( sExpression, sLanguage )
参数：
sExpression: 必选项。字符串(String)。要被执行的代码。
sLanguage: 必选项。字符串(String)。指定执行的代码的语言。默认值为 Microsoft JScript
使用时，前面的"window"可以省略不写！
利用它我们可以很好的运行编码后的JavaScript代码，如下：
execScript("#@~^FgAAAA==@#@&lsDD`J黑客防线r#p@#@&FgMAAA==^#~@","JScript.Encode")
你可以利用方法二对其中的""号内的字符串再进行编码，使得"JScript.Encode"以及编码特征码"#@~^"不出现，效果会更好！
四：任意添加NUL空字符（十六进制00H）
一次偶然的实验，使我发现在HTML网页中任意位置添加任意个数的"空字符"，IE照样会正常显示其中的内容，并正常执行其中的JavaScript.
代码，而添加的"空字符"我们在用一般的编辑器查看时，会显示形如空格或黑块，使得原码很难看懂，如用记事本查看则"空字符"会变成"空格"，利用这个原理加密结果如下：（其中显示的"空格"代表"空字符"）
a l er t (" 黑 客 防 线") ;
如何？是不是显得乱七八糟的？如果不知道方法的人很难想到要去掉里面的"空字符"（00H）的！
五：无用内容混乱以及换行空格TAB大法
在JAVASCRIPT代码中我们可以加入大量的无用字符串或数字，以及无用代码和注释内容等等，使真正的有用代码埋没在其中，并把有用的代码中能加入换行、空格、TAB的地方加入大量换行、空格、TAB，并可以把正常的字符串用"\"来进行换行，这样就会使得代码难以看懂！如我加密后的形式如下：
"xajgxsadffgds";1234567890
625623216;var $=0;alert//@$%%&*()(&(^%^
//cctv function//
(//hhsaasajx xc
/*
asjgdsgu*/
"黑\
\
客\
防线"//ashjgfgf
/*
@#%$^&%$96667r45fggbhytjty
*/
//window
)
;"#@$#%@#432hu";212351436
至少如果我看到这样的代码是不会有心思去分析它的，你哪？
六：自写解密函数法
这个方法和一、二差不多，只不过是自己写个函数对代码进行解密，很多VBS病毒使用这种方法对自身进行加密，来防止特征码扫描！下面是我写的一个简单的加密解密函数，
加密代码如下（详细参照文件"加密.htm"）：
function compile(code)
{
var c=String.fromCharCode(code.charCodeAt(0)+code.length);
for(var i=1;i
运行得到加密结果为：
o%CD%D1%D7%E6%9CJ%u9EF3%uFA73%uF1D4%u14F1%u7EE1Kd
相应的加密后解密的代码如下：
function uncompile(code)
{
code=unescape(code);
var c=String.fromCharCode(code.charCodeAt(0)-code.length);
for(var i=1;i
七：错误的利用
利用try{}catch(e){}结构对代码进行测试解密，虽然这个想法很好（呵呵，夸夸自己），因为实用性不大，我仅给个例子
var a='alert("《黑客防线》");';
var c="";
for(var i=0;i
c+=String.fromCharCode(a.charCodeAt(i)^61);}
alert(c);
//上面的是加密代码，当然如果真正使用这个方法时，不会把加密写上的
//现在变量c就是加密后的代码
//下面的函数t()先假设初始密码为0，解密执行，
//遇到错误则把密码加1，然后接着解密执行，直到正确运行
var d=c; //保存加密后的代码
var b=0; //假定初始密码为0
t();
function t(){
trycatch(e){
c="";
for(var i=0;i
c+=String.fromCharCode(d.charCodeAt(i)^b);}
b+=1;
t();
//setTimeout("t()",0);
}
}
大工告成了！

C. 如何让脚本精灵最小化后有漂浮窗

如果你对按键精灵有点了解你就会看得明白这脚本了。 脚本全用按键自带的插件。很方便。 已经全部写上注释了。 只要根据注释埋写一下内容就OK！ 有不懂的问我。QQ：841434329 脚本： ---------------------------- //下面这句是查找窗口类名(0)或...

-- 紫霞游戏平台为您解答

D. 产品经理日常使用的工具会有哪些

1、Axure RP（Rapid Prototyping）
Axure（读音为Ack-Sure）无疑是目前最受关注的原型开发工具，其能通过组件的方式帮助网站或软件设计师快速建立带有注释的原型（流程图、线框图），并凭借自定义可重用的元件、动态面板以及丰富的script能够建立基本功能或页面逻辑的动态演示文件。
Axure借鉴了office的界面，能够让用户快速上手，并且提供了丰富的组件样式修改，使得通过其能够创建低保真、高保真甚至接近于实际效果的界面。然而最让人称道的是，Axure的丰富的脚本模式，可以通过点击和选择能够快速完成界面元素的交互，如链接、state切换、动态变化等效果，使得Axure能够生成十分接近于真实产品的原型。另一方面，Axure能够导入其他人创建的元件库，使得Axure能够满足绝大多数类型产品的设计。
但Axure仍然有一个让人头痛的问题：对于中文的支持不太友好。在小部分元件上输入中午的时候，经常需要像碰运气似的反复切换输入法，破坏了咱们设计师的用户体验。
瑕不掩瑜，Axure仍然是交互设计师的首选原型工具。
2、Microsoft Office Visio
Visio在2000年被微软收购，并在2002年成为office2003套件中的一个组件，最新版本是2007。Visio能够获得推荐的原因是因为Visio的适用性非常之广，从网站界面、数据库模型，到平面布置图到工艺流程图，Visio都提供了相应的元件库和模板来进行快速创建。

相较Axure而言，Visio更适合于传统行业的生产或流程设计，或者软件及互联网行业中的信息、数据和流程的说明，而不太适用于web界面。因为其的基于web的元件库还是比较少，并且形式和结构也更类似于word中的图形工具，因此在原型开发效率上都有所不足。
3、Balsamiq Mockups
这个基于Adobe AIR Runtime的工具实在是有让人眼前一亮的感觉，手绘风格的元件样式粗犷淋漓，能创建接近于纸上手绘的原型文件。其提供了丰富的手绘风格的web常用元件，包括常用的html控件、以及一些组合控件，如多媒体控制器、标签页、列表、Iphone界面元件等。
Mockups最值得赞赏之处在于其提供的多数组件都可定制外观，对于中文的支持也不错（选择View > Use System Fonts）。
4、Mockflow
Mockflow和以上工具最大的不同在于Mockflow是一项基于Adobe Flex技术开发在线服务，提供了与Balsamiq Mockups基本相似的功能，甚至更丰富的组件，虽然其元件定制化不够强大，但其提供的元件库默认样式却非常适合用来做商业产品原型的搭建。有一个让我爱不释手的功能是模板，可以设置基于任何页面的模板来进行新的页面设计。
与其他模板工具相比，mockflow有一个非常特色的功能，基于web的存储可以在任意电脑上联机打开，同时可以其他人进行快速的分享，并收集在线反馈意见，非常适合虚拟团队的原型设计交流。
虽然在线服务的基本帐号只能创建一个文件，但单个文件却没有限制页数，因此也基本上足够使用。
5、Pencil sketch
Pencil 是一款基于Firefox的扩展组件，安装之后即可在Firefox的工具菜单中打开Pencil的绘图面板。功能比较简单，仅能用以日常简单工作的辅助 说明。提供的默认元件都是基于软件工程，因此更适合用于windows桌面程序的简易界面搭建，或者是基本的页面功能说明，并不适用于严肃的原型开发，但 好在体积小、又轻便，能够方便将网页中的元素直接拖到或者复制到当前的画布中，这也是Pencil安装在Firefox所带来的便利之一吧。
更多工具...
在以上列举的原型开发工具都是较为常用的，也是在国内的交互设计师们比较常讨论的，但其实和Axure功能相似的软件还有很多，下面也就一些简单说明：
6、GUI Design Studio
这 是一款真的非常强大的原型制作工具，没有在上面推荐的原因是因为我还没有实际体验过，但冲着这工程级的界面设计就没有去尝试的冲动，但是从官方网站的截图 和视频演示来看，这款软件的操作模式和前面的原型工具大有不同。Axure之类多是基于页面的原型设计，对于web网站尽管很实用，但是对于软件界面的流 程设计却略显繁琐。而GUI Design Studio却另辟蹊径，直接以建立元素与元素之间的关联的方式来自动化的创建动作流程，而从视频演示来看，这样的确很大程度上提升了软件界面原型搭建的 效率。
7、Prototype Composer
Serena 公司免费提供的原型开发工具，功能确实强大，提供了基于项目管理主要流程的产出物文档模板、原型工具以及开发流程控制，这个软件的开发理念非常好，用这一 款工具来满足项目开发流程中各个环节的沟通和决策。但软件的学习和使用成本比较高，要了解其中的全部功能，貌似需要花不少时间。另外软件的效率和稳定性还 有待提高，试用的过程中多次出错及停止响应。
8、Lucid Spec
由 Elegance科技推出的Lucid Spec是一款很类似Pencil的原型工具，仅仅是提供了更多控件。不过Lucid Spec强调了生成干净的说明文档的功能，这可能是针对于多数原型工具的自动化生成规范的冗余而言的，不过老实说Lucid Spec提供的原型界面太过简陋，并且生成的说明文档也未见优化有怎样的提升。视频介绍
9、Irise Professional Edition
Irise与其他原型工具相比其中一个特色在于提供了样本数据的功能，这是类似于excel表的一个样本数据库，可以通过界面元素直接获取样本数据库中的数据，这样所生成的原型甚至可以使动态数据更新的。
10、Adobe Reader
Adobe reader？没错。其实理论上任何可以创建图形和文本的工具都可以用来原型开发，因为原型本身就是对于业务逻辑和功能界面的模拟或仿真，因此有何理由不能使用PDF格式呢？BoxandArrow的这篇文章《PDF Prototype》提醒了我们，所有的原型工具都只是工具，而不是设计本身。

个人推荐:
原型
• Axure 7.0
• UIDesigner
思维
• Mindmanager
• Xmind
流程
• Visio 2013
• EDraw Max
知识
• 有道云笔记
• 印象笔记
时间
• Todolist
• Worktile
图形
• Photoshop
• Colorpix
交互
• 快现
• UIDesiger

E. 大数据行业的数据精准吗

第一，用户行为与特征分析。显然，只要积累足够的用户数据，就能分析出用户的喜好与购买习惯，甚至做到“比用户更了解用户自己”。有了这一点，才是许多大数据营销的前提与出发点。无论如何，那些过去将“一切以客户为中心”作为口号的企业可以想想，过去你们真的能及时全面地了解客户的需求与所想吗？或许只有大数据时代这个问题的答案才更明确。

第二，精准营销信息推送支撑。过去多少年了，精准营销总在被许多公司提及，但是真正做到的少之又少，反而是垃圾信息泛滥。究其原因，主要就是过去名义上的精准营销并不怎么精准，因为其缺少用户特征数据支撑及详细准确的分析。相对而言，现在的RTB广告等应用则向我们展示了比以前更好的精准性，而其背后靠的即是大数据支撑。

第三，引导产品及营销活动投用户所好。如果能在产品生产之前了解潜在用户的主要特征，以及他们对产品的期待，那么你的产品生产即可投其所好。例如，Netflix在近投拍《纸牌屋》之前，即通过大数据分析知道了潜在观众最喜欢的导演与演员，结果果然捕获了观众的心。又比如，《小时代》在预告片投放后，即从微博上通过大数据分析得知其电影的主要观众群为90后女性，因此后续的营销活动则主要针对这些人群展开。

第四，竞争对手监测与品牌传播。竞争对手在干什么是许多企业想了解的，即使对方不会告诉你，但你却可以通过大数据监测分析得知。品牌传播的有效性亦可通过大数据分析找准方向。例如，可以进行传播趋势分析、内容特征分析、互动用户分析、正负情绪分类、口碑品类分析、产品属性分布等，可以通过监测掌握竞争对手传播态势，并可以参考行业标杆用户策划，根据用户声音策划内容，甚至可以评估微博矩阵运营效果。

第五，品牌危机监测及管理支持。新媒体时代，品牌危机使许多企业谈虎色变，然而大数据可以让企业提前有所洞悉。在危机爆发过程中，最需要的是跟踪危机传播趋势，识别重要参与人员，方便快速应对。大数据可以采集负面定义内容，及时启动危机跟踪和报警，按照人群社会属性分析，聚类事件过程中的观点，识别关键人物及传播路径，进而可以保护企业、产品的声誉，抓住源头和关键节点，快速有效地处理危机。

第六，企业重点客户筛选。许多企业家纠结的事是：在企业的用户、好友与粉丝中，哪些是最有价值的用户？有了大数据，或许这一切都可以更加有事实支撑。从用户访问的各种网站可判断其最近关心的东西是否与你的企业相关；从用户在社会化媒体上所发布的各类内容及与他人互动的内容中，可以找出千丝万缕的信息，利用某种规则关联及综合起来，就可以帮助企业筛选重点的目标用户。

第七，大数据用于改善用户体验。要改善用户体验，关键在于真正了解用户及他们所使用的你的产品的状况，做最适时的提醒。例如，在大数据时代或许你正驾驶的汽车可提前救你一命。只要通过遍布全车的传感器收集车辆运行信息，在你的汽车关键部件发生问题之前，就会提前向你或4S店预警，这决不仅仅是节省金钱，而且对保护生命大有裨益。事实上，美国的UPS快递公司早在2000年就利用这种基于大数据的预测性分析系统来检测全美60000辆车辆的实时车况，以便及时地进行防御性修理

第八，SCRM中的客户分级管理支持。面对日新月异的新媒体，许多企业想通过对粉丝的公开内容和互动记录分析，将粉丝转化为潜在用户，激活社会化资产价值，并对潜在用户进行多个维度的画像。大数据可以分析活跃粉丝的互动内容，设定消费者画像各种规则，关联潜在用户与会员数据，关联潜在用户与客服数据，筛选目标群体做精准营销，进而可以使传统客户关系管理结合社会化数据，丰富用户不同维度的标签，并可动态更新消费者生命周期数据，保持信息新鲜有效。

第九，发现新市场与新趋势。基于大数据的分析与预测，对于企业家提供洞察新市场与把握经济走向都是极大的支持。例如，阿里巴巴从大量交易数据中更早地发现了国际金融危机的到来。又如，在2012年美国总统选举中，微软研究院的David Rothschild就曾使用大数据模型，准确预测了美国50个州和哥伦比亚特区共计51个选区中50个地区的选举结果，准确性高于98%。之后，他又通过大数据分析，对第85届届奥斯卡各奖项的归属进行了预测，除最佳导演外，其它各项奖预测全部命中。

第十，市场预测与决策分析支持。对于数据对市场预测及决策分析的支持，过去早就在数据分析与数据挖掘盛行的年代被提出过。沃尔玛着名的“啤酒与尿布”案例即是那时的杰作。只是由于大数据时代上述Volume（规模大）及Variety（类型多）对数据分析与数据挖掘提出了新要求。更全面、速度更及时的大数据，必然对市场预测及决策分析进一步上台阶提供更好的支撑。要知道，似是而非或错误的、过时的数据对决策者而言简直就是灾难。

F. 数据分析师的要求

首先以下是成为一名数据分析师所需要学习掌握的知识，作为数据分析师，每个公司的要求都不一样，但是掌握这些知识才会让你更好的成为数据分析师，也可以在公司游刃有余。

• 数学知识

对于初级数据分析师来说，则需要了解统计相关的基础性内容，公式计算，统计模型等。当你获得一份数据集时，需要先进行了解数据集的质量，进行描述统计。

而对于高级数据分析师，必须具备统计模型的能力，线性代数也要有一定的了解。

• 分析工具

对于分析工具，SQL 是必须会的，还有要熟悉Excel数据透视表和公式的使用，另外，还要学会一个统计分析工具，SAS作为入门是比较好的，VBA 基本必备，SPSS/SAS/R 至少要熟练使用其中之一，其他分析工具（如 Matlab）可以视情况而定。

• 编程语言

数据分析领域最热门的两大语言是 R 和 Python。涉及各类统计函数和工具的调用，R无疑有优势。但是大数据量的处理力不足，学习曲线比较陡峭。Python 适用性强，可以将分析的过程脚本化。所以，如果你想在这一领域有所发展，学习 Python 也是相当有必要的。

当然其他编程语言也是需要掌握的。要有独立把数据化为己用的能力, 这其中SQL 是最基本的，你必须会用 SQL 查询数据、会快速写程序分析数据。当然，编程技术不需要达到软件工程师的水平。要想更深入的分析问题你可能还会用到：Exploratory analysis skills、Optimization、Simulation、Machine Learning、Data Mining、Modeling 等。

• 业务理解

对业务的理解是数据分析师工作的基础，数据的获取方案、指标的选取、还有最终结论的洞察，都依赖于数据分析师对业务本身的理解。

对于初级数据分析师，主要工作是提取数据和做一些简单图表，以及少量的洞察结论，拥有对业务的基本了解就可以。对于高级数据分析师，需要对业务有较为深入的了解，能够基于数据，提炼出有效观点，对实际业务能有所帮助。对于数据挖掘工程师，对业务有基本了解就可以，重点还是需要放在发挥自己的技术能力上。

• 逻辑思维

对于初级数据分析师，逻辑思维主要体现在数据分析过程中每一步都有目的性，知道自己需要用什么样的手段，达到什么样的目标。对于高级数据分析师，逻辑思维主要体现在搭建完整有效的分析框架，了解分析对象之间的关联关系，清楚每一个指标变化的前因后果，会给业务带来的影响。对于数据挖掘工程师，罗辑思维除了体现在和业务相关的分析工作上，还包括算法逻辑，程序逻辑等，所以对逻辑思维的要求也是最高的。

• 数据可视化

数据可视化主要借助于图形化手段，清晰有效地传达与沟通信息。听起来很高大上，其实包括的范围很广，做个 PPT 里边放上数据图表也可以算是数据可视化。

对于初级数据分析师，能用 Excel 和 PPT 做出基本的图表和报告，能清楚地展示数据，就达到目标了。对于稍高级的数据分析师，需要使用更有效的数据分析工具，根据实际需求做出或简单或复杂，但适合受众观看的数据可视化内容。

• 协调沟通

数据分析师不仅需要具备破译数据的能力，也经常被要求向项目经理和部门主管提供有关某些数据点的建议，所以，你需要有较强的交流能力。

对于高级数据分析师，需要开始独立带项目，或者和产品做一些合作，因此除了沟通能力以外，还需要一些项目协调能力。

G. 学大数据有哪些就业方向

大数据领域岗位类别大致分为两类：技术类岗位：技术类岗位主要是围绕大数据平台框架进行系统开发应用类岗位：应用类岗位主要专注于用大数据去解决一些业务问题，需要学会如何对数据进行分析和挖掘，如何找到数据中蕴含的业务规律和特征以支撑业务决策。大数据领域四大岗位职责和岗位要求一、大数据分析师岗位职责：1.从数据分析和数据挖掘角度为业务改进和提升提供建议2.构建数据产品，负责各类算法的开发、应用、监控优化，保证数据产品的实用性及可衡量性3.开展数据挖掘分析算法、工具研究工作，研发创新方法解决业务问题岗位要求：第一、对行为分析感兴趣，喜欢从数据中发现规律第二、熟悉掌握R、Python等编程语言第三、熟练使用SAS、SPSS等建模工具第四、较强的需求分析、数据建模以及IT架构设计能力，能够完成单个业务领域的IT架构设计工作，有大中型项目IT架构、IT方案设计方面的成功经验优先二、数据管理专家岗位职责：1.研究大数据及数据管理领域业务发展趋势和商业创新模式，进行大数据及数据管理领域的研究与规划，进行业务创新和业务拓展2.独立或指导团队成员将银行的需求转化为系统可实施业务需求，根据搜集与定义的客户业务目标、业务规则、业务流程，将获得的需求清晰、准确的形成业务需求说明书，并完成与客户的确认过程3.牵头与业务部门对接业务需求，分析业务需求实施方式及实施方案，在业务架构、应用架构、开发中心等团队的支持下，牵头或指导团队成员编写立项材料，推动项目立项工作4.在项目实施阶段，针对业务需求，牵头或指导团队成员配合设计人员、开发人员、测试人员进行系统设计、用例编写、集成测试等工作岗位要求：第一、对数字敏感，逻辑思维强，具有较强的语言表达和人际沟通能力第二、要有数据分析或用户研究的工作经验第三、熟悉SAS、SPSS等至少一种统计分析软件第四、熟悉 SQL，数据挖掘的常用算法第五、 拥有海量数据处理和挖掘经验者优先。三、大数据算法工程师岗位职责：1．深入理解B端业务，准确分析问题，研发适合的算法与策略，不断优化算法效果和性能2．熟悉滤波算法及随机过程，使用不同算法对时序数据分析建模3．学习时序、NLP领域的先进技术并开展相关研发工作岗位要求：第一、熟悉时间序列和机器学习的理论基础，有海量数据挖掘研发经验优先第二、精通数理统计，数据逻辑清晰，沟通能力强，业务理解能力强第三、具有优秀的编程能力，精通Python等常用脚本语言第四、 责任心强有良好的沟通能力和团队合作能力四、数据产品经理岗位职责：1.负责发布系统的数据规划、数据梳理、埋点等工作，提供完整的数据产品能力2.确立指标，搭建评估体系，全面衡量发布相关的情况，发现并归因问题3.数据驱动，通过数据分析和挖掘等手段，辅助各平台策略优化和迭代4.参与数据相关产品的搭建，为产品质量和体验负责岗位要求：第一、有数据体系或数据产品的搭建的经验第二、优秀的逻辑思维，对数据敏感，较好的沟通能力，具备发现并解决问题的能力第三、 自驱力强，性格坚韧，能快速成长

H. 对网站的pv进行数据统计数据的来源是网站服务器的log日志吗

网站的统计数据来源于服务器的log日志？

这个问题，牵扯太多，我整理下思路说下吧。（关于技术的发展史，是需要很长的一个篇幅了，由于我现在没有整理好...所以呢先发下面的）

0.简要回答

首先，网站的统计数据一部分是来源于 静态服务器的log做日志分析的，但它是原始方法，为什么说是原始方法呢，因为日志分析局限性很多，而且由于互联网信息化的高速发展，多样化的需求统计的出现，导致日志做分析很难去实现特定的统计，再加上大数据的推波助澜，让我们可以相对容易的处理海量数据；

1. 网站统计架构的发展简单史;

从而发展到现在，一般前端(PC、手机、小程序等)统计使用埋点去统计数据，后端使用 主流的大数据集群架构 来实现 数据的统计、处理、筛选、归类等，再加上web框架的展示层做大数据可视化屏幕、前端展现， 中间加上 各种中间件做润滑；(介绍大数据架构也是需要单独的篇幅来说明的，结构如下，这个架构称之为lambda+架构 经典架构)

2、网站统计的经典架构

目前也有一些新型架构的出现了Kappa之类；本片不做延展了.

5、数据收集脚本执行

数据收集脚本（ga.js）被请求后会被执行，这个脚本一般要做如下几件事：

1、通过浏览器内置javascript对象收集信息，如页面title（通过document.title）、referrer（上一跳url，通过document.referrer）、用户显示器分辨率（通过windows.screen）、cookie信息（通过document.cookie）等等一些信息。

2、解析_gaq收集配置信息。这里面可能会包括用户自定义的事件跟踪、业务数据（如电子商务网站的商品编号等）等。

3、将上面两步收集的数据按预定义格式解析并拼接。

4、请求一个后端脚本，将信息放在http request参数中携带给后端脚本。

6、后端执行数据收集、清洗、筛选、处理等 生成需求数据(也就是我们要看的数据);

下面有个表 就是 一般收集时候的基本数据;

名称 途径 备注

访问时间 web server Nginx $msec

IP web server Nginx $remote_addr

域名 javascript document.domain

URL javascript document.URL

页面标题 javascript document.title

分辨率 javascript window.screen.height & width

颜色深度 javascript window.screen.colorDepth

Referrer javascript document.referrer

浏览客户端 web server Nginx $http_user_agent

客户端语言 javascript navigator.language

访客标识 cookie

网站标识 javascript 自定义对象

业务特征值我们自有业务的特殊需求.

后端的处理流程，由最开始的 大数据统计架构 已经展示了。

好了 整体 介绍了个大概， 具体的话 就是需要详细阐述 大数据统计架构的介绍了...

我整理完会发布关于 大数据统计架构.

但是现在 应该很少人需要自己去处理 这么庞大而复杂的架构了，一般选择都使用 现有的

网络统计、友盟统计、诸葛io、神策、极光、Growingio 等。

I. 数据处理方式

什么是大数据：大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），网络随便找找都有。

大数据处理流程：

1.是数据采集,搭建数据仓库，数据采集就是把数据通过前端埋点，接口日志调用流数据，数据库抓取，客户自己上传数据，把这些信息基础数据把各种维度保存起来，感觉有些数据没用（刚开始做只想着功能，有些数据没采集， 后来被老大训了一顿）。

2.数据清洗/预处理：就是把收到数据简单处理，比如把ip转换成地址，过滤掉脏数据等。

3.有了数据之后就可以对数据进行加工处理，数据处理的方式很多，总体分为离线处理，实时处理，离线处理就是每天定时处理，常用的有阿里的maxComputer,hive,MapRece,离线处理主要用storm,spark,hadoop,通过一些数据处理框架，可以吧数据计算成各种KPI,在这里需要注意一下，不要只想着功能，主要是把各种数据维度建起来，基本数据做全，还要可复用，后期就可以把各种kpi随意组合展示出来。

4.数据展现，数据做出来没用，要可视化，做到MVP，就是快速做出来一个效果，不合适及时调整，这点有点类似于Scrum敏捷开发，数据展示的可以用datav，神策等，前端好的可以忽略，自己来画页面。

数据采集：

1.批数据采集，就是每天定时去数据库抓取数据快照，我们用的maxComputer，可以根据需求，设置每天去数据库备份一次快照，如何备份，如何设置数据源，如何设置出错，在maxComputer都有文档介绍，使用maxComputer需要注册阿里云服务

2.实时接口调用数据采集，可以用logHub,dataHub,流数据处理技术,DataHub具有高可用，低延迟，高可扩展，高吞吐的特点。

高吞吐：最高支持单主题（Topic）每日T级别的数据量写入，每个分片（Shard）支持最高每日8000万Record级别的写入量。

实时性：通过DataHub ，您可以实时的收集各种方式生成的数据并进行实时的处理，

设计思路：首先写一个sdk把公司所有后台服务调用接口调用情况记录下来，开辟线程池，把记录下来的数据不停的往dataHub,logHub存储，前提是设置好接收数据的dataHub表结构

3.前台数据埋点，这些就要根据业务需求来设置了，也是通过流数据传输到数据仓库，如上述第二步。

数据处理：

数据采集完成就可以对数据进行加工处理，可分为离线批处理，实时处理。

1.离线批处理maxComputer，这是阿里提供的一项大数据处理服务，是一种快速，完全托管的TB/PB级数据仓库解决方案，编写数据处理脚本，设置任务执行时间，任务执行条件，就可以按照你的要求，每天产生你需要数据

2.实时处理：采用storm/spark,目前接触的只有storm,strom基本概念网上一大把，在这里讲一下大概处理过程，首先设置要读取得数据源，只要启动storm就会不停息的读取数据源。Spout，用来读取数据。Tuple：一次消息传递的基本单元，理解为一组消息就是一个Tuple。stream,用来传输流，Tuple的集合。Bolt：接受数据然后执行处理的组件,用户可以在其中执行自己想要的操作。可以在里边写业务逻辑，storm不会保存结果，需要自己写代码保存，把这些合并起来就是一个拓扑，总体来说就是把拓扑提交到服务器启动后，他会不停读取数据源，然后通过stream把数据流动，通过自己写的Bolt代码进行数据处理，然后保存到任意地方，关于如何安装部署storm，如何设置数据源，网上都有教程，这里不多说。

数据展现：做了上述那么多，终于可以直观的展示了，由于前端技术不行，借用了第三方展示平台datav,datav支持两种数据读取模式，第一种，直接读取数据库，把你计算好的数据，通过sql查出，需要配置数据源，读取数据之后按照给定的格式，进行格式化就可以展现出来

@jiaoready @jiaoready 第二种采用接口的形式，可以直接采用api，在数据区域配置为api，填写接口地址，需要的参数即可，这里就不多说了。