腳本埋點

A. 數據分析師日常工作是什麼

(1)寫sql 腳本：俗稱「跑數據」。leader要一組 季度數據/月數據/周數據 ，寫一段或者N段SQL把數據跑出來。一般是臨時性需求，不過當發現默默地演變成一個常規性需求時，最好直接封裝SP（存儲過程）了……每次跑一下方便省事。這項工作內容需要的技能點有：資料庫，SQL
(2)數據分析項目前中期：這個是耗時很長很麻煩的部分。前期是基礎數據的處理清洗，基礎匯總聚合，然後設計監測指標，指標的設計不僅僅是數學分析，更多需要跑業務需求方那邊了解，畢竟最終目的是要讓別人用，提升效率，不是為了凸顯模型高大上。所有需要的數據都有了之後，開始建立業務模型(數學模型)，整個建模的過程也是反復探索數據的過程，在一定數據量的情況下，初期的建模應用起來一定會這種問題那種問題balabala煩死人……以後邊應用邊調整優化。技能點：資料庫，SQL，excel，R語言，數理統計，數據挖掘，業務知識。
(3)兼職產品經理：業務模型完了後，就有了指標結果。把數據落地到資料庫中。然後接下來需要找開發幫你做可視化站點。作為數據分析師我是最了解這個項目 邏輯流程、核心演算法、業務應用的。找開發幫你做可視化站點：曲線圖啊 柱狀圖啊 餅圖啊 balabala 讓別人一眼就能看到指標的整體狀況。技能點：邏輯思維，流程規劃，數據可視化，一定的開發知識（方便和開發溝通），表達能力力和表情。
(4)模型和指標正式應用起來自後：收集業務部的反饋，不停的跟他們溝通郵件，不停地優化模型，數據表。以及給業務部一些特定需求的分析評估報告（臨時性需求）。技能點：邏輯思維，表達能力
(5)個人學習：有時候會遇到等待別人工作進度的情況，比如別人的上一批數據沒出來，你完全沒法工作。那就上網或者看書 學習知識。數理統計和數據挖掘博大精深，如何能應用得好，產生最高性價比更是一門學問啦。多了解些總是沒壞處的。
(6)大數據部分：涉及到」大數據「已經不是我個人工作內容部分了，而是整組的工作內容。具體需要有專門比較懂hadoop和spark的人負責在上面跑數據，寫最終實現代碼。我們組里的分工大概就是：數據分析師，數據工程師，（半個產品經理），有人身兼三種，有人只愛專精。技能點：無特定加點法則，團隊加點。

B. 如何對腳本進行加密

一：最簡單的加密解密
二：轉義字元"\"的妙用
三：使用Microsoft出品的腳本編碼器Script. Encoder來進行編碼 （自創簡單解碼）
四：任意添加NUL空字元（十六進制00H） （自創）
五：無用內容混亂以及換行空格TAB大法
六：自寫解密函數法
七：錯誤的利用 （自創）
在做網頁時（其實是網頁木馬呵呵），最讓人煩惱的是自己辛辛苦苦寫出來的客戶端IE運行的javaSCRIPT代碼常常被別人輕易的拷貝，實在讓自己的心裡有點不是滋味，要知道自己寫點東西也挺累的......^*^
我們清楚地認識到因為JAVASCRIPT代碼是在IE中解釋執行，要想絕對的保密是不可能的，我們要做的就是盡可能的增大拷貝者復制的難度，讓他知難而退（但願~!~），下面我結合自己這幾年來的實踐，及個人研究的心得，和大家一起來探討一下網頁中JAVASCRIPT代碼的加密解密技術。
以加密下面的JAVASCRIPT代碼為例：
alert("《黑客防線》");
一：最簡單的加密解密
大家對於JAVASCRIPT函數escape()和unescape()想必是比較了解啦（很多網頁加密在用它們），分別是編碼和解碼字元串，比如例子代碼用escape()函數加密後變為如下格式：
alert%28%22%u9ED1%u5BA2%u9632%u7EBF%22%29%3B
如何？還看的懂嗎？當然其中的ASCII字元"alert"並沒有被加密，如果願意我們可以寫點JAVASCRIPT代碼重新把它加密如下：
%61%6C%65%72%74%28%22%u9ED1%u5BA2%u9632%u7EBF%22%29%3B
呵呵！如何？這次是完全都加密了！
當然，這樣加密後的代碼是不能直接運行的，幸好還有eval(codeString)可用，這個函數的作用就是檢查JavaScript代碼並執行，必選項
codeString 參數是包含有效 JavaScript. 代碼的字元串值，加上上面的解碼unescape()，加密後的結果如下：
var code=unescape("%61%6C%65%72%74%28%22%u9ED1%u5BA2%u9632%u7EBF%22%29%3B");
eval(code)
是不是很簡單？不要高興，解密也就同樣的簡單，解密代碼都擺給別人啦（unescape()）！呵呵
二：轉義字元"\"的妙用
大家可能對轉義字元"\"不太熟悉，但對於JavaScript提供了一些特殊字元如：\n （換行）、 \r （回車）、\' （單引號
）等應該是有所了解的吧？其實"\"後面還可以跟八進制或十六進制的數字，如字元"a"則可以表示為："\141"或"\x61"（注意是小寫字元"x"），至於雙位元組字元如漢字"黑"則僅能用十六進製表示為"\u9ED1"（注意是小寫字元"u"），其中字元"u"表示是雙位元組字元，根據這個原理例子代碼則可以表示為：
八進制轉義字元串如下:
eval("\141\154\145\162\164\50\42\u9ED1\u5BA2\u9632\u7EBF\42\51\73")
十六進制轉義字元串如下:
eval("\x61\x6C\x65\x72\x74\x28\x22\u9ED1\u5BA2\u9632\u7EBF\x22\x29\x3B")
這次沒有了解碼函數，因為JavaScript執行時會自行轉換，同樣解碼也是很簡單如下：
alert("\x61\x6C\x65\x72\x74\x28\x22\u9ED1\u5BA2\u9632\u7EBF\x22\x29\x3B")
就會彈出對話框告訴你解密後的結果！三：使用Microsoft出品的腳本編碼器Script. Encoder來進行編碼
工具的使用就不多介紹啦！我是直接使用JavaScript調用控制項Scripting.Encoder完成的編碼！代碼如下：
var Senc=new ActiveXObject("Scripting.Encoder");
var code='\r\nalert("《黑客防線》");\r\n';
var Encode=Senc.EncodeScriptFile(".htm",code,0,"");
alert(Encode);
編碼後的結果如下：
#@~^FgAAAA==@#@&lsDD`J黑客防線r#p@#@&FgMAAA==^#~@
夠難看懂得吧？但相應的解密工具早已出來，而且連解密網頁都有！因為其解密網頁代碼過多，我就不多說拉！給大家介紹一下我獨創的解密代碼，如下：
function decode(){
#@~^FgAAAA==@#@&lsDD`J黑客防線r#p@#@&FgMAAA==^#~@
}
alert(decode.toString());
咋樣？夠簡單吧？它是原理是：編碼後的代碼運行前IE會先對其進行解碼，如果我們先把加密的代碼放入一個自定義函數如上面的decode()中，然後對自定義函數decode調用toString()方法，得到的將是解碼後的代碼！
如果你覺得這樣編碼得到的代碼LANGUAGE屬性是JScript.Encode，很容易讓人識破，那麼還有一個幾乎不為人知的window對象的方法execScript()，其原形為：
window.execScript( sExpression, sLanguage )
參數：
sExpression: 必選項。字元串(String)。要被執行的代碼。
sLanguage: 必選項。字元串(String)。指定執行的代碼的語言。默認值為 Microsoft JScript
使用時，前面的"window"可以省略不寫！
利用它我們可以很好的運行編碼後的JavaScript代碼，如下：
execScript("#@~^FgAAAA==@#@&lsDD`J黑客防線r#p@#@&FgMAAA==^#~@","JScript.Encode")
你可以利用方法二對其中的""號內的字元串再進行編碼，使得"JScript.Encode"以及編碼特徵碼"#@~^"不出現，效果會更好！
四：任意添加NUL空字元（十六進制00H）
一次偶然的實驗，使我發現在HTML網頁中任意位置添加任意個數的"空字元"，IE照樣會正常顯示其中的內容，並正常執行其中的JavaScript.
代碼，而添加的"空字元"我們在用一般的編輯器查看時，會顯示形如空格或黑塊，使得原碼很難看懂，如用記事本查看則"空字元"會變成"空格"，利用這個原理加密結果如下：（其中顯示的"空格"代表"空字元"）
a l er t (" 黑 客 防 線") ;
如何？是不是顯得亂七八糟的？如果不知道方法的人很難想到要去掉裡面的"空字元"（00H）的！
五：無用內容混亂以及換行空格TAB大法
在JAVASCRIPT代碼中我們可以加入大量的無用字元串或數字，以及無用代碼和注釋內容等等，使真正的有用代碼埋沒在其中，並把有用的代碼中能加入換行、空格、TAB的地方加入大量換行、空格、TAB，並可以把正常的字元串用"\"來進行換行，這樣就會使得代碼難以看懂！如我加密後的形式如下：
"xajgxsadffgds";1234567890
625623216;var $=0;alert//@$%%&*()(&(^%^
//cctv function//
(//hhsaasajx xc
/*
asjgdsgu*/
"黑\
\
客\
防線"//ashjgfgf
/*
@#%$^&%$96667r45fggbhytjty
*/
//window
)
;"#@$#%@#432hu";212351436
至少如果我看到這樣的代碼是不會有心思去分析它的，你哪？
六：自寫解密函數法
這個方法和一、二差不多，只不過是自己寫個函數對代碼進行解密，很多VBS病毒使用這種方法對自身進行加密，來防止特徵碼掃描！下面是我寫的一個簡單的加密解密函數，
加密代碼如下（詳細參照文件"加密.htm"）：
function compile(code)
{
var c=String.fromCharCode(code.charCodeAt(0)+code.length);
for(var i=1;i
運行得到加密結果為：
o%CD%D1%D7%E6%9CJ%u9EF3%uFA73%uF1D4%u14F1%u7EE1Kd
相應的加密後解密的代碼如下：
function uncompile(code)
{
code=unescape(code);
var c=String.fromCharCode(code.charCodeAt(0)-code.length);
for(var i=1;i
七：錯誤的利用
利用try{}catch(e){}結構對代碼進行測試解密，雖然這個想法很好（呵呵，誇誇自己），因為實用性不大，我僅給個例子
var a='alert("《黑客防線》");';
var c="";
for(var i=0;i
c+=String.fromCharCode(a.charCodeAt(i)^61);}
alert(c);
//上面的是加密代碼，當然如果真正使用這個方法時，不會把加密寫上的
//現在變數c就是加密後的代碼
//下面的函數t()先假設初始密碼為0，解密執行，
//遇到錯誤則把密碼加1，然後接著解密執行，直到正確運行
var d=c; //保存加密後的代碼
var b=0; //假定初始密碼為0
t();
function t(){
trycatch(e){
c="";
for(var i=0;i
c+=String.fromCharCode(d.charCodeAt(i)^b);}
b+=1;
t();
//setTimeout("t()",0);
}
}
大工告成了！

C. 如何讓腳本精靈最小化後有漂浮窗

如果你對按鍵精靈有點了解你就會看得明白這腳本了。 腳本全用按鍵自帶的插件。很方便。 已經全部寫上注釋了。 只要根據注釋埋寫一下內容就OK！ 有不懂的問我。QQ：841434329 腳本： ---------------------------- //下面這句是查找窗口類名(0)或...

-- 紫霞游戲平台為您解答

D. 產品經理日常使用的工具會有哪些

1、Axure RP（Rapid Prototyping）
Axure（讀音為Ack-Sure）無疑是目前最受關注的原型開發工具，其能通過組件的方式幫助網站或軟體設計師快速建立帶有注釋的原型（流程圖、線框圖），並憑借自定義可重用的元件、動態面板以及豐富的script能夠建立基本功能或頁面邏輯的動態演示文件。
Axure借鑒了office的界面，能夠讓用戶快速上手，並且提供了豐富的組件樣式修改，使得通過其能夠創建低保真、高保真甚至接近於實際效果的界面。然而最讓人稱道的是，Axure的豐富的腳本模式，可以通過點擊和選擇能夠快速完成界面元素的交互，如鏈接、state切換、動態變化等效果，使得Axure能夠生成十分接近於真實產品的原型。另一方面，Axure能夠導入其他人創建的元件庫，使得Axure能夠滿足絕大多數類型產品的設計。
但Axure仍然有一個讓人頭痛的問題：對於中文的支持不太友好。在小部分元件上輸入中午的時候，經常需要像碰運氣似的反復切換輸入法，破壞了咱們設計師的用戶體驗。
瑕不掩瑜，Axure仍然是交互設計師的首選原型工具。
2、Microsoft Office Visio
Visio在2000年被微軟收購，並在2002年成為office2003套件中的一個組件，最新版本是2007。Visio能夠獲得推薦的原因是因為Visio的適用性非常之廣，從網站界面、資料庫模型，到平面布置圖到工藝流程圖，Visio都提供了相應的元件庫和模板來進行快速創建。

相較Axure而言，Visio更適合於傳統行業的生產或流程設計，或者軟體及互聯網行業中的信息、數據和流程的說明，而不太適用於web界面。因為其的基於web的元件庫還是比較少，並且形式和結構也更類似於word中的圖形工具，因此在原型開發效率上都有所不足。
3、Balsamiq Mockups
這個基於Adobe AIR Runtime的工具實在是有讓人眼前一亮的感覺，手繪風格的元件樣式粗獷淋漓，能創建接近於紙上手繪的原型文件。其提供了豐富的手繪風格的web常用元件，包括常用的html控制項、以及一些組合控制項，如多媒體控制器、標簽頁、列表、Iphone界面元件等。
Mockups最值得贊賞之處在於其提供的多數組件都可定製外觀，對於中文的支持也不錯（選擇View > Use System Fonts）。
4、Mockflow
Mockflow和以上工具最大的不同在於Mockflow是一項基於Adobe Flex技術開發在線服務，提供了與Balsamiq Mockups基本相似的功能，甚至更豐富的組件，雖然其元件定製化不夠強大，但其提供的元件庫默認樣式卻非常適合用來做商業產品原型的搭建。有一個讓我愛不釋手的功能是模板，可以設置基於任何頁面的模板來進行新的頁面設計。
與其他模板工具相比，mockflow有一個非常特色的功能，基於web的存儲可以在任意電腦上聯機打開，同時可以其他人進行快速的分享，並收集在線反饋意見，非常適合虛擬團隊的原型設計交流。
雖然在線服務的基本帳號只能創建一個文件，但單個文件卻沒有限制頁數，因此也基本上足夠使用。
5、Pencil sketch
Pencil 是一款基於Firefox的擴展組件，安裝之後即可在Firefox的工具菜單中打開Pencil的繪圖面板。功能比較簡單，僅能用以日常簡單工作的輔助 說明。提供的默認元件都是基於軟體工程，因此更適合用於windows桌面程序的簡易界面搭建，或者是基本的頁面功能說明，並不適用於嚴肅的原型開發，但 好在體積小、又輕便，能夠方便將網頁中的元素直接拖到或者復制到當前的畫布中，這也是Pencil安裝在Firefox所帶來的便利之一吧。
更多工具...
在以上列舉的原型開發工具都是較為常用的，也是在國內的交互設計師們比較常討論的，但其實和Axure功能相似的軟體還有很多，下面也就一些簡單說明：
6、GUI Design Studio
這 是一款真的非常強大的原型製作工具，沒有在上面推薦的原因是因為我還沒有實際體驗過，但沖著這工程級的界面設計就沒有去嘗試的沖動，但是從官方網站的截圖 和視頻演示來看，這款軟體的操作模式和前面的原型工具大有不同。Axure之類多是基於頁面的原型設計，對於web網站盡管很實用，但是對於軟體界面的流 程設計卻略顯繁瑣。而GUI Design Studio卻另闢蹊徑，直接以建立元素與元素之間的關聯的方式來自動化的創建動作流程，而從視頻演示來看，這樣的確很大程度上提升了軟體界面原型搭建的 效率。
7、Prototype Composer
Serena 公司免費提供的原型開發工具，功能確實強大，提供了基於項目管理主要流程的產出物文檔模板、原型工具以及開發流程式控制制，這個軟體的開發理念非常好，用這一 款工具來滿足項目開發流程中各個環節的溝通和決策。但軟體的學習和使用成本比較高，要了解其中的全部功能，貌似需要花不少時間。另外軟體的效率和穩定性還 有待提高，試用的過程中多次出錯及停止響應。
8、Lucid Spec
由 Elegance科技推出的Lucid Spec是一款很類似Pencil的原型工具，僅僅是提供了更多控制項。不過Lucid Spec強調了生成干凈的說明文檔的功能，這可能是針對於多數原型工具的自動化生成規范的冗餘而言的，不過老實說Lucid Spec提供的原型界面太過簡陋，並且生成的說明文檔也未見優化有怎樣的提升。視頻介紹
9、Irise Professional Edition
Irise與其他原型工具相比其中一個特色在於提供了樣本數據的功能，這是類似於excel表的一個樣本資料庫，可以通過界面元素直接獲取樣本資料庫中的數據，這樣所生成的原型甚至可以使動態數據更新的。
10、Adobe Reader
Adobe reader？沒錯。其實理論上任何可以創建圖形和文本的工具都可以用來原型開發，因為原型本身就是對於業務邏輯和功能界面的模擬或模擬，因此有何理由不能使用PDF格式呢？BoxandArrow的這篇文章《PDF Prototype》提醒了我們，所有的原型工具都只是工具，而不是設計本身。

個人推薦:
原型
• Axure 7.0
• UIDesigner
思維
• Mindmanager
• Xmind
流程
• Visio 2013
• EDraw Max
知識
• 有道雲筆記
• 印象筆記
時間
• Todolist
• Worktile
圖形
• Photoshop
• Colorpix
交互
• 快現
• UIDesiger

E. 大數據行業的數據精準嗎

第一，用戶行為與特徵分析。顯然，只要積累足夠的用戶數據，就能分析出用戶的喜好與購買習慣，甚至做到「比用戶更了解用戶自己」。有了這一點，才是許多大數據營銷的前提與出發點。無論如何，那些過去將「一切以客戶為中心」作為口號的企業可以想想，過去你們真的能及時全面地了解客戶的需求與所想嗎？或許只有大數據時代這個問題的答案才更明確。

第二，精準營銷信息推送支撐。過去多少年了，精準營銷總在被許多公司提及，但是真正做到的少之又少，反而是垃圾信息泛濫。究其原因，主要就是過去名義上的精準營銷並不怎麼精準，因為其缺少用戶特徵數據支撐及詳細准確的分析。相對而言，現在的RTB廣告等應用則向我們展示了比以前更好的精準性，而其背後靠的即是大數據支撐。

第三，引導產品及營銷活動投用戶所好。如果能在產品生產之前了解潛在用戶的主要特徵，以及他們對產品的期待，那麼你的產品生產即可投其所好。例如，Netflix在近投拍《紙牌屋》之前，即通過大數據分析知道了潛在觀眾最喜歡的導演與演員，結果果然捕獲了觀眾的心。又比如，《小時代》在預告片投放後，即從微博上通過大數據分析得知其電影的主要觀眾群為90後女性，因此後續的營銷活動則主要針對這些人群展開。

第四，競爭對手監測與品牌傳播。競爭對手在干什麼是許多企業想了解的，即使對方不會告訴你，但你卻可以通過大數據監測分析得知。品牌傳播的有效性亦可通過大數據分析找准方向。例如，可以進行傳播趨勢分析、內容特徵分析、互動用戶分析、正負情緒分類、口碑品類分析、產品屬性分布等，可以通過監測掌握競爭對手傳播態勢，並可以參考行業標桿用戶策劃，根據用戶聲音策劃內容，甚至可以評估微博矩陣運營效果。

第五，品牌危機監測及管理支持。新媒體時代，品牌危機使許多企業談虎色變，然而大數據可以讓企業提前有所洞悉。在危機爆發過程中，最需要的是跟蹤危機傳播趨勢，識別重要參與人員，方便快速應對。大數據可以採集負面定義內容，及時啟動危機跟蹤和報警，按照人群社會屬性分析，聚類事件過程中的觀點，識別關鍵人物及傳播路徑，進而可以保護企業、產品的聲譽，抓住源頭和關鍵節點，快速有效地處理危機。

第六，企業重點客戶篩選。許多企業家糾結的事是：在企業的用戶、好友與粉絲中，哪些是最有價值的用戶？有了大數據，或許這一切都可以更加有事實支撐。從用戶訪問的各種網站可判斷其最近關心的東西是否與你的企業相關；從用戶在社會化媒體上所發布的各類內容及與他人互動的內容中，可以找出千絲萬縷的信息，利用某種規則關聯及綜合起來，就可以幫助企業篩選重點的目標用戶。

第七，大數據用於改善用戶體驗。要改善用戶體驗，關鍵在於真正了解用戶及他們所使用的你的產品的狀況，做最適時的提醒。例如，在大數據時代或許你正駕駛的汽車可提前救你一命。只要通過遍布全車的感測器收集車輛運行信息，在你的汽車關鍵部件發生問題之前，就會提前向你或4S店預警，這決不僅僅是節省金錢，而且對保護生命大有裨益。事實上，美國的UPS快遞公司早在2000年就利用這種基於大數據的預測性分析系統來檢測全美60000輛車輛的實時車況，以便及時地進行防禦性修理

第八，SCRM中的客戶分級管理支持。面對日新月異的新媒體，許多企業想通過對粉絲的公開內容和互動記錄分析，將粉絲轉化為潛在用戶，激活社會化資產價值，並對潛在用戶進行多個維度的畫像。大數據可以分析活躍粉絲的互動內容，設定消費者畫像各種規則，關聯潛在用戶與會員數據，關聯潛在用戶與客服數據，篩選目標群體做精準營銷，進而可以使傳統客戶關系管理結合社會化數據，豐富用戶不同維度的標簽，並可動態更新消費者生命周期數據，保持信息新鮮有效。

第九，發現新市場與新趨勢。基於大數據的分析與預測，對於企業家提供洞察新市場與把握經濟走向都是極大的支持。例如，阿里巴巴從大量交易數據中更早地發現了國際金融危機的到來。又如，在2012年美國總統選舉中，微軟研究院的David Rothschild就曾使用大數據模型，准確預測了美國50個州和哥倫比亞特區共計51個選區中50個地區的選舉結果，准確性高於98%。之後，他又通過大數據分析，對第85屆屆奧斯卡各獎項的歸屬進行了預測，除最佳導演外，其它各項獎預測全部命中。

第十，市場預測與決策分析支持。對於數據對市場預測及決策分析的支持，過去早就在數據分析與數據挖掘盛行的年代被提出過。沃爾瑪著名的「啤酒與尿布」案例即是那時的傑作。只是由於大數據時代上述Volume（規模大）及Variety（類型多）對數據分析與數據挖掘提出了新要求。更全面、速度更及時的大數據，必然對市場預測及決策分析進一步上台階提供更好的支撐。要知道，似是而非或錯誤的、過時的數據對決策者而言簡直就是災難。

F. 數據分析師的要求

首先以下是成為一名數據分析師所需要學習掌握的知識，作為數據分析師，每個公司的要求都不一樣，但是掌握這些知識才會讓你更好的成為數據分析師，也可以在公司游刃有餘。

• 數學知識

對於初級數據分析師來說，則需要了解統計相關的基礎性內容，公式計算，統計模型等。當你獲得一份數據集時，需要先進行了解數據集的質量，進行描述統計。

而對於高級數據分析師，必須具備統計模型的能力，線性代數也要有一定的了解。

• 分析工具

對於分析工具，SQL 是必須會的，還有要熟悉Excel數據透視表和公式的使用，另外，還要學會一個統計分析工具，SAS作為入門是比較好的，VBA 基本必備，SPSS/SAS/R 至少要熟練使用其中之一，其他分析工具（如 Matlab）可以視情況而定。

• 編程語言

數據分析領域最熱門的兩大語言是 R 和 Python。涉及各類統計函數和工具的調用，R無疑有優勢。但是大數據量的處理力不足，學習曲線比較陡峭。Python 適用性強，可以將分析的過程腳本化。所以，如果你想在這一領域有所發展，學習 Python 也是相當有必要的。

當然其他編程語言也是需要掌握的。要有獨立把數據化為己用的能力, 這其中SQL 是最基本的，你必須會用 SQL 查詢數據、會快速寫程序分析數據。當然，編程技術不需要達到軟體工程師的水平。要想更深入的分析問題你可能還會用到：Exploratory analysis skills、Optimization、Simulation、Machine Learning、Data Mining、Modeling 等。

• 業務理解

對業務的理解是數據分析師工作的基礎，數據的獲取方案、指標的選取、還有最終結論的洞察，都依賴於數據分析師對業務本身的理解。

對於初級數據分析師，主要工作是提取數據和做一些簡單圖表，以及少量的洞察結論，擁有對業務的基本了解就可以。對於高級數據分析師，需要對業務有較為深入的了解，能夠基於數據，提煉出有效觀點，對實際業務能有所幫助。對於數據挖掘工程師，對業務有基本了解就可以，重點還是需要放在發揮自己的技術能力上。

• 邏輯思維

對於初級數據分析師，邏輯思維主要體現在數據分析過程中每一步都有目的性，知道自己需要用什麼樣的手段，達到什麼樣的目標。對於高級數據分析師，邏輯思維主要體現在搭建完整有效的分析框架，了解分析對象之間的關聯關系，清楚每一個指標變化的前因後果，會給業務帶來的影響。對於數據挖掘工程師，羅輯思維除了體現在和業務相關的分析工作上，還包括演算法邏輯，程序邏輯等，所以對邏輯思維的要求也是最高的。

• 數據可視化

數據可視化主要藉助於圖形化手段，清晰有效地傳達與溝通信息。聽起來很高大上，其實包括的范圍很廣，做個 PPT 里邊放上數據圖表也可以算是數據可視化。

對於初級數據分析師，能用 Excel 和 PPT 做出基本的圖表和報告，能清楚地展示數據，就達到目標了。對於稍高級的數據分析師，需要使用更有效的數據分析工具，根據實際需求做出或簡單或復雜，但適合受眾觀看的數據可視化內容。

• 協調溝通

數據分析師不僅需要具備破譯數據的能力，也經常被要求向項目經理和部門主管提供有關某些數據點的建議，所以，你需要有較強的交流能力。

對於高級數據分析師，需要開始獨立帶項目，或者和產品做一些合作，因此除了溝通能力以外，還需要一些項目協調能力。

G. 學大數據有哪些就業方向

大數據領域崗位類別大致分為兩類：技術類崗位：技術類崗位主要是圍繞大數據平台框架進行系統開發應用類崗位：應用類崗位主要專注於用大數據去解決一些業務問題，需要學會如何對數據進行分析和挖掘，如何找到數據中蘊含的業務規律和特徵以支撐業務決策。大數據領域四大崗位職責和崗位要求一、大數據分析師崗位職責：1.從數據分析和數據挖掘角度為業務改進和提升提供建議2.構建數據產品，負責各類演算法的開發、應用、監控優化，保證數據產品的實用性及可衡量性3.開展數據挖掘分析演算法、工具研究工作，研發創新方法解決業務問題崗位要求：第一、對行為分析感興趣，喜歡從數據中發現規律第二、熟悉掌握R、Python等編程語言第三、熟練使用SAS、SPSS等建模工具第四、較強的需求分析、數據建模以及IT架構設計能力，能夠完成單個業務領域的IT架構設計工作，有大中型項目IT架構、IT方案設計方面的成功經驗優先二、數據管理專家崗位職責：1.研究大數據及數據管理領域業務發展趨勢和商業創新模式，進行大數據及數據管理領域的研究與規劃，進行業務創新和業務拓展2.獨立或指導團隊成員將銀行的需求轉化為系統可實施業務需求，根據搜集與定義的客戶業務目標、業務規則、業務流程，將獲得的需求清晰、准確的形成業務需求說明書，並完成與客戶的確認過程3.牽頭與業務部門對接業務需求，分析業務需求實施方式及實施方案，在業務架構、應用架構、開發中心等團隊的支持下，牽頭或指導團隊成員編寫立項材料，推動項目立項工作4.在項目實施階段，針對業務需求，牽頭或指導團隊成員配合設計人員、開發人員、測試人員進行系統設計、用例編寫、集成測試等工作崗位要求：第一、對數字敏感，邏輯思維強，具有較強的語言表達和人際溝通能力第二、要有數據分析或用戶研究的工作經驗第三、熟悉SAS、SPSS等至少一種統計分析軟體第四、熟悉 SQL，數據挖掘的常用演算法第五、 擁有海量數據處理和挖掘經驗者優先。三、大數據演算法工程師崗位職責：1．深入理解B端業務，准確分析問題，研發適合的演算法與策略，不斷優化演算法效果和性能2．熟悉濾波演算法及隨機過程，使用不同演算法對時序數據分析建模3．學習時序、NLP領域的先進技術並開展相關研發工作崗位要求：第一、熟悉時間序列和機器學習的理論基礎，有海量數據挖掘研發經驗優先第二、精通數理統計，數據邏輯清晰，溝通能力強，業務理解能力強第三、具有優秀的編程能力，精通Python等常用腳本語言第四、 責任心強有良好的溝通能力和團隊合作能力四、數據產品經理崗位職責：1.負責發布系統的數據規劃、數據梳理、埋點等工作，提供完整的數據產品能力2.確立指標，搭建評估體系，全面衡量發布相關的情況，發現並歸因問題3.數據驅動，通過數據分析和挖掘等手段，輔助各平台策略優化和迭代4.參與數據相關產品的搭建，為產品質量和體驗負責崗位要求：第一、有數據體系或數據產品的搭建的經驗第二、優秀的邏輯思維，對數據敏感，較好的溝通能力，具備發現並解決問題的能力第三、 自驅力強，性格堅韌，能快速成長

H. 對網站的pv進行數據統計數據的來源是網站伺服器的log日誌嗎

網站的統計數據來源於伺服器的log日誌？

這個問題，牽扯太多，我整理下思路說下吧。（關於技術的發展史，是需要很長的一個篇幅了，由於我現在沒有整理好...所以呢先發下面的）

0.簡要回答

首先，網站的統計數據一部分是來源於 靜態伺服器的log做日誌分析的，但它是原始方法，為什麼說是原始方法呢，因為日誌分析局限性很多，而且由於互聯網信息化的高速發展，多樣化的需求統計的出現，導致日誌做分析很難去實現特定的統計，再加上大數據的推波助瀾，讓我們可以相對容易的處理海量數據；

1. 網站統計架構的發展簡單史;

從而發展到現在，一般前端(PC、手機、小程序等)統計使用埋點去統計數據，後端使用 主流的大數據集群架構 來實現 數據的統計、處理、篩選、歸類等，再加上web框架的展示層做大數據可視化屏幕、前端展現， 中間加上 各種中間件做潤滑；(介紹大數據架構也是需要單獨的篇幅來說明的，結構如下，這個架構稱之為lambda+架構 經典架構)

2、網站統計的經典架構

目前也有一些新型架構的出現了Kappa之類；本片不做延展了.

5、數據收集腳本執行

數據收集腳本（ga.js）被請求後會被執行，這個腳本一般要做如下幾件事：

1、通過瀏覽器內置javascript對象收集信息，如頁面title（通過document.title）、referrer（上一跳url，通過document.referrer）、用戶顯示器解析度（通過windows.screen）、cookie信息（通過document.cookie）等等一些信息。

2、解析_gaq收集配置信息。這裡面可能會包括用戶自定義的事件跟蹤、業務數據（如電子商務網站的商品編號等）等。

3、將上面兩步收集的數據按預定義格式解析並拼接。

4、請求一個後端腳本，將信息放在http request參數中攜帶給後端腳本。

6、後端執行數據收集、清洗、篩選、處理等 生成需求數據(也就是我們要看的數據);

下面有個表 就是 一般收集時候的基本數據;

名稱 途徑 備注

訪問時間 web server Nginx $msec

IP web server Nginx $remote_addr

域名 javascript document.domain

URL javascript document.URL

頁面標題 javascript document.title

解析度 javascript window.screen.height & width

顏色深度 javascript window.screen.colorDepth

Referrer javascript document.referrer

瀏覽客戶端 web server Nginx $http_user_agent

客戶端語言 javascript navigator.language

訪客標識 cookie

網站標識 javascript 自定義對象

業務特徵值我們自有業務的特殊需求.

後端的處理流程，由最開始的 大數據統計架構 已經展示了。

好了 整體 介紹了個大概， 具體的話 就是需要詳細闡述 大數據統計架構的介紹了...

我整理完會發布關於 大數據統計架構.

但是現在 應該很少人需要自己去處理 這么龐大而復雜的架構了，一般選擇都使用 現有的

網路統計、友盟統計、諸葛io、神策、極光、Growingio 等。

I. 數據處理方式

什麼是大數據：大數據（big data），指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

大數據的5V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性），網路隨便找找都有。

大數據處理流程：

1.是數據採集,搭建數據倉庫，數據採集就是把數據通過前端埋點，介面日誌調用流數據，資料庫抓取，客戶自己上傳數據，把這些信息基礎數據把各種維度保存起來，感覺有些數據沒用（剛開始做只想著功能，有些數據沒採集， 後來被老大訓了一頓）。

2.數據清洗/預處理：就是把收到數據簡單處理，比如把ip轉換成地址，過濾掉臟數據等。

3.有了數據之後就可以對數據進行加工處理，數據處理的方式很多，總體分為離線處理，實時處理，離線處理就是每天定時處理，常用的有阿里的maxComputer,hive,MapRece,離線處理主要用storm,spark,hadoop,通過一些數據處理框架，可以吧數據計算成各種KPI,在這里需要注意一下，不要只想著功能，主要是把各種數據維度建起來，基本數據做全，還要可復用，後期就可以把各種kpi隨意組合展示出來。

4.數據展現，數據做出來沒用，要可視化，做到MVP，就是快速做出來一個效果，不合適及時調整，這點有點類似於Scrum敏捷開發，數據展示的可以用datav，神策等，前端好的可以忽略，自己來畫頁面。

數據採集：

1.批數據採集，就是每天定時去資料庫抓取數據快照，我們用的maxComputer，可以根據需求，設置每天去資料庫備份一次快照，如何備份，如何設置數據源，如何設置出錯，在maxComputer都有文檔介紹，使用maxComputer需要注冊阿里雲服務

2.實時介面調用數據採集，可以用logHub,dataHub,流數據處理技術,DataHub具有高可用，低延遲，高可擴展，高吞吐的特點。

高吞吐：最高支持單主題（Topic）每日T級別的數據量寫入，每個分片（Shard）支持最高每日8000萬Record級別的寫入量。

實時性：通過DataHub ，您可以實時的收集各種方式生成的數據並進行實時的處理，

設計思路：首先寫一個sdk把公司所有後台服務調用介面調用情況記錄下來，開辟線程池，把記錄下來的數據不停的往dataHub,logHub存儲，前提是設置好接收數據的dataHub表結構

3.前台數據埋點，這些就要根據業務需求來設置了，也是通過流數據傳輸到數據倉庫，如上述第二步。

數據處理：

數據採集完成就可以對數據進行加工處理，可分為離線批處理，實時處理。

1.離線批處理maxComputer，這是阿里提供的一項大數據處理服務，是一種快速，完全託管的TB/PB級數據倉庫解決方案，編寫數據處理腳本，設置任務執行時間，任務執行條件，就可以按照你的要求，每天產生你需要數據

2.實時處理：採用storm/spark,目前接觸的只有storm,strom基本概念網上一大把，在這里講一下大概處理過程，首先設置要讀取得數據源，只要啟動storm就會不停息的讀取數據源。Spout，用來讀取數據。Tuple：一次消息傳遞的基本單元，理解為一組消息就是一個Tuple。stream,用來傳輸流，Tuple的集合。Bolt：接受數據然後執行處理的組件,用戶可以在其中執行自己想要的操作。可以在里邊寫業務邏輯，storm不會保存結果，需要自己寫代碼保存，把這些合並起來就是一個拓撲，總體來說就是把拓撲提交到伺服器啟動後，他會不停讀取數據源，然後通過stream把數據流動，通過自己寫的Bolt代碼進行數據處理，然後保存到任意地方，關於如何安裝部署storm，如何設置數據源，網上都有教程，這里不多說。

數據展現：做了上述那麼多，終於可以直觀的展示了，由於前端技術不行，借用了第三方展示平台datav,datav支持兩種數據讀取模式，第一種，直接讀取資料庫，把你計算好的數據，通過sql查出，需要配置數據源，讀取數據之後按照給定的格式，進行格式化就可以展現出來

@jiaoready @jiaoready 第二種採用介面的形式，可以直接採用api，在數據區域配置為api，填寫介面地址，需要的參數即可，這里就不多說了。