編譯原理lda

① 計算機是有許多邏輯門電路和一些電子元件組成的，不同硬體組成的計算機有不同的指令集，這一指令集可以用

理解有問題啊。
「比如，下面這些數字就是存放在內存中的8086指令B8 3F 00 01 C3 01 C1」，其中「B8 3F 00 01 C3 01 C1」就已經是機器語言了，之所以用十六進制而不是二進制，只是一個表達方便的問題，在存儲器中，肯定是二進制的。
當你用高級語言寫好程序後，然後用編譯器（編譯原理比較高深，主要就是一個源代碼識別和源代碼-高級語言與低級代碼之間的轉換，最終的低級代碼就是機器語言，究竟一條二進制機器碼代表什麼由硬體設計決定。基本可以說寫一個XX編譯器，就算誕生了XX語言）與鏈接器翻譯成可執行文件（所謂文件，就是有一定的格式，因此它並非所有的內容都是二進制指令了。不過，這個自有操作系統能夠識別出哪些是指令）。運行可執行文件的時候，操作系統根據自己的機制，載入數據到內存。其中的指令，當被送入指令寄存器的時候，由硬體分解（翻譯）指令，生成執行這個指令所應該有的所有電信號（這是硬體設計決定的，建議去了解一下時序電路）。當然，操作系統的所有動作，歸根結底還是硬體實現的，這個你得了解計算機的硬體與軟體究竟是如何結合的。
建議你看看《計算機原理》、《計算機介面技術》（或者51單片機原理）、《數字電路》（了解一下時序電路，這是計算機硬體實現的關鍵）、《脈沖電路》（僅僅了解一下觸發器、門電路即可，有助於對打破砂鍋問到底者的滿足）、《操作系統原理》（關鍵點是了解軟硬在那一剎那是如何結合的。這里很有哲學之美。），要深刻理解軟硬的結合，還建議你了解PE結構、學習反匯編、手工匯編，《深入理解計算機系統》這書不錯。

② 數據挖掘主要涉及到哪些方面的知識

與數據挖掘相關的內容包括資料庫、數據倉庫、機器學習、信息檢索。
學習數據挖掘基礎：資料庫理論、數學基礎（包括數理統計、概率、圖論等）、熟練掌握一種編程語言（java，python）、會使用數據挖掘工具軟體（weka、matlab、spss）
數據挖掘的內容包括分類、關聯分析、聚類和異常檢測等幾個方面

③ 人工智慧學什麼

作為一名計算機專業的教育工作者，我來回答一下這個問題。

首先，人工智慧專業屬於計算機大類專業之一，雖然是新興專業，但是由於當前人工智慧領域的發展前景比較廣闊，同時一系列人工智慧技術也進入到了落地應用的階段，所以當前人工智慧專業也是熱點專業之一。

人工智慧專業有三個特點，其一是多學科交叉，涉及到計算機、數學、控制學、經濟學、神經學、語言學等諸多學科，因此整體的知識量還是比較大的，其二是學習難度較大，人工智慧本身的知識體系尚處在完善當中，很多領域還有待突破，其三是實踐場景要求高。

基於這三個特點，要想在本科階段有較好的學習效果，要有針對性的解決方案。針對於多學科交叉的情況，在大一期間一定要多做加法，尤其要重視編程語言的學習，基於編程語言來打開計算機技術大門，進而學習機器學習，而機器學習則被稱為是打開人工智慧技術大門的鑰匙。

其三是要重視為自己營造一個較好的交流和實踐場景，這對於學習效果有較大的影響，建議在大一、大二期間積極參加人工智慧相關的課題組。在選擇課題組的時候，要考慮到自己的興趣愛好、課題周期、實踐資源等因素，從這個角度來看，學校的科研資源對於人工智慧專業的同學有較大的影響。

如果有互聯網、大數據、人工智慧等方面的問題，或者是考研方面的問題，都可以私信我！

很榮幸曾經參加過一次江蘇省人工智慧論壇，論壇上認真聆聽了行業大佬周志華教授的報告，受益匪淺，首先呢，如果你是在校大學生，想要以後從事人工智慧專業相關工作，我這里給你分享下 南京大學人工智慧學院院長周志華教授 曾經在論壇上分享的南京大學人工智慧專業本科生教育培養大綱的相關課程。

首先是基礎數學部分：

數學分析、高等數學、高等代數、概率論與數理統計、最優化方法、數理邏輯。

其次是學科基礎課程：

人工智慧導引、數據結構與演算法分析、程序設計基礎、人工智慧程序設計、機器學習導論、知識表示與處理、模式識別與計算機視覺、自然語言處理、數字系統設計基礎、操作系統。

專業方向課程：

泛函分析、數字信號處理、高級機器學習、計算方法、控制理論方法、機器人學導論、多智能體系統、分布式與並行計算。

專業選修課課程：

數學建模、矩陣計算、隨機過程、組合數學。博弈論及其應用、時間序列分析、編譯原理、隨機演算法、資料庫概論。

這是南京大學人工智慧學院本科生四年的課程安排，看起來課程非常多，但這是一個培養體系，現在國內只有南京大學針對人工智慧專業開設了如此系統的培養方案，專業涉及人工智慧的各個領域方向。學生可以根據自己的興趣愛好，選擇想要學習的領域方向。

如果你已經畢業，想要轉行從事人工智慧行業，那麼下面這套課程可能比較適合你：

1.莫煩python教程（網路可搜）： 莫煩python有很多專欄，可以學習到python基礎、以及人工智慧相關的軟體框架教程，包括相關人工智慧相關的一些實戰小項目。

2.吳恩達機器學習（網易雲課堂）： 人工智慧機器學習理論部分，非常適合零基礎的小白學習

3.吳恩達卷積神經網路（網易雲課堂）： 人工智慧深度學習理論部分，非常適合零基礎的小白學習

4.李飛飛CS231n（網易雲課堂）： 人工智慧深度學習和機器學習理論，適合有一定基礎的學習者。

5.吳恩達cs229（blibli）： 人工智慧深度學習和機器學習理論，適合有一定基礎的學習者。

這些基礎課程學會了，可能就算是跨入了半個門檻，當然面試的時候還欠缺實戰經驗，於是你可以去kaggle或者天池參加一些比賽，有了這些比賽經驗，簡歷上也算是多了一塊實戰經驗，增加了你的面試成功率。最後，不要參加什麼培訓機構區培訓，既花錢又學不到什麼東西，最後畢業還會給你簡歷造假，得不償失，我給你推薦的這些課程絕對比市面上99.99%的培訓機構課程靠譜！

接下來文章會側重在以下幾方面

1、零基礎如何進行人工智慧的自學（以找工作為目的），包括路徑規劃，怎麼學等等。

2、我的個人感悟，關於轉行、工作、創業、希望能給大家一些啟發。

3、好的學習資源分享

先說一下個人背景，一本，經濟學畢業，上學時從未學過編程。我這里指的零基礎指的是，沒有編程基礎、沒有數學基礎（數學需要一些基本的，如果沒有，後續也會幫助大家的）。

剛畢業第一年時，迷茫，不知道做什麼。

第一階段：邊工作邊自學爬蟲，失敗

畢業一年後，覺得編程可能是自己想要的，所以開始自學編程。

最開始學的是爬蟲，python語言。每天學6個小時，一周五到六天。學了4個月後，去面了五六家企業，沒有成功。原因是爬蟲的知識夠，可是計算機的基礎太薄弱。什麼演算法、計算機網路這些，統統沒學。因為我當時是完全自學，沒有人帶，導致我也不知道要學這些。第一階段，失敗，說實話，有點氣餒，那可是每天沒日沒夜的學習啊，最後卻換來一場空。可是生活還得繼續，怨天尤人有什麼用。

第二階段：邊工作邊自學人工智慧，成功

面試失敗後，考慮了要把編程基礎學一下再去面試，還是學點別的。我的決定是學人工智慧，當時對這個比較感興趣。好了，又是學了半年多，每天學6個小時，一周6天。從機器學習學到深度學習再學回機器學習。面試，成功地去公司從事機器學習深度學習方面的基礎工作。不過實力肯定沒有那些編程出身，數學、統計出身的人強，所以很多時候也是邊學邊做，打打雜。

其實我說的很簡單很輕松的樣子，但其中的艱辛只有自己是最清楚。所以我很希望通過我未來經驗學習的分享，幫助大家少走一些彎路。

第三階段：自己干

現在，已從公司辭職，自己開發網站，做社群，開網店。就是覺得，其實編程也只是我的一個工具，這個人就是比較喜歡自己做點事情，編程挺累的，哈哈哈。如果大家有什麼合作的好點子，也歡迎隨時來找我哦。

十問十答：

1、零基礎轉行學編程可以嗎？可以，要做好吃苦的准備。學習是個漫長的過程，你上班的話，能否保證一定時間的學習呢，這個是你要問自己的。我也是邊工作邊學習，不同的是，我工作很清閑，所以我基本可以在上班時間學習。如果你還在上學，恭喜你這是你最好的機會了。

2、該自學還是去培訓班？我覺得自學就夠了，培訓班真是又貴又水。這是我進過培訓班的朋友告訴我的。其實你工作之後會發現，很多東西都是要自學的。如果你連自學都沒辦法自學的話，你又怎麼能工作。而且，自學的效率會更高，當然前提是路徑不能錯。

3、轉行編程，就業率怎麼樣？說實話，如果你不是編程出身的，要轉行編程其實是比較難的，畢竟人家4年的正統學習不是白學的。但這不意味著就沒辦法。找准目標，規劃好路徑，學習最必要的知識，這樣就有機會。但是，請做好學完仍找不到工作的心理准備。

4、最理想的自學環境是怎麼樣的？清晰的學習路徑+自學+交流討論的環境+有人指導

5、人工智慧零基礎可以學嗎？可以，但是比一般轉行編程的要難，因為要自學的東西更多，要求的門檻也會更高。這個後續會著重講到。

6、學人工智慧需要數學嗎？不要因為數學而望而切步，數學是需要的，但沒有要求的高不可攀，通過必要的學習，是可以達到入門水準的。

7、以前沒接觸過編程，怎麼辦？可以學習python，這真的是一門對零基礎的人來說很友好的語言了，其他的我不懂。

8、一般轉行編程的周期要多久？按我跟我周邊朋友的經驗來看。一周5-6天，一天6小時學習時間，4-7個月，這應該是比較正常的。

9、我是怎麼堅持下來的？期間有很多次想要放棄，有的時候是真的看不懂，也沒人教，純自學，安裝個工具有什麼時候就要安裝半天，不多說，都是淚啊。你的慾望有多強烈，就能有多堅持。

10、現在學編程還來得及嗎？永遠都來得及，學編程不一定是為了好工作，它更是一個全新的世界，你會發現很多對自己有幫助的東西。就算以後你不做這個，我相信這個學習的過程也會有所收獲。

這是我之後會寫的文章的大概目錄，大家可以參考一下。

以下系列是暫定的，一篇文章可能會寫成好幾篇。這個系列不僅僅以學習為目的，目的是為了達到機器學習的工作入門標准。並不簡單，但努力就有可能。網上的教程我看了很多，路徑大部分都沒有錯。只是我覺得第一，太貴，明明網上有很多免費的更好的資源。第二，練習的量遠遠不夠達到能去找工作的標准。

目錄：

零基礎自學人工智慧系列（1）：機器學習的最佳學習路徑規劃（親身經驗）

零基礎自學人工智慧系列（2）：機器學習的知識准備（數學與python，附學習資源）

零基礎自學人工智慧系列（3）：機器學習的知識准備（數學篇詳解）

零基礎自學人工智慧系列（4）：機器學習的知識准備（python篇詳解）

零基礎自學人工智慧系列（5）：機器學習的理論學習規劃（附資源）

零基礎自學人工智慧系列（6）：深度學習的理論學習規劃（附資源）

零基礎自學人工智慧系列（7）：機器學習的實戰操作（附資源和代碼）

零基礎自學人工智慧系列（8）：深度學習的實戰操作（附資源和代碼）

零基礎自學人工智慧系列（9）：找工作篇，需加強的部分（類似數據結構與演算法）

最後，我希望我能給大家樹立一些信心。不管你現在處於什麼水平，只要肯努力，什麼都有可能的。

首先我們需要一定的數學基礎，如：高數、線性代數、概率論、統計學等等。很多人可能要問，我學習人工智慧為什麼要有數學基礎呢？二者看似毫不相干，實則不然。線性代數能讓我們了解如何將研究對象形象化，概率論能讓我們懂得如何描述統計規律，此外還有許多其他數學科目，這些數學基礎能讓我們在學習人工智慧的時候事半功倍。

1、學習並掌握一些數學知識

高等數學是基礎中的基礎，一切理工科都需要這個打底，數據挖掘、人工智慧、模式識別此類跟數據打交道的又尤其需要多元微積分運算基礎

線性代數很重要，一般來說線性模型是你最先要考慮的模型，加上很可能要處理多維數據，你需要用線性代數來簡潔清晰的描述問題，為分析求解奠定基礎

概率論、數理統計、隨機過程更是少不了，涉及數據的問題，不確定性幾乎是不可避免的，引入隨機變數順理成章，相關理論、方法、模型非常豐富。很多機器學習的演算法都是建立在概率論和統計學的基礎上的，比如貝葉斯分類器、高斯隱馬爾可夫鏈。

再就是優化理論與演算法，除非你的問題是像二元一次方程求根那樣有現成的公式，否則你將不得不面對各種看起來無解但是要解的問題，優化將是你的GPS為你指路

有以上這些知識打底，就可以開拔了，針對具體應用再補充相關的知識與理論，比如說一些我覺得有幫助的是數值計算、圖論、拓撲，更理論一點的還有實/復分析、測度論，偏工程類一點的還有信號處理、數據結構。

2、掌握經典機器學習理論和演算法

如果有時間可以為自己建立一個機器學習的知識圖譜，並爭取掌握每一個經典的機器學習理論和演算法，我簡單地總結如下：

1) 回歸演算法：常見的回歸演算法包括最小二乘法（OrdinaryLeast Square），邏輯回歸（Logistic Regression），逐步式回歸（Stepwise Regression），多元自適應回歸樣條（MultivariateAdaptive Regression Splines）以及本地散點平滑估計（Locally Estimated Scatterplot Smoothing）；

2) 基於實例的演算法：常見的演算法包括 k-Nearest Neighbor(KNN), 學習矢量量化（Learning Vector Quantization， LVQ），以及自組織映射演算法（Self-Organizing Map ， SOM）；

3) 基於正則化方法：常見的演算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO），以及彈性網路（Elastic Net）；

4) 決策樹學習：常見的演算法包括：分類及回歸樹（ClassificationAnd Regression Tree， CART）， ID3 (Iterative Dichotomiser 3)， C4.5， Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 隨機森林（Random Forest）， 多元自適應回歸樣條（MARS）以及梯度推進機（Gradient Boosting Machine， GBM）；

5) 基於貝葉斯方法：常見演算法包括：樸素貝葉斯演算法，平均單依賴估計（AveragedOne-Dependence Estimators， AODE），以及Bayesian Belief Network（BBN）；

6) 基於核的演算法：常見的演算法包括支持向量機（SupportVector Machine， SVM）， 徑向基函數（Radial Basis Function ，RBF)， 以及線性判別分析（Linear Discriminate Analysis ，LDA)等；

7) 聚類演算法：常見的聚類演算法包括 k-Means演算法以及期望最大化演算法（Expectation Maximization， EM）；

8) 基於關聯規則學習：常見演算法包括 Apriori演算法和Eclat演算法等；

9) 人工神經網路：重要的人工神經網路演算法包括：感知器神經網路（PerceptronNeural Network）, 反向傳遞（Back Propagation）， Hopfield網路，自組織映射（Self-OrganizingMap, SOM）。學習矢量量化（Learning Vector Quantization， LVQ）；

10) 深度學習：常見的深度學習演算法包括：受限波爾茲曼機（RestrictedBoltzmann Machine， RBN）， Deep Belief Networks（DBN），卷積網路（Convolutional Network）, 堆棧式自動編碼器（Stacked Auto-encoders）；

11) 降低維度的演算法：常見的演算法包括主成份分析（PrincipleComponent Analysis， PCA），偏最小二乘回歸（Partial Least Square Regression，PLS）， Sammon映射，多維尺度（Multi-Dimensional Scaling, MDS）, 投影追蹤（ProjectionPursuit）等；

12) 集成演算法：常見的演算法包括：Boosting， Bootstrapped Aggregation（Bagging），AdaBoost，堆疊泛化（Stacked Generalization， Blending），梯度推進機（GradientBoosting Machine, GBM），隨機森林（Random Forest）。

3、掌握一種編程工具，比如Python

一方面Python是腳本語言，簡便，拿個記事本就能寫，寫完拿控制台就能跑；另外，Python非常高效，效率比java、r、matlab高。matlab雖然包也多，但是效率是這四個裡面最低的。

4、了解行業最新動態和研究成果，比如各大牛的經典論文、博客、讀書筆記、微博微信等媒體資訊。

5、買一個GPU，找一個開源框架，自己多動手訓練深度神經網路，多動手寫寫代碼，多做一些與人工智慧相關的項目。

6、選擇自己感興趣或者工作相關的一個領域深入下去

人工智慧有很多方向，比如NLP、語音識別、計算機視覺等等，生命有限，必須得選一個方向深入的專研下去，這樣才能成為人工智慧領域的大牛，有所成就。

再回答第二個問題，人工智慧到底是不是一項技術？

根據網路給的定義，人工智慧（Artificial Intelligence），英文縮寫為AI。它是研究、開發用於模擬、延伸和擴展人的還能的理論、方法、技術及應用系統的一門新的技術科學。

網路關於人工智慧的定義詳解中說道：人工智慧是計算機的一個分支，二十世紀七十年代以來被稱為世界三大尖端技術之一（空間技術、能源技術、人工智慧）。也被認為是二十一世紀三大尖端技術（基因工程、納米科學、人工智慧）之一。這是因為近三十年來它獲得了迅速的發展，在很多學科領域都獲得了廣泛應用，並取得了豐碩的成果，人工智慧已逐步成為一個獨立的分支，無論在理論和實踐上都已自成一個系統。

綜上，從定義上講，人工智慧是一項技術。

希望能幫到你。

人工智慧需要學習的主要內容包括：數學基礎課學科基礎課，包括程序設計基礎、數據結構、人工智慧導論、計算機原理、 數字電路 、系統控制等；專業選修課，比如 神經網路 、深度學習以及認知科學、神經科學、計算金融、計算生物學、計算語言學等交叉課程。

一、人工智慧專業學什麼

1.認知與神經科學課程群

具體課程：認知心理學、神經科學基礎、人類的記憶與學習、語言與思維、計算神經工程

2.人工智慧倫理課程群

具體課程：《人工智慧、 社會 與人文》、《人工智慧哲學基礎與倫理》

3.科學和工程課程群

新一代人工智慧的發展需要腦科學、神經科學、認知心理學、信息科學等相關學科的實驗科學家和理論科學家的共同努力，尋找人工智慧的突破點，同時必須要以嚴謹的態度進行科學研究，讓人工智慧學科走在正確、 健康 的發展道路上。

4.先進機器人學課程群

具體課程：《先進機器人控制》、《認知機器人》、,《機器人規劃與學習》、《仿生機器人》

5.人工智慧平台與工具課程群

具體課程：《群體智能與自主系統》《無人駕駛技術與系統實現》《 游戲 設計與開發》《計算機圖形學》《虛擬現實與增強現實》。

6.人工智慧核心課程群

具體課程：《人工智慧的現代方法I》《問題表達與求解》、《人工智慧的現代方法II》《機器學習、自然語言處理、計算機視覺等》。

二、人工智慧專業培養目標及要求

以培養掌握人工智慧理論與工程技術的專門人才為目標，學習機器學習的理論和方法、深度學習框架、工具與實踐平台、自然語言處理技術、語音處理與識別技術、視覺智能處理技術、國際人工智慧專業領域最前沿的理論方法，培養人工智慧專業技能和素養，構建解決科研和實際工程問題的專業思維、專業方法和專業嗅覺。

探索 實踐適合中國高等人工智慧人才培養的教學內容和教學方法，培養中國人工智慧產業的應用型人才。

三、人工智慧專業簡介

人工智慧專業是中國高校人計劃設立的專業，旨在培養中國人工智慧產業的應用型人才，推動人工智慧一級學科建設。2018年4月，教育部在研究制定《高等學校引領人工智慧創新行動計劃》，並研究設立人工智慧專業，進一步完善中國高校人工智慧學科體系。2019年3月，教育部印發了《教育部關於公布2018年度普通高等學校本科專業備案和審批結果的通知》，根據通知，全國共有35所高校獲首批「人工智慧」新專業建設資格。

2020年3月3日，教育部公布2019年度普通高等學校本科專業備案和審批結果，「人工智慧」專業成為熱門。

人工智慧是一個綜合學科，其本身涉及很多方面，比如神經網路、機器識別、機器視覺、機器人等，因此，我們想要學好整個人工智慧是很不容易的。

首先我們需要一定的數學基礎，如：高數、線性代數、概率論、統計學等等。很多人可能要問，我學習人工智慧為什麼要有數學基礎呢？二者看似毫不相干，實則不然。線性代數能讓我們了解如何將研究對象形象化，概率論能讓我們懂得如何描述統計規律，此外還有許多其他數學科目，這些數學基礎能讓我們在學習人工智慧的時候事半功倍。

然後我們需要的就是對演算法的累積，比如人工神經網路、遺傳演算法等。人工智慧的本身還是通過演算法對生活中的事物進行計算模擬，最後做出相應操作的一種智能化工具，演算法在其中扮演的角色非常重要，可以說是不可或缺的一部分。

最後需要掌握和學習的就是編程語言，畢竟演算法的實現還是需要編程的，推薦學習的有Java以及Python。如果以後想往大數據方向發展，就學習Java，而Python可以說是學習人工智慧所必須要掌握的一門編程語言。當然，只掌握一門編程語言是不夠的，因為大多數機器人的模擬都是採用的混合編程模式，即採用多種編程軟體及語言組合使用，在人工智慧方面一般使用的較多的有匯編和C++，此外還有MATLAB、VC++等，總之一句話，編程是必不可少的一項技能，需要我們花費大量時間和精力去掌握。

人工智慧現在發展得越來越快速，這得益於計算機科學的飛速發展。可以預料到，在未來，我們的生活中將隨處可見人工智慧的產品，而這些產品能為我們的生活帶來很大的便利，而人工智慧行業的未來發展前景也是十分光明的。所以，選擇人工智慧行業不會錯，但正如文章開頭所說，想入行，需要我們下足功夫，全面掌握這個行業所需要的技能才行。

，首先呢，如果你是在校大學生，想要以後從事人工智慧專業相關工作，我這里給你分享下 南京大學人工智慧學院院長周志華教授 曾經在論壇上分享的南京大學人工智慧專業本科生教育培養大綱的相關課程。

首先是基礎數學部分：

人工智慧亦稱智械、機器智能，指由人製造出來的機器所表現出來的智能。通常人工智慧是指通過普通計算機程序來呈現人類智能的技術。通過醫學、神經科學、機器人學及統計學等的進步，有些預測則認為人類的無數職業也逐漸被人工智慧取代。

④ NLP自然語言處理

羅素悖論：由所有不包含自身的集合構成的集合

例子：理發師稱只給那些不給自己理發的人理發。

基於集合論，理發師無論給自己理發還是不給自己理發都是矛盾的。

因此集合論不是完備的。 即使後面馮羅伊德等科學家提出了各種假定條件。

由於上述的原因，集合率無法很好的描述自然語言，科學家發現通過概率模型可以更好的描述自然語言。

深度學習來處理自然語言屬於概率模型

證明最小點位於坐標軸上

h = f+c|x|

由於在x = 0處不可導

h-left'(0)*h-right'(0) = (f'+c)*(f'-c)

那麼如果c>|f'(0)|可得，h在0處左右導數異號

0是最值。

那麼在損失函數加入L1正則化後，可以得到某些維度容易為0，從而得到稀疏解

幾乎所有的最優化手段，都將適用凸優化演算法來解決

P(A|B) = P(A and B) / P(B)

if A and B 獨立

=》P(A and B| C) = P(A|C)*P(B|C)

也可以推出

=>A(A|B and C) = P(A|C) (B交C不為空)

拋9次硬幣，硬幣出現正面的概率是0.5，出現k次的概率分布如下如

服從正態分布

x的平均值

E = x*p(x) + ...

x相對於期望的偏離

var = (x-E(x))^2

conv = (x - E(x))*(m - E(m))

描述x,m是否有同分布

按理協方差為0，並不代表x和m沒有關系

例如下圖

如果點的分布對稱的分布，會得到協方差為0，但是其實他們是有關系的。

把每個相關的概率累加，得到聯合概率

P(x1=m1,x2=m2...) = n!*P1 ^m1/m1!*P2 m2/m2!

T(n) = (n-1)!

T(x)用一條曲線逼近n!，進而可以求得非整數的階乘

由二項式分布推出

P = T(a+b)*x ^(a-1)*(1-x) (b-1)/(T(a)*T(b))

則正態分布

y為0時，不考慮y『。y為1時，y'越接近1，越小，越靠近0，越大

把D最小化，迫使y'逼近y

對於一個句子，有若干單片語成。例如

C1: The dog laughs.

C2: He laughs.

那麼計算P(C1) = P(The, Dog, laughs)的概率和P(C2) = P(He, laughs)的概率。

根據歷史文本的統計學習。

可以得到P(C1)<<P(C2)

P('I love the game') = P('I')*P('love')*P('the')*P('game')

其中P(<work>) = 頻率/總單詞數

計算一篇文章是積極的還是消極的。

P(y|x) = sigmod(wx)

x是文章內每個單詞的頻率

y表示積極和消極情感

其中P(xk|x1, x2,..xk-1) = frequence(x1, x2 ,, xk)/frequence(x1, x2..xk-1)

2-gram模型例子

把多個gram的模型進行線性整合

P(y|x1, x2, .. xn) = P(y)*P(x1, x2, ... xn|y) / P(x1, x2, ... xn)

y代表是否是垃圾郵件

x代表單詞

廣州市長壽路 -》 廣州市長|壽路

廣州市長壽路 -》 廣州市|長壽路

匹配詞袋：廣州市，廣州市長，長壽路

使用最大匹配發，第二個分詞更優

通過統計P(A|B)，得出各個option的概率，取最大的概率，則為最後的分詞

word => [0, 0 , ... 1, ... 0]

word => [0, 1, 0, 1, 0, ...]

可以解決詞相似性問題

計算附近詞的頻率

word => [0, 3, 0, 1, 0, ...]

w是附近詞的one-hot encoding

score是詞的one-hot encoding

最後一層通過softmax，取擬合文本

最終中間層則為詞向量

輸入為詞one-hot encoding

輸出為附近此的one-hot encoding

最後通過softmax預測附近詞

最後中間層則為結果詞向量

混合模型是一種統計模型，問題中包含若干個子問題，每個子問題是一個概率分布，那麼總問題就是若干個子問題的組合，也就是若干個子分部的組合，這樣就形成了混合模型。

有紅黑兩種硬幣，把它們放在盒子里，從盒子里隨機抽取一個硬幣並投幣，抽到紅色的概率是p，紅色硬幣正面的概率是q，黑色硬幣正面的概率是m，假設我們沒辦法看到抽取出的硬幣的顏色，只能看到最終是正面或者反面的結果，例如HTTHTTTTHHH (H:正面 T: 反面)。需要估計p,q,m三個參數。

此時可以計算出

通過EM演算法迭代如下：

隨機p q m

迭代以下過程：

計算上面table

p = (aC(正)+cC(反))/total

q = aC(正)/(aC正+cC正)

m = bC(正)/(bC正 + dC正)

假設有上述數據，需要用混合模型來逼近，通過分析，紅色和藍色數據分別為高斯正態分布，N(u, v)

此時可以得到如下表

p = pN紅x/(pN紅x+(1-p)N藍x)

u = pN紅x/n

v = pN紅(x-u)^2/n

詞性轉換概率

詞性到單詞的轉換概率

通過EM遞歸演算法，訓練以上參數，得到隱馬爾可夫模型

PLSA主題模型

只統計詞的頻率，不計算詞的相對位置

計算文檔和單詞頻率的矩陣

進行奇異矩陣分解

得到A矩陣的壓縮U，U中的k則為k個主題

通過分析，LSA得到的主題是跟現實無法關聯，它只是一個量，而沒有明顯的意義。

PLSA為了解決此問題，引入概率模型，先確定主題個數

然後通過構建Doc->topic的概率table，和topic->word的概率table。

然後通過EM模型，得到這兩個table的所有概率值。

進而得到文檔的主題表示

PLSA的缺陷是，對於預測未知的doc，無法計算此文檔的相關概率。隨著doc數量的增加，PLSA模型的參數會線性增加，從而會造成過擬合。

LDA通過引入先驗概率來克服PLSA的問題。

類似於編譯原理的上下文無法句法分析，一顆語法樹

通過對CFG引入概率參數

有了概率，可以計算每顆語法樹的極大似然概率，並取最大概率的樹為最終輸出

上一個狀態中間層的輸出作為下一隱層的輸入

類似於HMM的2-gram模型。t狀態受到t-1時刻輸出的影響，受t-k的輸出的k越大，影響越小

由於RNN幾乎只受到上一時刻的影響，而忽略了久遠信息的影響。從而造成了一定的局限性。

LSTM通過引入長短記憶方法，來維持長記憶的信息。

通過訓練核內的sigmod函數，使得LSTM可以根據不同的句子，有條件的保留和過濾歷史信息，從而達到長記憶的功能。

GRU是LSTM的簡化版，它只需要處理兩個sigmod函數的訓練，而LSTM需要三個sigmod函數的訓練，減少了訓練的參數，加快了訓練的速度，但也損失了一部分模型的復雜，在處理較復雜問題時，沒有LSTM那麼好。

auto-encoder-decoder的特點是輸出的單元數是固定的。對於一般自然語言處理，例如機器翻譯，輸入的單元個數跟輸出單元的個數並不是一一對應的，此時就需要動態的生成輸出單元。Seq2Seq通過動態的輸出結束符，代表是否輸出完成，達到可以動態的根據輸入輸出不同的單元個數。

seq2seq的缺點是，所有的輸入序列都轉化為單一的單元c，導致很多信息都將消失，對於不同的輸出yi，它可能依賴的輸入xj有可能不一樣，此時通過加入注意力模型，通過對xi進行softmax處理，並加入到y權重的訓練中，可以讓不同的y，有不同的x對它進行影響

softmax的輸入為輸入單元x，和上一個輸出單元y，聯合產生softmax的權重，進而對不同的序列，對於同一個x，會有不同的注意力到輸出

q = Wq(x)

k = Wk(x)

v = Wv(x)

x為詞向量

通過訓練，得到權重w，從而學習到這一層的softmax注意力參數

R是前一次encoder的輸出

通過增加w的數量，產生多個z，並進行堆疊，通過前饋網路，最後產生z

在使用self attention處理句子時，是沒有考慮單詞在句子中的位置信息的。為了讓模型可以加入考慮單詞的位置信息，加入了位置編碼的向量

計算如下：

pos為單詞在句子中的位置

i為詞向量的位置

d為句子的長度

位置編碼加上詞向量形成tranformer的輸入

加入了歸一化和殘差網路

最終通過softmax，輸出每個單詞的概率，並最終輸出單詞

⑤ 數據挖掘工程師一般都做什麼

數據挖掘工程師是做什麼的？

數據挖掘，從字面上理解，就是在數據中找到有用的東西，哪些東西有用就要看具體的業務目標了。最簡單的就是統計應用了，比如電商數據，如淘寶統計過哪個省購買泳衣最多、哪個省的女生胸罩最大等，進一步，可以基於用戶的瀏覽、點擊、收藏、購買等行為推斷用戶的年齡、性別、購買能力、愛好等能表示一個人的畫像，就相當於用這些挖掘出來的屬性來刻畫一個人，這些還是最簡單的東西，更深層次的比如預測（股票預測），但是比較難。

數據挖掘往往與機器學習離不開。比如分類、聚類、關聯規則挖掘、個性化推薦、預測、神經網路、深度學習等。

數據挖掘 = 業務知識 + 自然語言處理技術（ NLP ） + 計算機視覺技術（ CV ） + 機器學習 / 深度學習（ ML/DL ）

（ 1 ）其中業務知識具體指的是個性化推薦，計算廣告，搜索，互聯網金融等； NLP ， CV 分別是處理文本，圖像視頻數據的領域技術，可以理解為是將非結構化數據提取轉換成結構化數據；最後的ml/dl 技術則是屬於模型學習理論；

（ 2 ）在選擇崗位時，各個公司都沒有一套標準的稱呼，但是所做的事情無非 2 個大方向，一種是主要鑽研某個領域的技術，比如自然語言處理工程師，計算機視覺工程師，機器學習工程師等；一種是將各種領域技術應用到業務場景中去解決業務需求，比如數據挖掘工程師，推薦系統工程師等；具體的稱呼不重要，重要的是平時的工作內容；

PS ：在互聯網行業，數據挖掘相關技術應用比較成功的主要是推薦以及計算廣告領域，而其中涉及到的數據主要也是文本，所以 NLP 技術相對來講比較重要，至於 CV 技術主要還是在人工智慧領域（無人車，人臉識別等）應用較多，本人了解有限，相關的描述會較少；

數據挖掘崗位需要具備的3 種基本能力

1. 工程能力

（ 1 ）編程基礎：需要掌握一大一小兩門語言，大的指 C++ 或者 Java ，小的指 Python 或者 shell 腳本；需要掌握基本的資料庫語言；

建議： MySQL + python + C++ ；語言只是一種工具，看看語法就好；

推薦書籍：《 C++ primer plus 》

（ 2 ）開發平台： Linux ；

建議：掌握常見的命令，掌握 Linux 下的源碼編譯原理；

推薦書籍：《 Linux 私房菜》

（ 3 ）數據結構與演算法分析基礎：掌握常見的數據結構以及操作（線性表，隊，列，字元串，樹，圖等），掌握常見的計算機演算法（排序演算法，查找演算法，動態規劃，遞歸等）；

建議：多敲代碼，多上 OJ 平台刷題；

推薦書籍：《大話數據結構》《劍指 offer 》

（ 4 ）海量數據處理平台： Hadoop （ mr 計算模型， java 開發）或者 Spark （ rdd 計算模型， scala開發），重點推薦後者；

建議：主要是會使用，有精力的話可以看看源碼了解集群調度機制之類的；

推薦書籍：《大數據 spark 企業級實戰》

2. 演算法能力

（ 1 ）數學基礎：概率論，數理統計，線性代數，隨機過程，最優化理論

建議：這些是必須要了解的，即使沒法做到基礎扎實，起碼也要掌握每門學科的理論體系，涉及到相應知識點時通過查閱資料可以做到無障礙理解；

（ 2 ）機器學習 / 深度學習：掌握 常見的機器學習模型（線性回歸，邏輯回歸， SVM ，感知機；決策樹，隨機森林， GBDT ， XGBoost ；貝葉斯， KNN ， K-means ， EM 等）；掌握常見的機器學習理論（過擬合問題，交叉驗證問題，模型選擇問題，模型融合問題等）；掌握常見的深度學習模型（ CNN ，RNN 等）；

建議：這里的掌握指的是能夠熟悉推導公式並能知道模型的適用場景；

推薦書籍：《統計學習方法》《機器學習》《機器學習實戰》《 UFLDL 》

（ 3 ）自然語言處理：掌握常見的方法（ tf-idf ， word2vec ， LDA ）；

3. 業務經驗

（ 1 ）了解推薦以及計算廣告相關知識；

推薦書籍：《推薦系統實踐》《計算廣告》

（ 2 ）通過參加數據挖掘競賽熟悉相關業務場景，常見的比賽有 Kaggle ，阿里天池， datacastle 等。

想要學習數據挖掘的話可以看一下這篇文章《AI時代就業指南：數據挖掘入門與求職》

⑥ 要學數據挖掘需要哪些基礎

人工智慧、機器學習、模式識別、統計學、資料庫、可視化技術等。

數據挖掘從資料庫的大量數據中揭示出隱含的、先前未知的並有潛在價值的信息，數據挖掘主要基於人工智慧、機器學習、模式識別、統計學、資料庫、可視化技術等，高度自動化地分析企業的數據；

作出歸納性的推理，從中挖掘出潛在的模式，幫助決策者調整市場策略，減少風險，作出正確的決策。

(6)編譯原理lda擴展閱讀

數據挖掘起源於「情報深加工」，前身為「知識發現」，其實質就是找尋出數據背後的「故事」。用好數據挖掘技術，就能破除信息化戰場的「數據迷霧」，從而發現數字背後的奧秘，從戰略、戰役、戰術各個層面准確掌握戰場態勢及對手作戰特點。

信息化戰爭中，軍事決策的正確、及時與否，直接決定戰爭行動的成敗。數據挖掘技術的出現，可以幫助軍事決策人員從海量戰場數據中分析獲取有價值信息，進而為作戰籌劃等軍事決策提供有力支撐。

藉助專家系統、遺傳演算法，可高效完成兵力區分、戰術編組、隊形配置等決策；藉助關聯演算法、統計決策，可准確預判敵人的行動路線，對重要目標實施保護；藉助「決策樹」方法、人工神經網路以及可視化技術等，可進行目標火力分配。

數據挖掘還可以進行戰場環境分析，實現戰場態勢的精確感知，為指揮員提供更加清晰的戰場態勢顯示。