编译原理lda

① 计算机是有许多逻辑门电路和一些电子元件组成的，不同硬件组成的计算机有不同的指令集，这一指令集可以用

理解有问题啊。
“比如，下面这些数字就是存放在内存中的8086指令B8 3F 00 01 C3 01 C1”，其中“B8 3F 00 01 C3 01 C1”就已经是机器语言了，之所以用十六进制而不是二进制，只是一个表达方便的问题，在存储器中，肯定是二进制的。
当你用高级语言写好程序后，然后用编译器（编译原理比较高深，主要就是一个源代码识别和源代码-高级语言与低级代码之间的转换，最终的低级代码就是机器语言，究竟一条二进制机器码代表什么由硬件设计决定。基本可以说写一个XX编译器，就算诞生了XX语言）与链接器翻译成可执行文件（所谓文件，就是有一定的格式，因此它并非所有的内容都是二进制指令了。不过，这个自有操作系统能够识别出哪些是指令）。运行可执行文件的时候，操作系统根据自己的机制，加载数据到内存。其中的指令，当被送入指令寄存器的时候，由硬件分解（翻译）指令，生成执行这个指令所应该有的所有电信号（这是硬件设计决定的，建议去了解一下时序电路）。当然，操作系统的所有动作，归根结底还是硬件实现的，这个你得了解计算机的硬件与软件究竟是如何结合的。
建议你看看《计算机原理》、《计算机接口技术》（或者51单片机原理）、《数字电路》（了解一下时序电路，这是计算机硬件实现的关键）、《脉冲电路》（仅仅了解一下触发器、门电路即可，有助于对打破砂锅问到底者的满足）、《操作系统原理》（关键点是了解软硬在那一刹那是如何结合的。这里很有哲学之美。），要深刻理解软硬的结合，还建议你了解PE结构、学习反汇编、手工汇编，《深入理解计算机系统》这书不错。

② 数据挖掘主要涉及到哪些方面的知识

与数据挖掘相关的内容包括数据库、数据仓库、机器学习、信息检索。
学习数据挖掘基础：数据库理论、数学基础（包括数理统计、概率、图论等）、熟练掌握一种编程语言（java，python）、会使用数据挖掘工具软件（weka、matlab、spss）
数据挖掘的内容包括分类、关联分析、聚类和异常检测等几个方面

③ 人工智能学什么

作为一名计算机专业的教育工作者，我来回答一下这个问题。

首先，人工智能专业属于计算机大类专业之一，虽然是新兴专业，但是由于当前人工智能领域的发展前景比较广阔，同时一系列人工智能技术也进入到了落地应用的阶段，所以当前人工智能专业也是热点专业之一。

人工智能专业有三个特点，其一是多学科交叉，涉及到计算机、数学、控制学、经济学、神经学、语言学等诸多学科，因此整体的知识量还是比较大的，其二是学习难度较大，人工智能本身的知识体系尚处在完善当中，很多领域还有待突破，其三是实践场景要求高。

基于这三个特点，要想在本科阶段有较好的学习效果，要有针对性的解决方案。针对于多学科交叉的情况，在大一期间一定要多做加法，尤其要重视编程语言的学习，基于编程语言来打开计算机技术大门，进而学习机器学习，而机器学习则被称为是打开人工智能技术大门的钥匙。

其三是要重视为自己营造一个较好的交流和实践场景，这对于学习效果有较大的影响，建议在大一、大二期间积极参加人工智能相关的课题组。在选择课题组的时候，要考虑到自己的兴趣爱好、课题周期、实践资源等因素，从这个角度来看，学校的科研资源对于人工智能专业的同学有较大的影响。

如果有互联网、大数据、人工智能等方面的问题，或者是考研方面的问题，都可以私信我！

很荣幸曾经参加过一次江苏省人工智能论坛，论坛上认真聆听了行业大佬周志华教授的报告，受益匪浅，首先呢，如果你是在校大学生，想要以后从事人工智能专业相关工作，我这里给你分享下 南京大学人工智能学院院长周志华教授 曾经在论坛上分享的南京大学人工智能专业本科生教育培养大纲的相关课程。

首先是基础数学部分：

数学分析、高等数学、高等代数、概率论与数理统计、最优化方法、数理逻辑。

其次是学科基础课程：

人工智能导引、数据结构与算法分析、程序设计基础、人工智能程序设计、机器学习导论、知识表示与处理、模式识别与计算机视觉、自然语言处理、数字系统设计基础、操作系统。

专业方向课程：

泛函分析、数字信号处理、高级机器学习、计算方法、控制理论方法、机器人学导论、多智能体系统、分布式与并行计算。

专业选修课课程：

数学建模、矩阵计算、随机过程、组合数学。博弈论及其应用、时间序列分析、编译原理、随机算法、数据库概论。

这是南京大学人工智能学院本科生四年的课程安排，看起来课程非常多，但这是一个培养体系，现在国内只有南京大学针对人工智能专业开设了如此系统的培养方案，专业涉及人工智能的各个领域方向。学生可以根据自己的兴趣爱好，选择想要学习的领域方向。

如果你已经毕业，想要转行从事人工智能行业，那么下面这套课程可能比较适合你：

1.莫烦python教程（网络可搜）： 莫烦python有很多专栏，可以学习到python基础、以及人工智能相关的软件框架教程，包括相关人工智能相关的一些实战小项目。

2.吴恩达机器学习（网易云课堂）： 人工智能机器学习理论部分，非常适合零基础的小白学习

3.吴恩达卷积神经网络（网易云课堂）： 人工智能深度学习理论部分，非常适合零基础的小白学习

4.李飞飞CS231n（网易云课堂）： 人工智能深度学习和机器学习理论，适合有一定基础的学习者。

5.吴恩达cs229（blibli）： 人工智能深度学习和机器学习理论，适合有一定基础的学习者。

这些基础课程学会了，可能就算是跨入了半个门槛，当然面试的时候还欠缺实战经验，于是你可以去kaggle或者天池参加一些比赛，有了这些比赛经验，简历上也算是多了一块实战经验，增加了你的面试成功率。最后，不要参加什么培训机构区培训，既花钱又学不到什么东西，最后毕业还会给你简历造假，得不偿失，我给你推荐的这些课程绝对比市面上99.99%的培训机构课程靠谱！

接下来文章会侧重在以下几方面

1、零基础如何进行人工智能的自学（以找工作为目的），包括路径规划，怎么学等等。

2、我的个人感悟，关于转行、工作、创业、希望能给大家一些启发。

3、好的学习资源分享

先说一下个人背景，一本，经济学毕业，上学时从未学过编程。我这里指的零基础指的是，没有编程基础、没有数学基础（数学需要一些基本的，如果没有，后续也会帮助大家的）。

刚毕业第一年时，迷茫，不知道做什么。

第一阶段：边工作边自学爬虫，失败

毕业一年后，觉得编程可能是自己想要的，所以开始自学编程。

最开始学的是爬虫，python语言。每天学6个小时，一周五到六天。学了4个月后，去面了五六家企业，没有成功。原因是爬虫的知识够，可是计算机的基础太薄弱。什么算法、计算机网络这些，统统没学。因为我当时是完全自学，没有人带，导致我也不知道要学这些。第一阶段，失败，说实话，有点气馁，那可是每天没日没夜的学习啊，最后却换来一场空。可是生活还得继续，怨天尤人有什么用。

第二阶段：边工作边自学人工智能，成功

面试失败后，考虑了要把编程基础学一下再去面试，还是学点别的。我的决定是学人工智能，当时对这个比较感兴趣。好了，又是学了半年多，每天学6个小时，一周6天。从机器学习学到深度学习再学回机器学习。面试，成功地去公司从事机器学习深度学习方面的基础工作。不过实力肯定没有那些编程出身，数学、统计出身的人强，所以很多时候也是边学边做，打打杂。

其实我说的很简单很轻松的样子，但其中的艰辛只有自己是最清楚。所以我很希望通过我未来经验学习的分享，帮助大家少走一些弯路。

第三阶段：自己干

现在，已从公司辞职，自己开发网站，做社群，开网店。就是觉得，其实编程也只是我的一个工具，这个人就是比较喜欢自己做点事情，编程挺累的，哈哈哈。如果大家有什么合作的好点子，也欢迎随时来找我哦。

十问十答：

1、零基础转行学编程可以吗？可以，要做好吃苦的准备。学习是个漫长的过程，你上班的话，能否保证一定时间的学习呢，这个是你要问自己的。我也是边工作边学习，不同的是，我工作很清闲，所以我基本可以在上班时间学习。如果你还在上学，恭喜你这是你最好的机会了。

2、该自学还是去培训班？我觉得自学就够了，培训班真是又贵又水。这是我进过培训班的朋友告诉我的。其实你工作之后会发现，很多东西都是要自学的。如果你连自学都没办法自学的话，你又怎么能工作。而且，自学的效率会更高，当然前提是路径不能错。

3、转行编程，就业率怎么样？说实话，如果你不是编程出身的，要转行编程其实是比较难的，毕竟人家4年的正统学习不是白学的。但这不意味着就没办法。找准目标，规划好路径，学习最必要的知识，这样就有机会。但是，请做好学完仍找不到工作的心理准备。

4、最理想的自学环境是怎么样的？清晰的学习路径+自学+交流讨论的环境+有人指导

5、人工智能零基础可以学吗？可以，但是比一般转行编程的要难，因为要自学的东西更多，要求的门槛也会更高。这个后续会着重讲到。

6、学人工智能需要数学吗？不要因为数学而望而切步，数学是需要的，但没有要求的高不可攀，通过必要的学习，是可以达到入门水准的。

7、以前没接触过编程，怎么办？可以学习python，这真的是一门对零基础的人来说很友好的语言了，其他的我不懂。

8、一般转行编程的周期要多久？按我跟我周边朋友的经验来看。一周5-6天，一天6小时学习时间，4-7个月，这应该是比较正常的。

9、我是怎么坚持下来的？期间有很多次想要放弃，有的时候是真的看不懂，也没人教，纯自学，安装个工具有什么时候就要安装半天，不多说，都是泪啊。你的欲望有多强烈，就能有多坚持。

10、现在学编程还来得及吗？永远都来得及，学编程不一定是为了好工作，它更是一个全新的世界，你会发现很多对自己有帮助的东西。就算以后你不做这个，我相信这个学习的过程也会有所收获。

这是我之后会写的文章的大概目录，大家可以参考一下。

以下系列是暂定的，一篇文章可能会写成好几篇。这个系列不仅仅以学习为目的，目的是为了达到机器学习的工作入门标准。并不简单，但努力就有可能。网上的教程我看了很多，路径大部分都没有错。只是我觉得第一，太贵，明明网上有很多免费的更好的资源。第二，练习的量远远不够达到能去找工作的标准。

目录：

零基础自学人工智能系列（1）：机器学习的最佳学习路径规划（亲身经验）

零基础自学人工智能系列（2）：机器学习的知识准备（数学与python，附学习资源）

零基础自学人工智能系列（3）：机器学习的知识准备（数学篇详解）

零基础自学人工智能系列（4）：机器学习的知识准备（python篇详解）

零基础自学人工智能系列（5）：机器学习的理论学习规划（附资源）

零基础自学人工智能系列（6）：深度学习的理论学习规划（附资源）

零基础自学人工智能系列（7）：机器学习的实战操作（附资源和代码）

零基础自学人工智能系列（8）：深度学习的实战操作（附资源和代码）

零基础自学人工智能系列（9）：找工作篇，需加强的部分（类似数据结构与算法）

最后，我希望我能给大家树立一些信心。不管你现在处于什么水平，只要肯努力，什么都有可能的。

首先我们需要一定的数学基础，如：高数、线性代数、概率论、统计学等等。很多人可能要问，我学习人工智能为什么要有数学基础呢？二者看似毫不相干，实则不然。线性代数能让我们了解如何将研究对象形象化，概率论能让我们懂得如何描述统计规律，此外还有许多其他数学科目，这些数学基础能让我们在学习人工智能的时候事半功倍。

1、学习并掌握一些数学知识

高等数学是基础中的基础，一切理工科都需要这个打底，数据挖掘、人工智能、模式识别此类跟数据打交道的又尤其需要多元微积分运算基础

线性代数很重要，一般来说线性模型是你最先要考虑的模型，加上很可能要处理多维数据，你需要用线性代数来简洁清晰的描述问题，为分析求解奠定基础

概率论、数理统计、随机过程更是少不了，涉及数据的问题，不确定性几乎是不可避免的，引入随机变量顺理成章，相关理论、方法、模型非常丰富。很多机器学习的算法都是建立在概率论和统计学的基础上的，比如贝叶斯分类器、高斯隐马尔可夫链。

再就是优化理论与算法，除非你的问题是像二元一次方程求根那样有现成的公式，否则你将不得不面对各种看起来无解但是要解的问题，优化将是你的GPS为你指路

有以上这些知识打底，就可以开拔了，针对具体应用再补充相关的知识与理论，比如说一些我觉得有帮助的是数值计算、图论、拓扑，更理论一点的还有实/复分析、测度论，偏工程类一点的还有信号处理、数据结构。

2、掌握经典机器学习理论和算法

如果有时间可以为自己建立一个机器学习的知识图谱，并争取掌握每一个经典的机器学习理论和算法，我简单地总结如下：

1) 回归算法：常见的回归算法包括最小二乘法（OrdinaryLeast Square），逻辑回归（Logistic Regression），逐步式回归（Stepwise Regression），多元自适应回归样条（MultivariateAdaptive Regression Splines）以及本地散点平滑估计（Locally Estimated Scatterplot Smoothing）；

2) 基于实例的算法：常见的算法包括 k-Nearest Neighbor(KNN), 学习矢量量化（Learning Vector Quantization， LVQ），以及自组织映射算法（Self-Organizing Map ， SOM）；

3) 基于正则化方法：常见的算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO），以及弹性网络（Elastic Net）；

4) 决策树学习：常见的算法包括：分类及回归树（ClassificationAnd Regression Tree， CART）， ID3 (Iterative Dichotomiser 3)， C4.5， Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 随机森林（Random Forest）， 多元自适应回归样条（MARS）以及梯度推进机（Gradient Boosting Machine， GBM）；

5) 基于贝叶斯方法：常见算法包括：朴素贝叶斯算法，平均单依赖估计（AveragedOne-Dependence Estimators， AODE），以及Bayesian Belief Network（BBN）；

6) 基于核的算法：常见的算法包括支持向量机（SupportVector Machine， SVM）， 径向基函数（Radial Basis Function ，RBF)， 以及线性判别分析（Linear Discriminate Analysis ，LDA)等；

7) 聚类算法：常见的聚类算法包括 k-Means算法以及期望最大化算法（Expectation Maximization， EM）；

8) 基于关联规则学习：常见算法包括 Apriori算法和Eclat算法等；

9) 人工神经网络：重要的人工神经网络算法包括：感知器神经网络（PerceptronNeural Network）, 反向传递（Back Propagation）， Hopfield网络，自组织映射（Self-OrganizingMap, SOM）。学习矢量量化（Learning Vector Quantization， LVQ）；

10) 深度学习：常见的深度学习算法包括：受限波尔兹曼机（RestrictedBoltzmann Machine， RBN）， Deep Belief Networks（DBN），卷积网络（Convolutional Network）, 堆栈式自动编码器（Stacked Auto-encoders）；

11) 降低维度的算法：常见的算法包括主成份分析（PrincipleComponent Analysis， PCA），偏最小二乘回归（Partial Least Square Regression，PLS）， Sammon映射，多维尺度（Multi-Dimensional Scaling, MDS）, 投影追踪（ProjectionPursuit）等；

12) 集成算法：常见的算法包括：Boosting， Bootstrapped Aggregation（Bagging），AdaBoost，堆叠泛化（Stacked Generalization， Blending），梯度推进机（GradientBoosting Machine, GBM），随机森林（Random Forest）。

3、掌握一种编程工具，比如Python

一方面Python是脚本语言，简便，拿个记事本就能写，写完拿控制台就能跑；另外，Python非常高效，效率比java、r、matlab高。matlab虽然包也多，但是效率是这四个里面最低的。

4、了解行业最新动态和研究成果，比如各大牛的经典论文、博客、读书笔记、微博微信等媒体资讯。

5、买一个GPU，找一个开源框架，自己多动手训练深度神经网络，多动手写写代码，多做一些与人工智能相关的项目。

6、选择自己感兴趣或者工作相关的一个领域深入下去

人工智能有很多方向，比如NLP、语音识别、计算机视觉等等，生命有限，必须得选一个方向深入的专研下去，这样才能成为人工智能领域的大牛，有所成就。

再回答第二个问题，人工智能到底是不是一项技术？

根据网络给的定义，人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的还能的理论、方法、技术及应用系统的一门新的技术科学。

网络关于人工智能的定义详解中说道：人工智能是计算机的一个分支，二十世纪七十年代以来被称为世界三大尖端技术之一（空间技术、能源技术、人工智能）。也被认为是二十一世纪三大尖端技术（基因工程、纳米科学、人工智能）之一。这是因为近三十年来它获得了迅速的发展，在很多学科领域都获得了广泛应用，并取得了丰硕的成果，人工智能已逐步成为一个独立的分支，无论在理论和实践上都已自成一个系统。

综上，从定义上讲，人工智能是一项技术。

希望能帮到你。

人工智能需要学习的主要内容包括：数学基础课学科基础课，包括程序设计基础、数据结构、人工智能导论、计算机原理、 数字电路 、系统控制等；专业选修课，比如 神经网络 、深度学习以及认知科学、神经科学、计算金融、计算生物学、计算语言学等交叉课程。

一、人工智能专业学什么

1.认知与神经科学课程群

具体课程：认知心理学、神经科学基础、人类的记忆与学习、语言与思维、计算神经工程

2.人工智能伦理课程群

具体课程：《人工智能、 社会 与人文》、《人工智能哲学基础与伦理》

3.科学和工程课程群

新一代人工智能的发展需要脑科学、神经科学、认知心理学、信息科学等相关学科的实验科学家和理论科学家的共同努力，寻找人工智能的突破点，同时必须要以严谨的态度进行科学研究，让人工智能学科走在正确、 健康 的发展道路上。

4.先进机器人学课程群

具体课程：《先进机器人控制》、《认知机器人》、,《机器人规划与学习》、《仿生机器人》

5.人工智能平台与工具课程群

具体课程：《群体智能与自主系统》《无人驾驶技术与系统实现》《 游戏 设计与开发》《计算机图形学》《虚拟现实与增强现实》。

6.人工智能核心课程群

具体课程：《人工智能的现代方法I》《问题表达与求解》、《人工智能的现代方法II》《机器学习、自然语言处理、计算机视觉等》。

二、人工智能专业培养目标及要求

以培养掌握人工智能理论与工程技术的专门人才为目标，学习机器学习的理论和方法、深度学习框架、工具与实践平台、自然语言处理技术、语音处理与识别技术、视觉智能处理技术、国际人工智能专业领域最前沿的理论方法，培养人工智能专业技能和素养，构建解决科研和实际工程问题的专业思维、专业方法和专业嗅觉。

探索 实践适合中国高等人工智能人才培养的教学内容和教学方法，培养中国人工智能产业的应用型人才。

三、人工智能专业简介

人工智能专业是中国高校人计划设立的专业，旨在培养中国人工智能产业的应用型人才，推动人工智能一级学科建设。2018年4月，教育部在研究制定《高等学校引领人工智能创新行动计划》，并研究设立人工智能专业，进一步完善中国高校人工智能学科体系。2019年3月，教育部印发了《教育部关于公布2018年度普通高等学校本科专业备案和审批结果的通知》，根据通知，全国共有35所高校获首批“人工智能”新专业建设资格。

2020年3月3日，教育部公布2019年度普通高等学校本科专业备案和审批结果，“人工智能”专业成为热门。

人工智能是一个综合学科，其本身涉及很多方面，比如神经网络、机器识别、机器视觉、机器人等，因此，我们想要学好整个人工智能是很不容易的。

首先我们需要一定的数学基础，如：高数、线性代数、概率论、统计学等等。很多人可能要问，我学习人工智能为什么要有数学基础呢？二者看似毫不相干，实则不然。线性代数能让我们了解如何将研究对象形象化，概率论能让我们懂得如何描述统计规律，此外还有许多其他数学科目，这些数学基础能让我们在学习人工智能的时候事半功倍。

然后我们需要的就是对算法的累积，比如人工神经网络、遗传算法等。人工智能的本身还是通过算法对生活中的事物进行计算模拟，最后做出相应操作的一种智能化工具，算法在其中扮演的角色非常重要，可以说是不可或缺的一部分。

最后需要掌握和学习的就是编程语言，毕竟算法的实现还是需要编程的，推荐学习的有Java以及Python。如果以后想往大数据方向发展，就学习Java，而Python可以说是学习人工智能所必须要掌握的一门编程语言。当然，只掌握一门编程语言是不够的，因为大多数机器人的仿真都是采用的混合编程模式，即采用多种编程软件及语言组合使用，在人工智能方面一般使用的较多的有汇编和C++，此外还有MATLAB、VC++等，总之一句话，编程是必不可少的一项技能，需要我们花费大量时间和精力去掌握。

人工智能现在发展得越来越快速，这得益于计算机科学的飞速发展。可以预料到，在未来，我们的生活中将随处可见人工智能的产品，而这些产品能为我们的生活带来很大的便利，而人工智能行业的未来发展前景也是十分光明的。所以，选择人工智能行业不会错，但正如文章开头所说，想入行，需要我们下足功夫，全面掌握这个行业所需要的技能才行。

，首先呢，如果你是在校大学生，想要以后从事人工智能专业相关工作，我这里给你分享下 南京大学人工智能学院院长周志华教授 曾经在论坛上分享的南京大学人工智能专业本科生教育培养大纲的相关课程。

首先是基础数学部分：

人工智能亦称智械、机器智能，指由人制造出来的机器所表现出来的智能。通常人工智能是指通过普通计算机程序来呈现人类智能的技术。通过医学、神经科学、机器人学及统计学等的进步，有些预测则认为人类的无数职业也逐渐被人工智能取代。

④ NLP自然语言处理

罗素悖论：由所有不包含自身的集合构成的集合

例子：理发师称只给那些不给自己理发的人理发。

基于集合论，理发师无论给自己理发还是不给自己理发都是矛盾的。

因此集合论不是完备的。 即使后面冯罗伊德等科学家提出了各种假定条件。

由于上述的原因，集合率无法很好的描述自然语言，科学家发现通过概率模型可以更好的描述自然语言。

深度学习来处理自然语言属于概率模型

证明最小点位于坐标轴上

h = f+c|x|

由于在x = 0处不可导

h-left'(0)*h-right'(0) = (f'+c)*(f'-c)

那么如果c>|f'(0)|可得，h在0处左右导数异号

0是最值。

那么在损失函数加入L1正则化后，可以得到某些维度容易为0，从而得到稀疏解

几乎所有的最优化手段，都将适用凸优化算法来解决

P(A|B) = P(A and B) / P(B)

if A and B 独立

=》P(A and B| C) = P(A|C)*P(B|C)

也可以推出

=>A(A|B and C) = P(A|C) (B交C不为空)

抛9次硬币，硬币出现正面的概率是0.5，出现k次的概率分布如下如

服从正态分布

x的平均值

E = x*p(x) + ...

x相对于期望的偏离

var = (x-E(x))^2

conv = (x - E(x))*(m - E(m))

描述x,m是否有同分布

按理协方差为0，并不代表x和m没有关系

例如下图

如果点的分布对称的分布，会得到协方差为0，但是其实他们是有关系的。

把每个相关的概率累加，得到联合概率

P(x1=m1,x2=m2...) = n!*P1 ^m1/m1!*P2 m2/m2!

T(n) = (n-1)!

T(x)用一条曲线逼近n!，进而可以求得非整数的阶乘

由二项式分布推出

P = T(a+b)*x ^(a-1)*(1-x) (b-1)/(T(a)*T(b))

则正态分布

y为0时，不考虑y‘。y为1时，y'越接近1，越小，越靠近0，越大

把D最小化，迫使y'逼近y

对于一个句子，有若干单词组成。例如

C1: The dog laughs.

C2: He laughs.

那么计算P(C1) = P(The, Dog, laughs)的概率和P(C2) = P(He, laughs)的概率。

根据历史文本的统计学习。

可以得到P(C1)<<P(C2)

P('I love the game') = P('I')*P('love')*P('the')*P('game')

其中P(<work>) = 频率/总单词数

计算一篇文章是积极的还是消极的。

P(y|x) = sigmod(wx)

x是文章内每个单词的频率

y表示积极和消极情感

其中P(xk|x1, x2,..xk-1) = frequence(x1, x2 ,, xk)/frequence(x1, x2..xk-1)

2-gram模型例子

把多个gram的模型进行线性整合

P(y|x1, x2, .. xn) = P(y)*P(x1, x2, ... xn|y) / P(x1, x2, ... xn)

y代表是否是垃圾邮件

x代表单词

广州市长寿路 -》 广州市长|寿路

广州市长寿路 -》 广州市|长寿路

匹配词袋：广州市，广州市长，长寿路

使用最大匹配发，第二个分词更优

通过统计P(A|B)，得出各个option的概率，取最大的概率，则为最后的分词

word => [0, 0 , ... 1, ... 0]

word => [0, 1, 0, 1, 0, ...]

可以解决词相似性问题

计算附近词的频率

word => [0, 3, 0, 1, 0, ...]

w是附近词的one-hot encoding

score是词的one-hot encoding

最后一层通过softmax，取拟合文本

最终中间层则为词向量

输入为词one-hot encoding

输出为附近此的one-hot encoding

最后通过softmax预测附近词

最后中间层则为结果词向量

混合模型是一种统计模型，问题中包含若干个子问题，每个子问题是一个概率分布，那么总问题就是若干个子问题的组合，也就是若干个子分部的组合，这样就形成了混合模型。

有红黑两种硬币，把它们放在盒子里，从盒子里随机抽取一个硬币并投币，抽到红色的概率是p，红色硬币正面的概率是q，黑色硬币正面的概率是m，假设我们没办法看到抽取出的硬币的颜色，只能看到最终是正面或者反面的结果，例如HTTHTTTTHHH (H:正面 T: 反面)。需要估计p,q,m三个参数。

此时可以计算出

通过EM算法迭代如下：

随机p q m

迭代以下过程：

计算上面table

p = (aC(正)+cC(反))/total

q = aC(正)/(aC正+cC正)

m = bC(正)/(bC正 + dC正)

假设有上述数据，需要用混合模型来逼近，通过分析，红色和蓝色数据分别为高斯正态分布，N(u, v)

此时可以得到如下表

p = pN红x/(pN红x+(1-p)N蓝x)

u = pN红x/n

v = pN红(x-u)^2/n

词性转换概率

词性到单词的转换概率

通过EM递归算法，训练以上参数，得到隐马尔可夫模型

PLSA主题模型

只统计词的频率，不计算词的相对位置

计算文档和单词频率的矩阵

进行奇异矩阵分解

得到A矩阵的压缩U，U中的k则为k个主题

通过分析，LSA得到的主题是跟现实无法关联，它只是一个量，而没有明显的意义。

PLSA为了解决此问题，引入概率模型，先确定主题个数

然后通过构建Doc->topic的概率table，和topic->word的概率table。

然后通过EM模型，得到这两个table的所有概率值。

进而得到文档的主题表示

PLSA的缺陷是，对于预测未知的doc，无法计算此文档的相关概率。随着doc数量的增加，PLSA模型的参数会线性增加，从而会造成过拟合。

LDA通过引入先验概率来克服PLSA的问题。

类似于编译原理的上下文无法句法分析，一颗语法树

通过对CFG引入概率参数

有了概率，可以计算每颗语法树的极大似然概率，并取最大概率的树为最终输出

上一个状态中间层的输出作为下一隐层的输入

类似于HMM的2-gram模型。t状态受到t-1时刻输出的影响，受t-k的输出的k越大，影响越小

由于RNN几乎只受到上一时刻的影响，而忽略了久远信息的影响。从而造成了一定的局限性。

LSTM通过引入长短记忆方法，来维持长记忆的信息。

通过训练核内的sigmod函数，使得LSTM可以根据不同的句子，有条件的保留和过滤历史信息，从而达到长记忆的功能。

GRU是LSTM的简化版，它只需要处理两个sigmod函数的训练，而LSTM需要三个sigmod函数的训练，减少了训练的参数，加快了训练的速度，但也损失了一部分模型的复杂，在处理较复杂问题时，没有LSTM那么好。

auto-encoder-decoder的特点是输出的单元数是固定的。对于一般自然语言处理，例如机器翻译，输入的单元个数跟输出单元的个数并不是一一对应的，此时就需要动态的生成输出单元。Seq2Seq通过动态的输出结束符，代表是否输出完成，达到可以动态的根据输入输出不同的单元个数。

seq2seq的缺点是，所有的输入序列都转化为单一的单元c，导致很多信息都将消失，对于不同的输出yi，它可能依赖的输入xj有可能不一样，此时通过加入注意力模型，通过对xi进行softmax处理，并加入到y权重的训练中，可以让不同的y，有不同的x对它进行影响

softmax的输入为输入单元x，和上一个输出单元y，联合产生softmax的权重，进而对不同的序列，对于同一个x，会有不同的注意力到输出

q = Wq(x)

k = Wk(x)

v = Wv(x)

x为词向量

通过训练，得到权重w，从而学习到这一层的softmax注意力参数

R是前一次encoder的输出

通过增加w的数量，产生多个z，并进行堆叠，通过前馈网络，最后产生z

在使用self attention处理句子时，是没有考虑单词在句子中的位置信息的。为了让模型可以加入考虑单词的位置信息，加入了位置编码的向量

计算如下：

pos为单词在句子中的位置

i为词向量的位置

d为句子的长度

位置编码加上词向量形成tranformer的输入

加入了归一化和残差网络

最终通过softmax，输出每个单词的概率，并最终输出单词

⑤ 数据挖掘工程师一般都做什么

数据挖掘工程师是做什么的？

数据挖掘，从字面上理解，就是在数据中找到有用的东西，哪些东西有用就要看具体的业务目标了。最简单的就是统计应用了，比如电商数据，如淘宝统计过哪个省购买泳衣最多、哪个省的女生胸罩最大等，进一步，可以基于用户的浏览、点击、收藏、购买等行为推断用户的年龄、性别、购买能力、爱好等能表示一个人的画像，就相当于用这些挖掘出来的属性来刻画一个人，这些还是最简单的东西，更深层次的比如预测（股票预测），但是比较难。

数据挖掘往往与机器学习离不开。比如分类、聚类、关联规则挖掘、个性化推荐、预测、神经网络、深度学习等。

数据挖掘 = 业务知识 + 自然语言处理技术（ NLP ） + 计算机视觉技术（ CV ） + 机器学习 / 深度学习（ ML/DL ）

（ 1 ）其中业务知识具体指的是个性化推荐，计算广告，搜索，互联网金融等； NLP ， CV 分别是处理文本，图像视频数据的领域技术，可以理解为是将非结构化数据提取转换成结构化数据；最后的ml/dl 技术则是属于模型学习理论；

（ 2 ）在选择岗位时，各个公司都没有一套标准的称呼，但是所做的事情无非 2 个大方向，一种是主要钻研某个领域的技术，比如自然语言处理工程师，计算机视觉工程师，机器学习工程师等；一种是将各种领域技术应用到业务场景中去解决业务需求，比如数据挖掘工程师，推荐系统工程师等；具体的称呼不重要，重要的是平时的工作内容；

PS ：在互联网行业，数据挖掘相关技术应用比较成功的主要是推荐以及计算广告领域，而其中涉及到的数据主要也是文本，所以 NLP 技术相对来讲比较重要，至于 CV 技术主要还是在人工智能领域（无人车，人脸识别等）应用较多，本人了解有限，相关的描述会较少；

数据挖掘岗位需要具备的3 种基本能力

1. 工程能力

（ 1 ）编程基础：需要掌握一大一小两门语言，大的指 C++ 或者 Java ，小的指 Python 或者 shell 脚本；需要掌握基本的数据库语言；

建议： MySQL + python + C++ ；语言只是一种工具，看看语法就好；

推荐书籍：《 C++ primer plus 》

（ 2 ）开发平台： Linux ；

建议：掌握常见的命令，掌握 Linux 下的源码编译原理；

推荐书籍：《 Linux 私房菜》

（ 3 ）数据结构与算法分析基础：掌握常见的数据结构以及操作（线性表，队，列，字符串，树，图等），掌握常见的计算机算法（排序算法，查找算法，动态规划，递归等）；

建议：多敲代码，多上 OJ 平台刷题；

推荐书籍：《大话数据结构》《剑指 offer 》

（ 4 ）海量数据处理平台： Hadoop （ mr 计算模型， java 开发）或者 Spark （ rdd 计算模型， scala开发），重点推荐后者；

建议：主要是会使用，有精力的话可以看看源码了解集群调度机制之类的；

推荐书籍：《大数据 spark 企业级实战》

2. 算法能力

（ 1 ）数学基础：概率论，数理统计，线性代数，随机过程，最优化理论

建议：这些是必须要了解的，即使没法做到基础扎实，起码也要掌握每门学科的理论体系，涉及到相应知识点时通过查阅资料可以做到无障碍理解；

（ 2 ）机器学习 / 深度学习：掌握 常见的机器学习模型（线性回归，逻辑回归， SVM ，感知机；决策树，随机森林， GBDT ， XGBoost ；贝叶斯， KNN ， K-means ， EM 等）；掌握常见的机器学习理论（过拟合问题，交叉验证问题，模型选择问题，模型融合问题等）；掌握常见的深度学习模型（ CNN ，RNN 等）；

建议：这里的掌握指的是能够熟悉推导公式并能知道模型的适用场景；

推荐书籍：《统计学习方法》《机器学习》《机器学习实战》《 UFLDL 》

（ 3 ）自然语言处理：掌握常见的方法（ tf-idf ， word2vec ， LDA ）；

3. 业务经验

（ 1 ）了解推荐以及计算广告相关知识；

推荐书籍：《推荐系统实践》《计算广告》

（ 2 ）通过参加数据挖掘竞赛熟悉相关业务场景，常见的比赛有 Kaggle ，阿里天池， datacastle 等。

想要学习数据挖掘的话可以看一下这篇文章《AI时代就业指南：数据挖掘入门与求职》

⑥ 要学数据挖掘需要哪些基础

人工智能、机器学习、模式识别、统计学、数据库、可视化技术等。

数据挖掘从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息，数据挖掘主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据；

作出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，作出正确的决策。

(6)编译原理lda扩展阅读

数据挖掘起源于“情报深加工”，前身为“知识发现”，其实质就是找寻出数据背后的“故事”。用好数据挖掘技术，就能破除信息化战场的“数据迷雾”，从而发现数字背后的奥秘，从战略、战役、战术各个层面准确掌握战场态势及对手作战特点。

信息化战争中，军事决策的正确、及时与否，直接决定战争行动的成败。数据挖掘技术的出现，可以帮助军事决策人员从海量战场数据中分析获取有价值信息，进而为作战筹划等军事决策提供有力支撑。

借助专家系统、遗传算法，可高效完成兵力区分、战术编组、队形配置等决策；借助关联算法、统计决策，可准确预判敌人的行动路线，对重要目标实施保护；借助“决策树”方法、人工神经网络以及可视化技术等，可进行目标火力分配。

数据挖掘还可以进行战场环境分析，实现战场态势的精确感知，为指挥员提供更加清晰的战场态势显示。