算法集成器

① 集成算法名词解释

集成算法(Emseble Learning)是构建多个学习器，然后通过一定策略结合把它们来完成学习任务的，常常可以获得比单一学习显着优越的学习器。

② 随机森林原理与Sklearn参数详解

目录

1、集成算法概述

2 、 Sklearn中RandomForestClassifier重要参数详解

3、Sklearn中RandomForestRegressor重要参数详解

4、附录

5、总结

1、集成算法概述： 集成算法的目标是多个评估器建模的结果，汇总后得到一个综合结果，以此来获取比单个模型更好的回归或分类表现。多个模型集成成为的模型叫集成评估器，单个模型叫基评估器。通常说有三种集成算法：装袋法（Bagging）、提升法（Boosting）和stacking。装袋法的基本思想是构建多个相互独立的基评估器，然后通过预测平均或多数表决原则来决定集成评估器的结果。装袋法的典型代表就是随机森林（RandomForest）。

2、RandomForestClassifier重要参数：

n_estimators： integer, optional (default=100)， 森林中基评估器的数量，即树的数量。n_estimators越大模型效果越好，但达到一定程度时，精确性趋于稳定。n_estimators越大模型的计算量越大，需要的内存也越大。

random_state： int, RandomState instance or None, optional (default=None)， 控制树的生成模式。在DecisionTreeClassifier中random_state生成随机的一棵树，这里的参数控制的是随机生成一片森林模式。 用袋装法集成时，基分类器应当是相互独立的，是不同的。

bootstrap： boolean, optional (default=True)， 要让基分类器尽量都不一样，一种方式是使用不同的训练数据集来训练不同的树。而装袋法采用的是有放回采样法，来确保每棵树的随机性。booststrap就是用来控制抽样技术的参数。

oob_score： bool (default=False)， 是否启用袋外数据做测试。有放回采样策略中，自助数据集平均包含63%的原始数据被抽中（每个样本从原始数据抽中到自助集的概率为： =63%左右），也就是说袋外数据（out of bag data  简称oob数据）大致占37%。在使用随机森林时，我们可以不划分测试和训练集，只要开启袋外数据支持，就可以用袋外数据测试我们的模型。然后这并不绝对，如果n足够大，则没有数据落入袋外，自然无法使用oob数据来测试模型了。如果需要用袋外数据做测试，则设置该参数为True，实例化并训练模型完成后，可以通过oob_score_来查看真是落入袋外的数据量。

重要属性与接口：

除了estimators_和oob_socre_这两个属性外，作为树模型也有feature_importances这个属性。

常用的接口主要有：apply，fit，predict和score。除此之外，还需要注意随机森林的predict_proba接口，该接口返回预测数据的被分到每一类标签的概率。如果是二分类，则predict_proba返回的数值大于0.5时被划分为1，否则为0。（在sklearn的随机森林中predict_proba返回每棵树的概率，然后取平均概率，从而根据概率值是否大于0.5划分为1，否则为0，来决定样本分类的）

Bagging要求基分类器相互独立，袋装法另一个必要条件是：基分类器的误差率要小于0.5，即准确率大于0.5，集成效果才好于基分类器。所以使用随机森林前，先要观察各基分类器是否都有至少50%的预测正确率。

3、RandomForestRegressor重要参数：

criterion：string, optional (default=”mse”)

1、输入“mse”使用均方误差mean squared err(MSE)，父节点和子节点之间的均方误差的差额将被用来作为特征选择的标准，这种方法通过使用叶子节点的均值来最小化L2损失。

2、输入“friedman_mse”使用费尔德曼均方误差，这种指标使用费尔德曼针对潜在分枝中的问题改进后的均方误差。

3、输入“mae”使用绝对平均误差MAE(mean absolute error)，这种指标使用叶节点的中值来最小化L1损失。

，

其中N是样本数量，i是每一个数据样本，fi是模型回归出的数值，yi是样本点i实际的数值标签。因此MSE的本质是回归值与真实值的差异。 在回归树中，MSE不仅是最优的分枝指标，也是最常用的衡量回归树回归质量的指标。

回归树接口：

score: 返回的是R平方，并不是MSE。R平方定义如下：

， ， ，

其中u是残差平方和（MSE*N），v是总平方和，N是样本数量，i是每个样本，fi是模型回归出的值，yi是样本点i的实际数值标签。y帽是真实数值标签的平均数。

R2可以为正也可以为负，当残差平方和远远大于模型总平方和时，模型非常糟糕，R2为负；但MSE永远为正。但Sklearn当中使用均方误差作为评判标准时，却是计算“负均方误差”（neg_mean_squared_error）以负数表示。其实就是MSE前加了个负号。

4、附录

参数列表

属性列表

接口列表

5、总结： 本文详细介绍了集成学习中Bagging的典型代表随机森林的工作原理，同时对sklearn中RandomForestClassifier和RandomForestRegressor核心参数、属性、接口进行了介绍。

③ 什么是Bagging算法

bagging 是bootstrap aggregating的缩写，它首次介绍是在L. Breiman, Bagging predictors, Mach. Learn. 24 (2) (1996) 123--140 ，是第一批用于多分类器集成算法。该集成方法包括在一个训练集合上重复训练得到的多个分类器。
给定一个大小为N的训练集合，bagging方法构建了n个新的训练集合S1，S2...Sn,每个训练集合都是由随机抽取的N个样本进行训练。得到的

④ 地平线(Horizon Robotics)有哪些核心技术在行业内受认可么

地平线（Horizon Robotics）具有自主研发兼具极致效能与高效灵活的边缘人工智能芯片及解决方案的能力；可面向智能驾驶以及更广泛的智能物联网领域，提供包括高效能边缘AI芯片、开放工具链、丰富算法样例等在内的全面赋能服务。其次，地平线具有世界领先的深度学习和决策推理算法开发能力，可将算法集成在高性能、低功耗、低成本的边缘人工智能处理器及软硬平台上。同时，地平线（Horizon Robotics）还自主设计研发了创新性的人工智能专用处理器“Brain Processing Unit（BPU)”，可以提供设备端上软硬结合的嵌入式人工智能解决方案。
至于行业认可度，举个例子说吧~地平线（Horizon Robotics）是目前业界唯一的覆盖从L2到L4的全场景整车智能芯片方案提供商。征程5系列发布当天，就与上汽集团、长城汽车、比亚迪等多家知名车企达成量产合作意向了，行业地位不言而喻~

⑤ 如何用weka将多种分类算法集成起来

需要将文件转换成标称（nominal)类型，weka把exel中的数字看作是数据类型，不能处理，从而导致Apriori算法没法用。
WEKA的全名是怀卡托智能分析环境(Waikato Environment for Knowledge Analysis)，同时weka也是新西兰的一种鸟名，而WEKA的主要开发者来自新西兰。wekaWEKA作为一个公开的数据挖掘工作，集合了大量能承担数据挖掘任务的机器学习算法，包括对数据进行预处理，分类，回归、聚类、关联规则以及在新的交互式界面上的可视化。
如果想自己实现数据挖掘算法的话，可以参考weka的接口文档。在weka中集成自己的算法甚至借鉴它的方法自己实现可视化工具并不是件很困难的事情。
2005年8月，在第11届ACM SIGKDD国际会议上，怀卡托大学的Weka小组荣获了数据挖掘和知识探索领域的最高服务奖，Weka系统得到了广泛的认可，被誉为数据挖掘和机器学习 历史上的里程碑，是现今最完备的数据挖掘工具之一(已有11年的发展历史)。Weka的每月次数已超过万次。

⑥ 算法是集成在系统里 还是芯片里

国密算法是国家密码局制定标准的一系列算法。其中包括了对称加密算法，椭圆曲线非对称加密算法，杂凑算法。具体包括SM1,SM2,SM3等，其中： SM2为国家密码管理局公布的公钥算法，其加密强度为256位。其它几个重要的商用密码算法包括： SM1，对称加密算法，加密强度为128位，采用硬件实现； SM3，密码杂凑算法，杂凑值长度为32字节，和SM2算法同期公布，参见《国家密码管理局公告（第 22 号）》； SMS4，对称加密算法，随WAPI标准一起公布，可使用软件实现，加密强度为128位。

⑦ 科普：国产密码算法

密码学(cryptography)： 通过将信息编码使其不可读，从而达到安全性。

算法 ：取一个输入文本，产生一个输出文本。

加密算法 ：发送方进行加密的算法。

解密算法 ：接收方进行解密的算法。

对称密钥加密 (Symmetric Key Cryptography)：加密与解密使用相同密钥。

非对称密钥加密 (Asymmetric Key Cryptography)：加密与解密使用不同密钥。

密钥对 ：在非对称加密技术中，有两种密钥，分为私钥和公钥，私钥是密钥对所有者持有，不可公布，公钥是密钥对持有者公布给他人的。

公钥 ：公钥用来给数据加密，用公钥加密的数据只能使用私钥解密。

私钥 ：如上，用来解密公钥加密的数据。

摘要 ：对需要传输的文本，做一个HASH计算。

签名 ：使用私钥对需要传输的文本的摘要进行加密，得到的密文即被称为该次传输过程的签名。

密码协议是指两个或两个以上的参与者为了达到某种特定目的而采取的一系列步骤。规定了一系列有序执行的步骤，必须依次执行。必须有两个或两个以上的参与者，有明确的目的。参与者都必须了解、同意并遵循这些步骤。

常见的密码协议包括IPSEC VPN 协议、SSL VPN 协议、密钥交换协议等。

密码是指描述密码处理过程的一组运算规则或规程，一般是指基于复杂数学问题设计的一组运算，其基本原理基于数学难题、可证明计算、计算复杂度等。主要包括:对称密码、公钥密码、杂凑算法、随机数生成。

在对称加密算法中，加密使用的密钥和解密使用的密钥是相同的，加密和解密都是使用同一个密钥，不区分公钥和私钥。

通信双方采用相同的密钥来加解密会话内容，即一段待加密内容，经过同一个密钥的两次对称加密后，与原来的结果一样，具有加解密速度快和安全强度高的优点。

国际算法:DES、AES。

国产算法:SM1、SM4、SM7。

非对称加解密算法又称为 公钥密码 ，其密钥是成对出现的。双方通信时，首先要将密钥对中的一个密钥传给对方，这个密钥可以在不安全的信道中传输；传输数据时，先使用自己持有的密钥做加密，对方用自己传输过去的密钥解密。

国际算法：RSA

国产算法：SM2

优点：

密钥分发数目与参与者数目相同，在有大量参与者的情况下易于密钥管理。

支持数字签名和不可否认性。

无需事先与对方建立关系，交换密钥。

缺点：

速度相对较慢。

可能比同等强度的对称密码算法慢10倍到100倍。

加密后，密文变长。

密码杂凑算法 :又称为散列算法或哈希函数，一种单向函数，要由散列函数输出的结果，回推输入的资料是什么，是非常困难的。

散列函数的输出结果，被称为讯息摘要（message digest）或是 摘要（digest） ，也被称为 数字指纹 。

杂凑函数用于验证消息的完整性， 在数字签名中，非对称算法对数据签名的速度较慢，一般会先将消息进行杂凑运算，生成较短的固定长度的摘要值。然后对摘要值进行签名，会大大提高计算效率 。

国际算法:MD5、SHA1、SHA2、SHA3

国产算法:SM3

2009年国家密码管理局发布的《信息安全等级保护商用密码技术实施要求》中明确规定，一、二、三、四级信息系统应使用商用密码技术来实施等级保护的基本要求和应用要求，一到四级的密码配用策略要求采用国家密码管理部门批准使用的算法。

2010年年底，国家密码管理局公开了SM2、SM3等国产密码算法。

2011年2月28日，国家密码管理局印发的【2011】145号文中明确指出，1024位RSA算法正在面临日益严重的安全威胁，并要求各相关企业在2012年6月30日前必须使用SM2密码算法

国家密码管理局在《关于做好公钥密码算法升级工作的函》中要求2011年7月1日以后建立并使用公钥密码的信息系统，应使用SM2算法；已经建设完成的系统，应尽快进行系统升级，使用SM2算法。

2014年底，国家密码管理局启动《重要信息系统密码应用推进总体研究课题》,确定十三五密码 科技 专项。

2017年11月底，国家密码管理局下发了《政务云密码支撑方案及应用方案设计要点》。

2017年国家密码管理局发布了42项金融和重要领域国产密码应用试点任务。

2018年，中共中央办公厅、国务院办公厅印发《金融和重要领域密码应用与创新发展工作规划（2018-2022年）。

2018年，为指导当时即将启动的商用密码应用安全性评估试点工作，国家密码管理局发布了密码行业标准GM/T0054-2018《信息系统密码应用 基本要求》。

2021年3月，国家市场监管总局、国家标准化管理委员会发布公告，正式发布国家标准GB/T39786-2021《信息安全技术信息系统密码应用基本要求》，该标准于2021年10月1日起实施。

SM1 算法是分组密码算法，分组长度为 128 位，密钥长度都为 128 比特，算法安全保密强度及相关软硬件实现性能与AES相当，算法不公开，仅以IP核的形式存在于芯片中。

算法集成于加密芯片、智能 IC 卡、智能密码钥匙、加密卡、加密机等安全产品，广泛应用于电子政务、电子商务及国民经济的各个应用领域(包括政务通、警务通等重要领域)。

SM2椭圆曲线公钥密码算法是我国自主设计的公钥密码算法，是一种基于ECC算法的 非对称密钥算法， 其加密强度为256位，其安全性与目前使用的RSA1024相比具有明显的优势。

包括SM2-1椭圆曲线数字签名算法，SM2-2椭圆曲线密钥交换协议，SM2-3椭圆曲线公钥加密算法，分别用于实现 数字签名密钥协商 和 数据加密 等功能。

SM3杂凑算法是我国自主设计的密码杂凑算法，属于哈希（摘要）算法的一种，杂凑值为256位，安全性要远高于MD5算法和SHA-1算法。

适用于商用密码应用中的 数字签名 和 验证消息认证码的生成与验证 以及 随机数 的生成，可满足多种密码应用的安全需求。

SM4 分组密码算法 是我国自主设计的分组对称密码算法，SM4算法与AES算法具有相同的密钥长度分组长度128比特，因此在安全性上高于3DES算法。

用于实现数据的加密/解密运算，以保证数据和信息的机密性。软件和硬件加密卡均可实现此算法。

商用密码技术框架包括 密码资源、密码支撑、密码服务、密码应用 等四个层次，以及提供管理服务的密码管理基础设施。

密码资源层： 主要是提供基础性的密码算法资源。

密码支撑层： 主要提供密码资源调用，由安全芯片、密码模块、智能IC卡、密码卡、服务器密码机、签名验签服务器、IPSCE/SSL VPN 等商密产品组成。

密码服务层： 提供密码应用接口，分为对称和公钥密码服务以及其他三大类。

密码应用层： 调用密码服务层提供的密码应用程序接口，实现数据的加解密、数字签名验签等服务。如应用 于 安全邮件、电子印章系统、安全公文传输、移动办公平台、可信时间戳等系统。

密码管理基础设施： 独立组件，为以上四层提供运维管理、信任管理、设备管理、密钥管理等功能。

完整的PKI系统必须具有权威认证机构(CA)、数字证书库、密钥备份及恢复系统（KMC）、证书作废系统（CRL）、应用接口（API）等基本构成部分，构建PKI也将围绕着这五大系统来着手构建。

CA 系统：Ca系统整个PKI的核心，负责证书的签发。CA首先产生自身的私钥和公钥（密钥长度至少为1024位），然后生成数字证书，并且将数字证书传输给安全服务器。、CA还负责为操作员、安全服务器以及注册机构服务器生成数字证书。安全服务器的数字证书和私钥也需要传输给安全服务器。

CA服务器是整个结构中最为重要的部分，存有CA的私钥以及发行证书的脚本文件，出于安全的考虑，应将CA服务器与其他服务器隔离，任何通信采用人工干预的方式，确保认证中心的安全。

（1）甲使用乙的公钥对明文进行加密，生成密文信息。

（2）甲使用HASH算法对明文进行HASH运算，生成数字指纹。

（3）甲使用自己的私钥对数字指纹进行加密，生成数字签名。

（4）甲将密文信息和数字签名一起发送给乙。

（5）乙使用甲的公钥对数字签名进行解密，得到数字指纹。

（6）乙接收到甲的加密信息后，使用自己的私钥对密文信息进行解密，得到最初的明文。

（7）乙使用HASH算法对还原出的明文用与甲所使用的相同HASH算法进行HASH运算，生成数字指纹。然后乙将生成的数字指纹与从甲得到的数字指纹进行比较，如果一致，乙接受明文；如果不一致，乙丢弃明文。

SSL 协议建立在可靠的传输协议（如 TCP）之上，为高层协议提供数据封装，压缩，加密等基本功能。

即可以协商加密算法实现加密传输，防止数据防窃听和修改，还可以实现对端设备身份验证、在这个过程中，使用国密算法进行加密、签名证书进行身份验证、加密证书用于密钥交换

SSL协商过程：

（1）客户端发出会话请求。

（2）服务端发送X.509证书（包含服务端的公钥）。

（3）客户端用已知Ca列表认证证书。

（4）客户端生成随机对称密钥，并利用服务端的公钥进行加密。

（5）双方协商完毕对称密钥，随后用其加密会话期间的用户最终数据。

利用SSL卸载技术及负载均衡机制，在保障通讯数据安全传输的同时，减少后台应用服务器的性能消耗，并实现服务器集群的冗余高可用，大幅度提升整个业务应用系统的安全性和稳定性。此外，借助多重性能优化技术更可缩短了业务访问的响应等待时间，明显提升用户的业务体验。

基于 数字证书 实现终端身份认证，给予密码运算实现本地数据的加密存储，数字证书硬件存储和密码运算由移动终端内置的密码部件提供。

移动应用管理系统服务器采用签名证书对移动应用软件安装包进行签名，移动应用管理系统客户端对签名信息进行验签，保障移动应用软件安装包的真实性和完整性。

移动办公应用系统采用签名证书对关键访问请求进行签名验证。

采用加密证书对关键传输数据和业务操作指令，以及移动终端本地存储的重要数据进行加密保护。

移动办公系统使用商用密码，基于数字证书认证系统，构建覆盖移动终端、网络、移动政务应用的安全保障体系，实现政务移动终端安全、接入安全、传输安全和移动应用安全 。

⑧ 什么是集成算法

应该是一种忽略物体内部的次要因素来进行计算的方法，是将一个三维问题简化的问题的方法。

⑨ 机器学习新手必看十大算法

机器学习新手必看十大算法
本文介绍了机器学习新手需要了解的 10 大算法，包括线性回归、Logistic 回归、朴素贝叶斯、K 近邻算法等。
在机器学习中，有一种叫做“没有免费的午餐”的定理。简而言之，它指出没有任何一种算法对所有问题都有效，在监督学习(即预测建模)中尤其如此。
例如，你不能说神经网络总是比决策树好，反之亦然。有很多因素在起作用，例如数据集的大小和结构。
因此，你应该针对具体问题尝试多种不同算法，并留出一个数据“测试集”来评估性能、选出优胜者。
当然，你尝试的算法必须适合你的问题，也就是选择正确的机器学习任务。打个比方，如果你需要打扫房子，你可能会用吸尘器、扫帚或拖把，但是你不会拿出铲子开始挖土。
大原则
不过也有一个普遍原则，即所有监督机器学习算法预测建模的基础。
机器学习算法被描述为学习一个目标函数 f，该函数将输入变量 X 最好地映射到输出变量 Y：Y = f(X)
这是一个普遍的学习任务，我们可以根据输入变量 X 的新样本对 Y 进行预测。我们不知道函数 f 的样子或形式。如果我们知道的话，我们将会直接使用它，不需要用机器学习算法从数据中学习。
最常见的机器学习算法是学习映射 Y = f(X) 来预测新 X 的 Y。这叫做预测建模或预测分析，我们的目标是尽可能作出最准确的预测。
对于想了解机器学习基础知识的新手，本文将概述数据科学家使用的 top 10 机器学习算法。
1. 线性回归
线性回归可能是统计学和机器学习中最知名和最易理解的算法之一。
预测建模主要关注最小化模型误差或者尽可能作出最准确的预测，以可解释性为代价。我们将借用、重用包括统计学在内的很多不同领域的算法，并将其用于这些目的。
线性回归的表示是一个方程，它通过找到输入变量的特定权重(称为系数 B)，来描述一条最适合表示输入变量 x 与输出变量 y 关系的直线。
线性回归
例如：y = B0 + B1 * x
我们将根据输入 x 预测 y，线性回归学习算法的目标是找到系数 B0 和 B1 的值。
可以使用不同的技术从数据中学习线性回归模型，例如用于普通最小二乘法和梯度下降优化的线性代数解。
线性回归已经存在了 200 多年，并得到了广泛研究。使用这种技术的一些经验是尽可能去除非常相似(相关)的变量，并去除噪音。这是一种快速、简单的技术，可以首先尝试一下。
2. Logistic 回归
Logistic 回归是机器学习从统计学中借鉴的另一种技术。它是解决二分类问题的首选方法。
Logistic 回归与线性回归相似，目标都是找到每个输入变量的权重，即系数值。与线性回归不同的是，Logistic 回归对输出的预测使用被称为 logistic 函数的非线性函数进行变换。
logistic 函数看起来像一个大的 S，并且可以将任何值转换到 0 到 1 的区间内。这非常实用，因为我们可以规定 logistic 函数的输出值是 0 和 1(例如，输入小于 0.5 则输出为 1)并预测类别值。
Logistic 回归
由于模型的学习方式，Logistic 回归的预测也可以作为给定数据实例(属于类别 0 或 1)的概率。这对于需要为预测提供更多依据的问题很有用。
像线性回归一样，Logistic 回归在删除与输出变量无关的属性以及非常相似(相关)的属性时效果更好。它是一个快速的学习模型，并且对于二分类问题非常有效。
3. 线性判别分析(LDA)
Logistic 回归是一种分类算法，传统上，它仅限于只有两类的分类问题。如果你有两个以上的类别，那么线性判别分析是首选的线性分类技术。
LDA 的表示非常简单直接。它由数据的统计属性构成，对每个类别进行计算。单个输入变量的 LDA 包括：
每个类别的平均值;
所有类别的方差。
线性判别分析
进行预测的方法是计算每个类别的判别值并对具备最大值的类别进行预测。该技术假设数据呈高斯分布(钟形曲线)，因此最好预先从数据中删除异常值。这是处理分类预测建模问题的一种简单而强大的方法。
4. 分类与回归树
决策树是预测建模机器学习的一种重要算法。
决策树模型的表示是一个二叉树。这是算法和数据结构中的二叉树，没什么特别的。每个节点代表一个单独的输入变量 x 和该变量上的一个分割点(假设变量是数字)。
决策树
决策树的叶节点包含一个用于预测的输出变量 y。通过遍历该树的分割点，直到到达一个叶节点并输出该节点的类别值就可以作出预测。
决策树学习速度和预测速度都很快。它们还可以解决大量问题，并且不需要对数据做特别准备。
5. 朴素贝叶斯
朴素贝叶斯是一个简单但是很强大的预测建模算法。
该模型由两种概率组成，这两种概率都可以直接从训练数据中计算出来：1)每个类别的概率;2)给定每个 x 的值，每个类别的条件概率。一旦计算出来，概率模型可用于使用贝叶斯定理对新数据进行预测。当你的数据是实值时，通常假设一个高斯分布(钟形曲线)，这样你可以简单的估计这些概率。
贝叶斯定理
朴素贝叶斯之所以是朴素的，是因为它假设每个输入变量是独立的。这是一个强大的假设，真实的数据并非如此，但是，该技术在大量复杂问题上非常有用。
6. K 近邻算法
KNN 算法非常简单且有效。KNN 的模型表示是整个训练数据集。是不是很简单?
KNN 算法在整个训练集中搜索 K 个最相似实例(近邻)并汇总这 K 个实例的输出变量，以预测新数据点。对于回归问题，这可能是平均输出变量，对于分类问题，这可能是众数(或最常见的)类别值。
诀窍在于如何确定数据实例间的相似性。如果属性的度量单位相同(例如都是用英寸表示)，那么最简单的技术是使用欧几里得距离，你可以根据每个输入变量之间的差值直接计算出来其数值。
K 近邻算法
KNN 需要大量内存或空间来存储所有数据，但是只有在需要预测时才执行计算(或学习)。你还可以随时更新和管理训练实例，以保持预测的准确性。
距离或紧密性的概念可能在非常高的维度(很多输入变量)中会瓦解，这对算法在你的问题上的性能产生负面影响。这被称为维数灾难。因此你最好只使用那些与预测输出变量最相关的输入变量。
7. 学习向量量化
K 近邻算法的一个缺点是你需要遍历整个训练数据集。学习向量量化算法(简称 LVQ)是一种人工神经网络算法，它允许你选择训练实例的数量，并精确地学习这些实例应该是什么样的。
学习向量量化
LVQ 的表示是码本向量的集合。这些是在开始时随机选择的，并逐渐调整以在学习算法的多次迭代中最好地总结训练数据集。在学习之后，码本向量可用于预测(类似 K 近邻算法)。最相似的近邻(最佳匹配的码本向量)通过计算每个码本向量和新数据实例之间的距离找到。然后返回最佳匹配单元的类别值或(回归中的实际值)作为预测。如果你重新调整数据，使其具有相同的范围(比如 0 到 1 之间)，就可以获得最佳结果。
如果你发现 KNN 在你的数据集上达到很好的结果，请尝试用 LVQ 减少存储整个训练数据集的内存要求。
8. 支持向量机(SVM)
支持向量机可能是最受欢迎和最广泛讨论的机器学习算法之一。
超平面是分割输入变量空间的一条线。在 SVM 中，选择一条可以最好地根据输入变量类别(类别 0 或类别 1)对输入变量空间进行分割的超平面。在二维中，你可以将其视为一条线，我们假设所有的输入点都可以被这条线完全的分开。SVM 学习算法找到了可以让超平面对类别进行最佳分割的系数。
支持向量机
超平面和最近的数据点之间的距离被称为间隔。分开两个类别的最好的或最理想的超平面具备最大间隔。只有这些点与定义超平面和构建分类器有关。这些点被称为支持向量，它们支持或定义了超平面。实际上，优化算法用于寻找最大化间隔的系数的值。
SVM 可能是最强大的立即可用的分类器之一，值得一试。
9. Bagging 和随机森林
随机森林是最流行和最强大的机器学习算法之一。它是 Bootstrap Aggregation(又称 bagging)集成机器学习算法的一种。
bootstrap 是从数据样本中估算数量的一种强大的统计方法。例如平均数。你从数据中抽取大量样本，计算平均值，然后平均所有的平均值以便更好的估计真实的平均值。
bagging 使用相同的方法，但是它估计整个统计模型，最常见的是决策树。在训练数据中抽取多个样本，然后对每个数据样本建模。当你需要对新数据进行预测时，每个模型都进行预测，并将所有的预测值平均以便更好的估计真实的输出值。
随机森林
随机森林是对这种方法的一种调整，在随机森林的方法中决策树被创建以便于通过引入随机性来进行次优分割，而不是选择最佳分割点。
因此，针对每个数据样本创建的模型将会与其他方式得到的有所不同，不过虽然方法独特且不同，它们仍然是准确的。结合它们的预测可以更好的估计真实的输出值。
如果你用方差较高的算法(如决策树)得到了很好的结果，那么通常可以通过 bagging 该算法来获得更好的结果。
10. Boosting 和 AdaBoost
Boosting 是一种集成技术，它试图集成一些弱分类器来创建一个强分类器。这通过从训练数据中构建一个模型，然后创建第二个模型来尝试纠正第一个模型的错误来完成。一直添加模型直到能够完美预测训练集，或添加的模型数量已经达到最大数量。
AdaBoost 是第一个为二分类开发的真正成功的 boosting 算法。这是理解 boosting 的最佳起点。现代 boosting 方法建立在 AdaBoost 之上，最显着的是随机梯度提升。
AdaBoost
AdaBoost与短决策树一起使用。在第一个决策树创建之后，利用每个训练实例上树的性能来衡量下一个决策树应该对每个训练实例付出多少注意力。难以预测的训练数据被分配更多权重，而容易预测的数据分配的权重较少。依次创建模型，每个模型在训练实例上更新权重，影响序列中下一个决策树的学习。在所有决策树建立之后，对新数据进行预测，并且通过每个决策树在训练数据上的精确度评估其性能。
因为在纠正算法错误上投入了太多注意力，所以具备已删除异常值的干净数据非常重要。
总结
初学者在面对各种机器学习算法时经常问：“我应该用哪个算法?”这个问题的答案取决于很多因素，包括：(1)数据的大小、质量和特性;(2)可用的计算时间;(3)任务的紧迫性;(4)你想用这些数据做什么。
即使是经验丰富的数据科学家在尝试不同的算法之前，也无法分辨哪种算法会表现最好。虽然还有很多其他的机器学习算法，但本篇文章中讨论的是最受欢迎的算法。如果你是机器学习的新手，这将是一个很好的学习起点。