搜索推荐算法

Ⅰ 搜索引擎的排序算法都有哪些是怎么实现的

2.1基于词频统计——词位置加权的搜索引擎
利用关键词在文档中出现的频率和位置排序是搜索引擎最早期排序的主要思想，其技术发展也最为成熟，是第一阶段搜索引擎的主要排序技术，应用非常广泛，至今仍是许多搜索引擎的核心排序技术。其基本原理是：关键词在文档中词频越高，出现的位置越重要，则被认为和检索词的相关性越好。
1）词频统计
文档的词频是指查询关键词在文档中出现的频率。查询关键词词频在文档中出现的频率越高，其相关度越大。但当关键词为常用词时，使其对相关性判断的意义非常小。TF/IDF很好的解决了这个问题。TF/IDF算法被认为是信息检索中最重要的发明。TF（Term Frequency）：单文本词汇频率，用关键词的次数除以网页的总字数，其商称为“关键词的频率”。IDF（Inverse Document Frequency）：逆文本频率指数，其原理是，一个关键词在N个网页中出现过，那么N越大，此关键词的权重越小，反之亦然。当关键词为常用词时，其权重极小，从而解决词频统计的缺陷。
2）词位置加权
在搜索引擎中，主要针对网页进行词位置加权。所以，页面版式信息的分析至关重要。通过对检索关键词在Web页面中不同位置和版式，给予不同的权值，从而根据权值来确定所搜索结果与检索关键词相关程度。可以考虑的版式信息有：是否是标题，是否为关键词，是否是正文，字体大小，是否加粗等等。同时，锚文本的信息也是非常重要的，它一般能精确的描述所指向的页面的内容。
2.2基于链接分析排序的第二代搜索引擎
链接分析排序的思想起源于文献引文索引机制，即论文被引用的次数越多或被越权威的论文引用，其论文就越有价值。链接分析排序的思路与其相似，网页被别的网页引用的次数越多或被越权威的网页引用，其价值就越大。被别的网页引用的次数越多，说明该网页越受欢迎，被越权威的网页引用，说明该网页质量越高。链接分析排序算法大体可以分为以下几类：基于随机漫游模型的，比如PageRank和Repution算法；基于概率模型的，如SALSA、PHITS；基于Hub和Authority相互加强模型的，如HITS及其变种；基于贝叶斯模型的，如贝叶斯算法及其简化版本。所有的算法在实际应用中都结合传统的内容分析技术进行了优化。本文主要介绍以下几种经典排序算法：
1）PageRank算法
PageRank算法由斯坦福大学博士研究生Sergey Brin和Lwraence Page等提出的。PageRank算法是Google搜索引擎的核心排序算法，是Google成为全球最成功的搜索引擎的重要因素之一，同时开启了链接分析研究的热潮。
PageRank算法的基本思想是：页面的重要程度用PageRank值来衡量，PageRank值主要体现在两个方面：引用该页面的页面个数和引用该页面的页面重要程度。一个页面P（A）被另一个页面P（B）引用，可看成P（B）推荐P（A），P（B）将其重要程度（PageRank值）平均的分配P（B）所引用的所有页面，所以越多页面引用P（A），则越多的页面分配PageRank值给P（A），PageRank值也就越高，P（A）越重要。另外，P(B)越重要，它所引用的页面能分配到的PageRank值就越多，P（A）的PageRank值也就越高，也就越重要。
其计算公式为：

PR（A）：页面A的PageRank值；
d：阻尼系数，由于某些页面没有入链接或者出链接，无法计算PageRank值，为避免这个问题（即LinkSink问题），而提出的。阻尼系数常指定为0.85。
R（Pi）：页面Pi的PageRank值；
C（Pi）：页面链出的链接数量；
PageRank值的计算初始值相同，为了不忽视被重要网页链接的网页也是重要的这一重要因素，需要反复迭代运算，据张映海撰文的计算结果，需要进行10次以上的迭代后链接评价值趋于稳定，如此经过多次迭代，系统的PR值达到收敛。
PageRank是一个与查询无关的静态算法，因此所有网页的PageRank值均可以通过离线计算获得。这样，减少了用户检索时需要的排序时间，极大地降低了查询响应时间。但是PageRank存在两个缺陷：首先PageRank算法严重歧视新加入的网页，因为新的网页的出链接和入链接通常都很少，PageRank值非常低。另外PageRank算法仅仅依靠外部链接数量和重要度来进行排名，而忽略了页面的主题相关性，以至于一些主题不相关的网页（如广告页面）获得较大的PageRank值，从而影响了搜索结果的准确性。为此，各种主题相关算法纷纷涌现，其中以以下几种算法最为典型。
2）Topic-Sensitive PageRank算法
由于最初PageRank算法中是没有考虑主题相关因素的，斯坦福大学计算机科学系Taher Haveli-wala提出了一种主题敏感（Topic-Sensitive）的PageRank算法解决了“主题漂流”问题。该算法考虑到有些页面在某些领域被认为是重要的，但并不表示它在其它领域也是重要的。
网页A链接网页B，可以看作网页A对网页B的评分，如果网页A与网页B属于相同主题，则可认为A对B的评分更可靠。因为A与B可形象的看作是同行，同行对同行的了解往往比不是同行的要多，所以同行的评分往往比不是同行的评分可靠。遗憾的是TSPR并没有利用主题的相关性来提高链接得分的准确性。
3）HillTop算法
HillTop是Google的一个工程师Bharat在2001年获得的专利。HillTop是一种查询相关性链接分析算法，克服了的PageRank的查询无关性的缺点。HillTop算法认为具有相同主题的相关文档链接对于搜索者会有更大的价值。在Hilltop中仅考虑那些用于引导人们浏览资源的专家页面（Export Sources）。Hilltop在收到一个查询请求时，首先根据查询的主题计算出一列相关性最强的专家页面，然后根据指向目标页面的非从属专家页面的数量和相关性来对目标页面进行排序。
HillTop算法确定网页与搜索关键词的匹配程度的基本排序过程取代了过分依靠PageRank的值去寻找那些权威页面的方法，避免了许多想通过增加许多无效链接来提高网页PageRank值的作弊方法。HillTop算法通过不同等级的评分确保了评价结果对关键词的相关性，通过不同位置的评分确保了主题（行业）的相关性，通过可区分短语数防止了关键词的堆砌。
但是，专家页面的搜索和确定对算法起关键作用，专家页面的质量对算法的准确性起着决定性作用，也就忽略了大多数非专家页面的影响。专家页面在互联网中占的比例非常低（1.79%），无法代表互联网全部网页，所以HillTop存在一定的局限性。同时，不同于PageRank算法，HillTop算法的运算是在线运行的，对系统的响应时间产生极大的压力。
4）HITS
HITS（Hyperlink Inced Topic Search）算法是Kleinberg在1998年提出的，是基于超链接分析排序算法中另一个最着名的算法之一。该算法按照超链接的方向，将网页分成两种类型的页面：Authority页面和Hub页面。Authority页面又称权威页面，是指与某个查询关键词和组合最相近的页面，Hub页面又称目录页，该页面的内容主要是大量指向Authority页面的链接，它的主要功能就是把这些Authority页面联合在一起。对于Authority页面P，当指向P的Hub页面越多，质量越高，P的Authority值就越大；而对于Hub页面H，当H指向的Authority的页面越多，Authority页面质量越高，H的Hub值就越大。对整个Web集合而言，Authority和Hub是相互依赖、相互促进，相互加强的关系。Authority和Hub之间相互优化的关系，即为HITS算法的基础。
HITS基本思想是：算法根据一个网页的入度（指向此网页的超链接）和出度（从此网页指向别的网页）来衡量网页的重要性。在限定范围之后根据网页的出度和入度建立一个矩阵，通过矩阵的迭代运算和定义收敛的阈值不断对两个向量Authority和Hub值进行更新直至收敛。
实验数据表明，HITS的排名准确性要比PageRank高，HITS算法的设计符合网络用户评价网络资源质量的普遍标准，因此能够为用户更好的利用网络信息检索工具访问互联网资源带来便利。
但却存在以下缺陷：首先，HITS算法只计算主特征向量，处理不好主题漂移问题；其次，进行窄主题查询时，可能产生主题泛化问题；第三，HITS算法可以说一种实验性质的尝试。它必须在网络信息检索系统进行面向内容的检索操作之后，基于内容检索的结果页面及其直接相连的页面之间的链接关系进行计算。尽管有人尝试通过算法改进和专门设立链接结构计算服务器（Connectivity Server）等操作，可以实现一定程度的在线实时计算，但其计算代价仍然是不可接受的。
2.3基于智能化排序的第三代搜索引擎
排序算法在搜索引擎中具有特别重要的地位，目前许多搜索引擎都在进一步研究新的排序方法，来提升用户的满意度。但目前第二代搜索引擎有着两个不足之处，在此背景下，基于智能化排序的第三代搜索引擎也就应运而生。
1）相关性问题
相关性是指检索词和页面的相关程度。由于语言复杂，仅仅通过链接分析及网页的表面特征来判断检索词与页面的相关性是片面的。例如：检索“稻瘟病”，有网页是介绍水稻病虫害信息的，但文中没有“稻瘟病”这个词，搜索引擎根本无法检索到。正是以上原因，造成大量的搜索引擎作弊现象无法解决。解决相关性的的方法应该是增加语意理解，分析检索关键词与网页的相关程度，相关性分析越精准，用户的搜索效果就会越好。同时，相关性低的网页可以剔除，有效地防止搜索引擎作弊现象。检索关键词和网页的相关性是在线运行的，会给系统相应时间很大的压力，可以采用分布式体系结构可以提高系统规模和性能。
2）搜索结果的单一化问题
在搜索引擎上，任何人搜索同一个词的结果都是一样。这并不能满足用户的需求。不同的用户对检索的结果要求是不一样的。例如：普通的农民检索“稻瘟病”，只是想得到稻瘟病的相关信息以及防治方法，但农业专家或科技工作者可能会想得到稻瘟病相关的论文。
解决搜索结果单一的方法是提供个性化服务，实现智能搜索。通过Web数据挖掘，建立用户模型（如用户背景、兴趣、行为、风格），提供个性化服务。

Ⅱ 推荐算法简介

在这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战:作为信息消费者，如何从大量信息中找到自己感兴趣的信息是一件非常困难的事情;作为信息生产者， 如何让自己生产的信息脱颖而出，受到广大用户的关注，也是一件非常困难的事情。推荐系统就是解决这一矛盾的重要工具。推荐系统的任务就是联系用户和信息，一方面帮助用户发现对自己有价值的信息，另一方面让信息能够展现在对它感兴趣的用户面前，从而实现信息消费者和信息 生产者的双赢。和搜索引擎不同的是，推荐系统不需要用户提供明确的需求，而是通过分析用户的历史行为给用 户的兴趣建模，从而主动给用户推荐能够满足他们兴趣和需求的信息 个性化推荐的成功需要两个条件。第一是存在 信息过载 ，因为如果用户可以很容易地从所有物品中找到喜欢的物品，就不需要个性化推荐。第二用 户大部分时候没有特别明确的需求 ，因为用户没有明确的需求，可以直接通过搜索引擎找到感兴趣的物品。

一个完整的推荐系统一般存在3个参与方：用户、物品提供者和提供推荐系统的网站。以图书推荐为例， 首先，推荐系统需要满足用户的需求，给用户推荐那些令他们感兴趣的图书。其次，推荐系统要让各出版社的书都能够被推荐给对其感兴趣的用户，而不是只推荐几个大型出版社的书。最后， 好的推荐系统设计，能够让推荐系统本身收集到高质量的用户反馈，不断完善推荐的质量，增加 用户和网站的交互，提高网站的收入。因此在评测一个推荐算法时，需要同时考虑三方的利益， 一个好的推荐系统是能够令三方共赢的系统。

推荐系统中，主要有3种评测推荐效果的实验方法，即离线实验(offline experiment)、用户调查(user study)和在线实验(online experiment)。

2.1 离线实验

离线实验的方法一般由如下几个步骤构成: (1) 通过日志系统获得用户行为数据，并按照一定格式生成一个标准的数据集; (2) 将数据集按照一定的规则分成训练集和测试集; (3) 在训练集上训练用户兴趣模型，在测试集上进行预测; (4) 通过事先定义的离线指标评测算法在测试集上的预测结果。

从上面的步骤可以看到，推荐系统的离线实验都是在数据集上完成的，也就是说它不需要一个实际的系统来供它实验，而只要有一个从实际系统日志中提取的数据集即可。这种实验方法的 好处是不需要真实用户参与，可以直接快速地计算出来，从而方便、快速地测试大量不同的算法。它的主要缺点是无法获得很多商业上关注的指标，如点击率、转化率等，而找到和商业指标非常相关的离线指标也是很困难的事情

2.2 用户调查

3.3 在线实验

在完成离线实验和必要的用户调查后，可以将推荐系统上线做 AB测试 ，将它和旧的算法进行比较。 AB测试 是一种很常用的在线评测算法的实验方法。它通过一定的规则将用户随机分成几组，并对不同组用户采取不同的算法，然后通过统计不同组用户的各种不同的评测指标比较不同算法的好坏。 AB测试的优点是可以公平获得不同算法实际在线时的性能指标，包括商业上关注的指标。 AB测试的缺点主要是周期比较长，必须进行长期的实验才能得到可靠的结果。因此一般不会用 AB测试测试所有的算法，而只是用它测试那些在离线实验和用户调查中表现很好的算法。其次， 一个大型网站的AB测试系统的设计也是一项复杂的工程。

一般来说，一个新的推荐算法最终上线，需要完成上面所说的3个实验。 1）首先，需要通过离线实验证明它在很多离线指标上优于现有的算法。 2）然后，需要通过用户调查确定它的用户满意度不低于现有的算法。 3）最后，通过在线的AB测试确定它在我们关心的指标上。

本节将介绍各种推荐系统的评测指标。这些评测指标可用于评价推荐系统各方面的性能。这 些指标有些可以定量计算，有些只能定性描述，有些可以通过离线实验计算，有些需要通过用户 调查获得，还有些只能在线评测。

(1) 用户满意度

用户作为推荐系统的重要参与者，其满意度是评测推荐系统的最重要指标。但是，用户满意度没有办法离线计算，只能通过用户调查或者在线实验获得。

在在线系统中，用户满意度主要通过一些 对用户行为的统计得到 。比如在电子商务网站中，用户如果购买了推荐的商品，就表示他们在一定程度上满意。因此，我们可以 利用购买率度量用 户的满意度 。此外，有些网站会通过设计一些用户 反馈界面收集用户满意度 。比如在视频网站中，都有对推荐结果满意或者不满意的 反馈按钮 ，通过统计两种按钮的单击情况就可以度量系统的用户满意度。更一般的情况下，我们可以用 点击率、用户停留时间和转化率等指标度量 用户的满意度。

(2) 预测准确度

预测准确度度量一个推荐系统或者推荐算法预测用户行为的能力。这个指标是最重要的推荐系统离线评测指标

在计算该指标时需要有一个离线的数据集，该数据集包含用户的历史行为记录。然后，将该数据集通过时间分成训练集和测试集。最后，通过在训练集上建立用户的行为和兴趣模型预测用户在测试集上的行为，并计算预测行为和测试集上实际行为的重合度作为预测准确度。 预测准确度指标有分为以下几种：

评分预测：

预测用户对物品评分的行为成为评分预测，在评分预测中，预测准确度一般通过均方根误差RMSE和平均绝对误差MAE计算，对于测试集中的一个用户u和物品i,令[图片上传失败...(image-62a797-1560412790460)] 是用户u对物品i的实际评分，而[图片上传失败...(image-28cfbc-1560412790460)] 是推荐算法给出的预测评分，那么RMSE定义为：

其中T为样本个数

MAE采用绝对值计算预测误差，它的定义为:

TopN推荐

网站在提供推荐服务时，一般是给用户一个个性化的推荐列表，这种推荐叫做TopN推荐。TopN推荐的预测准确率一般通过准确率(precision)/召回率(recall)度量。 令R(u)是根据用户在训练集上的行为给用户作出的推荐列表，而T(u)是用户在测试集上的行为列表。那么，推荐结果的召回率定义为:

推荐结果准确率定义：

(3) 覆盖率

覆盖率（coverage）描述一个推荐系统对物品长尾的发掘能力。覆盖率有不同的定义方法，最简单的定义为推荐系统能够推荐出来的物品占总物品集合的比例。假设系统的用户集合U，推荐系统给每个用户推荐一个长度为N的物品集合R（u）。那么推荐系统的覆盖率可以通过下面的公式计算：

I为总物品数

此外，从上面的定义也可以看到，热门排行榜的推荐覆盖率是很低的，它只会 推荐那些热门的物品，这些物品在总物品中占的比例很小。一个好的推荐系统不仅需要有比较高的用户满意度，也要有较高的覆盖率。

但是上面的定义过于粗略。覆盖率为100%的系统可以有无数的物品流行度分布。为了更细致地描述推荐系统发掘长尾的能力，需要统计推荐列表中不同物品出现次数的分布。如果所有的 物品都出现在推荐列表中，且出现的次数差不多，那么推荐系统发掘长尾的能力就很好。因此， 可以通过研究物品在推荐列表中出现次数的分布描述推荐系统挖掘长尾的能力。如果这个分布比 较平，那么说明推荐系统的覆盖率较高，而如果这个分布较陡峭，说明推荐系统的覆盖率较低。 在信息论和经济学中有两个着名的指标可以用来定义覆盖率。第一个是信息熵:

其中：n代表推荐列表中物品类别个数，p(i)代表每个类别的所占的比率

第二个指标是基尼系数：

(4) 多样性

为了满足用户广泛的兴趣，推荐列表需要能够覆盖用户不同的兴趣领域，即推荐结果需要具有多样性。多样性推荐列表的好处用一句俗话表示就是（不在一棵树上吊死）。尽管用户的兴趣在较长的时间跨度中是一样的。但具体到用户访问推荐系统的某一时刻，其兴趣往往是单一的，那么如果推荐列表只能覆盖用户的一个兴趣点，而这个兴趣点不是用户这个时刻的兴趣点，推荐结果就不会让用户满意。反之如果推荐列表表较多样，覆盖用户绝大多数的兴趣点，那么久会增加用户找到感兴趣物品的概率。因此给用户的推荐列表也需要满足用户广泛的兴趣，即具有多样性。

多样性描述了推荐列表中物品两两之间的不相似性，因此，多样性和相似性是对应的。假设s(i, j) ∈Î[0,1] 定义了物品i和j之间的相似度，那么用户u的推荐列表R(u)的多样性定义如下：

而推荐系统的整体多样性可以定义为所有用户推荐列表多样性的平均值：

(5) 新颖性

新颖的推荐是指给用户推荐那些他们以前没有听说过的物品。在一个网站中 实现新颖性 的最简单办法是，把那些用户之前在网站中对其有过行为的物品从推荐列表中过滤掉。比如在一个视 频网站中，新颖的推荐不应该给用户推荐那些他们已经看过、打过分或者浏览过的视频。 评测新颖度的最简单方法是利用推荐结果的平均流行度，因为越不热门的物品越 可能让用户觉得新颖。因此，如果推荐结果中物品的平均热门程度较低，那么推荐结果就可能有比较高的新颖性。

(6) 惊喜度

惊喜度(serendipity)是最近这几年推荐系统领域最热门的话题。如果推荐结果和用户的历史兴趣不相似，但却让用户觉得满意，那么就可以说推荐结果的惊喜度很高，而推荐的新颖性仅仅取决于用户是否听说过这个推荐结果。提高推荐惊喜度需要提高推荐结果的用户满意度，同时降低推荐结果和用户历史兴趣的相似度。

(7) 信任度

度量推荐系统的信任度只能通过问卷调查的方式，询问用户是否信任推荐系统的推荐结果。 提高推荐系统的信任度主要有两种方法。首先需要增加推荐系统的透明度(transparency)， 而增加推荐系统透明度的主要办法是提供推荐解释。只有让用户了解推荐系统的运行机制，让用 户认同推荐系统的运行机制，才会提高用户对推荐系统的信任度。其次是考虑用户的社交网络 信息，利用用户的好友信息给用户做推荐，并且用好友进行推荐解释。这是因为用户对他们的 好友一般都比较信任，因此如果推荐的商品是好友购买过的，那么他们对推荐结果就会相对比较信任

(8) 实时性

在很多网站中，因为物品(新闻、微博等)具有很强的时效性，所以需要在物品还具有时效 性时就将它们推荐给用户。 推荐系统的实时性包括两个方面。首先，推荐系统需要实时地更新推荐列表来满足用户新的 行为变化。实时性的第二个方面是推荐系统需要能够将新加入系统的物品推荐给用户。这主要考验了推 荐系统处理物品冷启动的能力。

(9) 健壮性

健壮性(即robust,鲁棒 性)指标衡量了一个推荐系统抗击作弊的能力。算法健壮性的评测主要利用模拟攻击。首先，给定一个数据集和一个算法，可以用这个算法 给这个数据集中的用户生成推荐列表。然后，用常用的攻击方法向数据集中注入噪声数据，然后 利用算法在注入噪声后的数据集上再次给用户生成推荐列表。最后，通过比较攻击前后推荐列表 的相似度评测算法的健壮性。如果攻击后的推荐列表相对于攻击前没有发生大的变化，就说明算 法比较健壮

(10) 商业目标

很多时候，网站评测推荐系统更加注重网站的商业目标是否达成，而商业目标和网站的盈利模式是息息相关的

(11) 总结

上一节介绍了很多评测指标，但是在评测系统中还需要考虑评测维度，比如一个推荐算法， 虽然整体性能不好，但可能在某种情况下性能比较好，而增加评测维度的目的就是知道一个算法 在什么情况下性能最好。这样可以为融合不同推荐算法取得最好的整体性能带来参考。

一般来说，评测维度分为如下3种。 1） 用户维度 ：主要包括用户的人口统计学信息、活跃度以及是不是新用户等。 2） 物品维度 ：包括物品的属性信息、流行度、平均分以及是不是新加入的物品等。 3） 时间维度 ：包括季节，是工作日还是周末，是白天还是晚上等。 如果能够在推荐系统评测报告中包含不同维度下的系统评测指标，就能帮我们全面地了解推 荐系统性能，找到一个看上去比较弱的算法的优势，发现一个看上去比较强的算法的缺点。

Ⅲ 论淘宝搜索推荐算法排序机制及2021年搜索的方向。

[写在前面]淘宝搜索引擎至今反复多次，搜索顺序也从最初的统计模型升级到机械学习模型，到2010年为止没有标签没有基础标签，随着计算能力的提高，2010年后开始挖掘用户的基础标签，从3年到2013年开始使用大规模的机械学习和实时特征
但你有没有想过为什么2016-2017年的两年是各种各样的黑搜索盛行的一年，为什么今天几乎消失了？
最根本的原因是从统计算法模型到机械学习模型的转型期。
说白了，这时不收割就没有收割的机会。因为统计模型即将退出历史舞台。
因此，各路大神各自扩大了统计模型算法中的影响因素。统计算法无论在哪里，点击率和坑产都很容易搜索。
那两年成了中小卖家的狂欢盛宴，很多大神的烟火也是旺盛的。
今天推荐算法的第三代使用后，加上疫情的影响进行了鲜明的比较，真的很感慨。
淘宝真的没有流量了吗？电器商务真的做不到吗？还是大家的思维没有改变，停留在2016-2017年的黑搜宴会上不想醒来？
2017年、2018年、2019年是淘宝推荐算法反复最快的3年，每年的算法升级都不同，整体上到2019年9月为止统计算法模型的影响因素还很大，从2019年下半年开始第三代推荐算法后，全面的真正意义进入了以机械学习模型为中心的推荐算法时代。
各路大神也无法验证，加上百年疫情的影响，很多大神的隐蔽布也泄露了。
基本上以统计模型为主，训练基本上没有声音，典型的是坑产游戏。
如果现在还能看到的话，基本上可以判断他不是在训练，而是在制作印刷用纸，一定会推荐使用资源，资源是多么安全。
刷子的生产增加真的没有效果吗？不是我以前的文章说:不是不行，而是从坑产的角度思考，而是从改变竞争环境的角度思考，用补充书改变竞争环境，改变场地，有新的天地，任何手段都要为商业本质服务。
正文
概述统计算法模型时代。
统计模型时代搜索引擎的排名是最原始的排名思考，如果你的类别不错，关键词比较正确，就能得到很大的流量，当时产品需求少，只要上下架的优化就能使产品上升。
到2016年为止没有坑产游戏吗？黑色搜索的效果不好吗？其实，什么时候坑产是最核心的机密，谁来教大家，什么时候教的最多的是类别优化，关键词优化，大部分优化都围绕关键词，电器商的老人想起了你什么时候得到关键词的人得到了世界。
有人告诉我做坑产，关键词找到生意也来了。什么时候知道坑产也没有人给你刷子，大规模的补充书也出现在黑色搜索盛行的时期。
为什么关键词者得天下？
搜索关键词是用户目前意图最直观的表达，也是用户表达意图最直接的方式。
搜索的用户购物意图最强，成交意愿也最强，现在搜索也是转化率最高的流量来源。
统计时代关键词背后直接依赖的是类别商品，只要制作类别和关键词分词即可，哪个时代最出现的黑马通常是类别机会、关键词机会、黑科学技术机会。
最基本的是商业本质，什么时候产品需求少，没有很多现在的类别，自己找类别，现在想想什么概念。
记得什么时候类别错了，搜索也可以来。如果你的商品点击反馈好的话，错误的类别没有什么影响，现在试试吧
搜索类是搜索的基础。
什么时候能称霸，背后有商业逻辑，用户行为数据好就行了。
但无论如何发展检索都离不开关键词。例如，上述关键词是用户表达意图的最直接的方法，是当前消费者的检索行为和购买行为发生了根本性的变化。
检索依然根据消费者的行为数据和关键词来判断需求，这就是机械学习模型时代。
机器学习模式时代-推荐搜索算法。
现在的商品体积和消费者购物行为的丰富性，统计算法不能满足检索的本质要求。
所以现在搜索引擎开始发展深度学习模式更精细的建模-推荐搜索算法，搜索排名更智能。
在此重点讨论推荐检索算法，
2017、2018、2019是推荐检索算法真正意义发展的3年，3年3个系统版本每年更换一次，很多电器商人都不知道头脑。
推荐检索算法和统计算法模型的最大区别在于，Query的处理能力和算法有召回机制
简单表示推荐算法的程序:
1:对检索关键词进行分词、重写的处理进行类别预判
2:根据用户信息，即用户以前的行为数据记录和预测的性别、年龄、购买力、店铺喜好、品牌喜好、实时行动作等信息存档
3:根据检索用户信息，根据检索用户以前的行为数据检索引擎和预测的性别、年龄、购买力、店铺喜好、品牌喜好、实时行动作为等信息存档3:根据检索用户信息的检索用户信息
也就是说，在第一关召回阶段基本上与统计模型时代的最佳化途径相同，核心是标题分词和类别，现在最大的区别是根据用户信息推荐最佳化，这是标签和正确人群标签图像最佳化的基本意义。
为什么现在一直在谈论标签，谈论人标签图像？入池实际上是为了匹配真正的消费者用户信息，通过直通车测试来判断人群也是为了通过性别、年龄和购买力来优化匹配真正的消费者。
召回机制:
通过构建子单元索引方式加快商品检索，不必经历平台上亿级的所有商品。该索引是搜索引擎中的倒置索引，利用倒置索引初始筛选商品的过程是召回阶段。
在这个阶段，不会进行复杂的计算，主要是根据现在的搜索条件进行商品候选集的快速圈定。
之后再进行粗排和精排，计算的复杂程度越来越高，计算的商品集合逐渐减少，最后完成整个排序过程。
主要召回路径分为
1:语言召回
2:向量召回
这些都是商业秘密不方便的说明，有兴趣的是学习我们的在线会员课程标签重叠游戏6是基于语言和向量召回的基础逻辑实战落地的课程。
下一阶段进入粗行列，粗行列受这些因素的影响:
粗行列作为召回后的第一个门槛，希望用户体验以时间低的模型快速排序和筛选商品，第一关系将过滤到不适合本次检索词要求的商品
为了实现这个目的，首先要明确影响粗排名得分的因素
1:类别匹配得分和文本匹配得分，
2:商品信息质量(商品发布时间、商品等级、商品等级)
3:商品组合得分
点击得分
交易得分卖方服务商业得分
在粗排列框架下，系统粗排列算法根据商品类别的预测得分进行得分
点击得分交易得分
交易得分卖方服务商业得分粗排列框架下，系统粗排列的大排列
最后是精排，检索顺序的主要目标是高相关性、高个性化的正确性。
每个用户的喜好不同，系统会根据每个用户的Query结合用户信息进行召回。然后通过粗排后，商品数量从万级下降到千级。
千级商品经排后直接向用户展示，搜索过程中商品集合的思考和具体变化如下图

前面的召回、粗排主要解决主题相关性，通过主题相关性的限制，首先缩小商品集合和我们的在线会员课程标签
精排阶段系是真正系统推荐算法发挥真正威力时，应根据用户行为反馈迅速进行机械学习建模，判断用户真实性、准确性和可持续控制性。
为什么现在的游戏和黑色技术暂时出现，核心是系统算法模型机械学习模型，系统分析用户有问题，不正确，不稳定，维持性差，可以迅速调整。
也就是说，即使发现脆弱性，研究快速有效的方法，系统也会根据你精排阶段的用户行为迅速分析学习建模，发现模型有问题，你的玩法就结束了。
猜机器学习建模的速度有多快？
想玩黑色的东西早点死去吧。
现在使用的检索顺序模型主要是
CTR模型和CVR模型，具体模型过于复杂也不需要深入，但影响这两种模型的最基本因素是用户行为数据
真的不能假的，假的也不能假的算法模型越来越智能化，算法越来越强，只有回归商业本质才能真正解决算法模型背后真正想解决的问题，算法基于商业逻辑。
2021年搜索向哪个方向发生变化:
2020年电器商人和蚂蚁是不平凡的一年。2020年也是蚂蚁从神坛上拉下来的元年，现在蚂蚁有各种各样的黑色。
基于中小卖家的走势无疑是阿里必须正面面对的现实。
如何让中小卖家回流或留在平台上，搜索该怎么做？
检索一定是基于三方的考虑，买方、卖方和平台本身，现在市场上又开始提倡坑产搜索逻辑，坑产妖风又开始，根据推荐搜索算法逻辑来谈这个问题。
为什么坑产思维是不死的小强，每次危机都会跳出来。
以统计模型为中心的坑产时代是淘宝从2003年到2015年一直使用的搜索算法模型长达13年。
同时也是淘宝和中国网分红的野蛮生长期，统计算法模式让太多电商赚钱。除了
之外，十年的奴役思维已经习惯了，在电器商圈，坑产游戏一定有人相信，其他人不一定被认可。所以，我们夹着尾巴发展的原因，时间真的可以证明一切，不用多说，做自己。
习惯性思维加上特殊时期的赚钱蝴蝶效应，使许多电器商人活在历史的长梦中。正确地说，统计算法模型的真正废除是在2019年下半年。
同学说坑产永远有效，我也这么想。
永远有效的是起爆模型坑产权重驱动和统计算法模型中的坑产排名不同。
起爆模型的坑产要素永远有效，这永远不会改变。
但是，如何有效地加上这个起爆模型的坑产权重，并不像模仿购物的意图那么简单。
坑产游戏在2021年绝对不行。淘宝不会把现在的算法系统换成15年前的。
基于三方利益:
购买者体验
卖方利益
平台的发展
搜索肯定会向高精度和高控制性发展。以标签为中心的用户标签图像仍然是影响流量精度的基本因素。
必须从标签的角度考虑和优化种子组的图像。
通过种子组的图像向相似人扩展到叶类人，业界喜好人最后向相关人扩展也是扩大流量的过程渠道。
基于推荐搜索算法逻辑:
精密排列阶段算法更强，精度更高，转化率更高，持续稳定性更强。
基于中小卖方流通的现状，优化精排阶段并非中小卖方能够简单接触。
推荐算法从搜索排名阶段出现在哪个阶段？
个人判断
一是召回阶段
二是粗排阶段
上述提到召回阶段的算法简单复盖商品为万级，排序规则也比较简单，中小卖方在召回阶段提高精度尤为重要。
在这个万级商品库中，如上下架的权重上升，中小卖方有机会上升到主页，从子单元的索引召回中寻找机会。
或者根据中小卖方的新产品和中小卖方的店铺水平进行特别优先搜索推荐，使中小卖方的新产品在低销售状态下显示，可以实现锦囊算法。
中小卖方有机会搜索主页，不调用用户信息直接打开主页的展示权可能是中小卖方最大的支持。
根据召回阶段的用户行为数据，在粗排阶段以比例融入用户信息，即标签的影响。
在初始召回阶段，类别和分词权重，看业者主图场景反应背后的人们反馈，用系统引导，给中小卖方真正参考的流量方向和成交方向。
谁疯狂地印刷用纸直接关闭黑屋，理解印刷用纸优化竞争场景，从优化人群的角度出发，适当放宽处罚。
通过召回阶段，得到的用户信息会影响粗体结果。在这个阶段，用户信息的权重比例不应该太大，流量卡也不应该太死。
在各检索顺序阶段用户信息，即用户标签对检索的影响权重的问题。
这个方向我的个人观点是可能的。

Ⅳ 快手搜索发现是怎么排序出来的

好的，您的问题我来回答。快手搜索发现的排序是根据快手的推荐算法来实现的。快手的推荐算枯汪法是基于用户的行没皮仔为和兴趣，以及用户的社交网络来排序的。握唤快手的推荐算法会根据用户的行为，兴趣，社交网络，以及其他维度来推荐最符合用户需求的内容。比如，如果用户有兴趣看某个类型的视频，那么快手的推荐算法会优先推荐这类视频；如果用户有兴趣看某个特定的视频，那么快手的推荐算法会优先推荐这个视频；如果用户有兴趣看某个特定的用户，那么快手的推荐算法会优先推荐这个用户发布的视频；如果用户有兴趣看某个特定的话题，那么快手的推荐算法会优先推荐这个话题的视频。总之，快手的推荐算法会根据用户的行为，兴趣，社交网络，以及其他维度来推荐最符合用户需求的内容，从而实现快手搜索发现的排序。

Ⅳ 推荐算法简介

写在最前面：本文内容主要来自于书籍《推荐系统实践》和《推荐系统与深度学习》。

推荐系统是目前互联网世界最常见的智能产品形式。从电子商务、音乐视频网站，到作为互联网经济支柱的在线广告和新颖的在线应用推荐，到处都有推荐系统的身影。推荐算法是推荐系统的核心，其本质是通过一定的方式将用户和物品联系起来，而不同的推荐系统利用了不同的方式。

推荐系统的主要功能是以个性化的方式帮助用户从极大的搜索空间中快速找到感兴趣的对象。因此，目前所用的推荐系统多为个性化推荐系统。个性化推荐的成功应用需要两个条件：

在推荐系统的众多算法中，基于协同的推荐和基于内容的推荐在实践中得到了最广泛的应用。本文也将从这两种算法开始，结合时间、地点上下文环境以及社交环境，对常见的推荐算法做一个简单的介绍。

基于内容的算法的本质是对物品内容进行分析，从中提取特征，然后基于用户对何种特征感兴趣来推荐含有用户感兴趣特征的物品。因此，基于内容的推荐算法有两个最基本的要求：

下面我们以一个简单的电影推荐来介绍基于内容的推荐算法。

现在有两个用户A、B和他们看过的电影以及打分情况如下：

其中问好（?）表示用户未看过。用户A对《银河护卫队 》《变形金刚》《星际迷航》三部科幻电影都有评分，平均分为 4 .7 分 （ (5+4+5 ) / 3=4.7 ）；对《三生三世》《美人鱼》《北京遇上西雅图》三部爱情电影评分平均分为 2.3 分 （ ( 3十2+2 ) /3=2.3 ）。现在需要给A推荐电影，很明显A更倾向于科幻电影，因此推荐系统会给A推荐独立日。而对于用户B，通过简单的计算我们可以知道更喜欢爱情电影，因此给其推荐《三生三世》。当然，在实际推荐系统中，预测打分比这更加复杂些，但是其原理是一样的。

现在，我们可以将基于内容的推荐归纳为以下四个步骤：

通过上面四步就能快速构建一个简单的推荐系统。基于内容的推荐系统通常简单有效，可解释性好，没有物品冷启动问题。但他也有两个明显的缺点：

最后，顺便提一下特征提取方法：对于某些特征较为明确的物品，一般可以直接对其打标签，如电影类别。而对于文本类别的特征，则主要是其主题情感等，则些可以通过tf-idf或LDA等方法得到。

基于协同的算法在很多地方也叫基于邻域的算法，主要可分为两种：基于用户的协同算法和基于物品的协同算法。

啤酒和尿布的故事在数据挖掘领域十分有名，该故事讲述了美国沃尔玛超市统计发现啤酒和尿布一起被购买的次数非常多，因此将啤酒和尿布摆在了一起，最后啤酒和尿布的销量双双增加了。这便是一个典型的物品协同过滤的例子。

基于物品的协同过滤指基于物品的行为相似度（如啤酒尿布被同时购买）来进行物品推荐。该算法认为，物品A和物品B具有很大相似度是因为喜欢物品A的用户大都也喜欢物品B。

基于物品的协同过滤算法主要分为两步：

基于物品的协同过滤算法中计算物品相似度的方法有以下几种：
（1）基于共同喜欢物品的用户列表计算。

此外，John S. Breese再其论文中还提及了IUF（Inverse User Frequence，逆用户活跃度）的参数，其认为活跃用户对物品相似度的贡献应该小于不活跃的用户，应该增加IUF参数来修正物品相似度的公式：

上面的公式只是对活跃用户做了一种软性的惩罚， 但对于很多过于活跃的用户， 比如某位买了当当网80%图书的用户， 为了避免相似度矩阵过于稠密， 我们在实际计算中一般直接忽略他的兴趣列表， 而不将其纳入到相似度计算的数据集中。

（2）基于余弦相似度计算。

（3）热门物品的惩罚。
从上面（1）的相似度计算公式中，我们可以发现当物品 i 被更多人购买时，分子中的 N(i) ∩ N(j) 和分母中的 N(i) 都会增长。对于热门物品，分子 N(i) ∩ N(j) 的增长速度往往高于 N(i)，这就会使得物品 i 和很多其他的物品相似度都偏高，这就是 ItemCF 中的物品热门问题。推荐结果过于热门，会使得个性化感知下降。以歌曲相似度为例，大部分用户都会收藏《小苹果》这些热门歌曲，从而导致《小苹果》出现在很多的相似歌曲中。为了解决这个问题，我们对于物品 i 进行惩罚，例如下式， 当α∈(0, 0.5) 时，N(i) 越小，惩罚得越厉害，从而使热门物品相关性分数下降（ 博主注：这部分未充分理解 ）：

此外，Kary pis在研究中发现如果将ItemCF的相似度矩阵按最大值归一化， 可以提高推荐的准确率。 其研究表明， 如果已经得到了物品相似度矩阵w， 那么可以用如下公式得到归一化之后的相似度矩阵w'：

归一化的好处不仅仅在于增加推荐的准确度，它还可以提高推荐的覆盖率和多样性。一般来说，物品总是属于很多不同的类，每一类中的物品联系比较紧密。假设物品分为两类——A和B， A类物品之间的相似度为0.5， B类物品之间的相似度为0.6， 而A类物品和B类物品之间的相似度是0.2。 在这种情况下， 如果一个用户喜欢了5个A类物品和5个B类物品， 用ItemCF给他进行推荐， 推荐的就都是B类物品， 因为B类物品之间的相似度大。 但如果归一化之后， A类物品之间的相似度变成了1， B类物品之间的相似度也是1， 那么这种情况下， 用户如果喜欢5个A类物品和5个B类物品， 那么他的推荐列表中A类物品和B类物品的数目也应该是大致相等的。 从这个例子可以看出， 相似度的归一化可以提高推荐的多样性。

那么，对于两个不同的类，什么样的类其类内物品之间的相似度高，什么样的类其类内物品相似度低呢？一般来说，热门的类其类内物品相似度一般比较大。如果不进行归一化，就会推荐比较热门的类里面的物品，而这些物品也是比较热门的。因此，推荐的覆盖率就比较低。相反，如果进行相似度的归一化，则可以提高推荐系统的覆盖率。

最后，利用物品相似度矩阵和用户打过分的物品记录就可以对一个用户进行推荐评分：

基于用户的协同算法与基于物品的协同算法原理类似，只不过基于物品的协同是用户U购买了A物品，会计算经常有哪些物品与A一起购买（也即相似度），然后推荐给用户U这些与A相似的物品。而基于用户的协同则是先计算用户的相似性（通过计算这些用户购买过的相同的物品），然后将这些相似用户购买过的物品推荐给用户U。

基于用户的协同过滤算法主要包括两个步骤：

步骤（1）的关键是计算用户的兴趣相似度，主要是利用用户的行为相似度计算用户相似度。给定用户 u 和 v，N(u) 表示用户u曾经有过正反馈（譬如购买）的物品集合，N(v) 表示用户 v 曾经有过正反馈的物品集合。那么我们可以通过如下的 Jaccard 公式简单的计算 u 和 v 的相似度：

或通过余弦相似度：

得到用户之间的相似度之后，UserCF算法会给用户推荐和他兴趣最相似的K个用户喜欢的物品。如下的公式度量了UserCF算法中用户 u 对物品 i 的感兴趣程度：

首先回顾一下UserCF算法和ItemCF算法的推荐原理：UserCF给用户推荐那些和他有共同兴趣爱好的用户喜欢的物品， 而ItemCF给用户推荐那些和他之前喜欢的物品具有类似行为的物品。

（1）从推荐场景考虑
首先从场景来看，如果用户数量远远超过物品数量，如购物网站淘宝，那么可以考虑ItemCF，因为维护一个非常大的用户关系网是不容易的。其次，物品数据一般较为稳定，因此物品相似度矩阵不必频繁更新，维护代价较小。

UserCF的推荐结果着重于反应和用户兴趣相似的小群体的热点，而ItemCF的推荐结果着重于维系用户的历史兴趣。换句话说，UserCF的推荐更社会化，反应了用户所在小型兴趣群体中物品的热门程度，而ItemCF的推荐更加个性化，反应了用户自己的个性传承。因此UserCF更适合新闻、微博或微内容的推荐，而且新闻内容更新频率非常高，想要维护这样一个非常大而且更新频繁的表无疑是非常难的。

在新闻类网站中，用户的兴趣爱好往往比较粗粒度，很少会有用户说只看某个话题的新闻，而且往往某个话题也不是每天都会有新闻。 个性化新闻推荐更强调新闻热点，热门程度和时效性是个性化新闻推荐的重点，个性化是补充，所以 UserCF 给用户推荐和他有相同兴趣爱好的人关注的新闻，这样在保证了热点和时效性的同时，兼顾了个性化。

（2）从系统多样性（也称覆盖率，指一个推荐系统能否给用户提供多种选择）方面来看，ItemCF的多样性要远远好于UserCF，因为UserCF更倾向于推荐热门物品。而ItemCF具有较好的新颖性，能够发现长尾物品。所以大多数情况下，ItemCF在精度上较小于UserCF，但其在覆盖率和新颖性上面却比UserCF要好很多。

在介绍本节基于矩阵分解的隐语义模型之前，让我们先来回顾一下传统的矩阵分解方法SVD在推荐系统的应用吧。

基于SVD矩阵分解在推荐中的应用可分为如下几步：

SVD在计算前会先把评分矩阵 A 缺失值补全，补全之后稀疏矩阵 A 表示成稠密矩阵，然后将分解成 A' = U∑V T 。但是这种方法有两个缺点：（1）补成稠密矩阵后需要耗费巨大的储存空间，对这样巨大的稠密矩阵进行储存是不现实的；（2）SVD的计算复杂度很高，对这样大的稠密矩阵中进行计算式不现实的。因此，隐语义模型就被发明了出来。

更详细的SVD在推荐系统的应用可参考 奇异值分解SVD简介及其在推荐系统中的简单应用 。

隐语义模型（Latent Factor Model）最早在文本挖掘领域被提出，用于找到文本的隐含语义。相关的算法有LSI，pLSA，LDA和Topic Model。本节将对隐语义模型在Top-N推荐中的应用进行详细介绍，并通过实际的数据评测该模型。

隐语义模型的核心思想是通过隐含特征联系用户兴趣和物品。让我们通过一个例子来理解一下这个模型。

现有两个用户，用户A的兴趣涉及侦探小说、科普图书以及一些计算机技术书，而用户B的兴趣比较集中在数学和机器学习方面。那么如何给A和B推荐图书呢？

我们可以对书和物品的兴趣进行分类。对于某个用户，首先得到他的兴趣分类，然后从分类中挑选他可能喜欢的物品。简言之，这个基于兴趣分类的方法大概需要解决3个问题：

对于第一个问题的简单解决方案是找相关专业人员给物品分类。以图书为例，每本书出版时，编辑都会给出一个分类。但是，即使有很系统的分类体系，编辑给出的分类仍然具有以下缺点：（1）编辑的意见不能代表各种用户的意见；（2）编辑很难控制分类的细粒度；（3）编辑很难给一个物品多个分类；（4）编辑很难给一个物品多个分类；（5）编辑很难给出多个维度的分类；（6）编辑很难决定一个物品在某一个类别中的权重。

为了解决上述问题，研究员提出可以从数据出发，自动找到那些分类，然后进行个性化推荐。隐语义模型由于采用基于用户行为统计的自动聚类，较好地解决了上面提出的5个问题。

LFM将矩阵分解成2个而不是3个：

推荐系统中用户和物品的交互数据分为显性反馈和隐性反馈数据。隐式模型中多了一个置信参数，具体涉及到ALS（交替最小二乘法，Alternating Least Squares）中对于隐式反馈模型的处理方式——有的文章称为“加权的正则化矩阵分解”：

一个小细节：在隐性反馈数据集中，只有正样本（正反馈）没有负反馈（负样本），因此如何给用户生成负样本来进行训练是一个重要的问题。Rong Pan在其文章中对此进行了探讨，对比了如下几种方法：

用户行为很容易用二分图表示，因此很多图算法都可以应用到推荐系统中。基于图的模型（graph-based model）是推荐系统中的重要内容。很多研究人员把基于领域的模型也称为基于图的模型，因为可以把基于领域的模型看作基于图的模型的简单形式。

在研究基于图的模型之前，需要将用户行为数据表示成图的形式。本节的数据是由一系列用户物品二元组 (u, i) 组成的，其中 u 表示用户对物品 i 产生过行为。

令 G(V, E) 表示用户物品二分图，其中 V=V U UV I 由用户顶点 V U 和物品节点 V I 组成。对于数据集中每一个二元组 (u, i) ，图中都有一套对应的边 e(v u , v i )，其中 v u ∈V U 是用户对应的顶点，v i ∈V I 是物品i对应的顶点。如下图是一个简单的物品二分图，其中圆形节点代表用户，方形节点代表物品，用户物品的直接连线代表用户对物品产生过行为。比如下图中的用户A对物品a、b、d产生过行为。

度量图中两个顶点之间相关性的方法很多，但一般来说图中顶点的相关性主要取决于下面3个因素：

而相关性高的一对顶点一般具有如下特征：

举个例子，如下图，用户A和物品c、e没有边直连，但A可通过一条长度为3的路径到达c，而Ae之间有两条长度为3的路径。那么A和e的相关性要高于顶点A和c，因而物品e在用户A的推荐列表中应该排在物品c之前，因为Ae之间有两条路径。其中，（A,b,C,e）路径经过的顶点的出度为（3，2，2，2），而 (A,d,D,e) 路径经过了一个出度比较大的顶点D，所以 (A,d,D,e) 对顶点A与e之间相关性的贡献要小于（A,b,C,e）。

基于上面3个主要因素，研究人员设计了很多计算图中顶点相关性的方法，本节将介绍一种基于随机游走的PersonalRank算法。

假设要给用户u进行个性化推荐，可以从用户u对应的节点 v u 开始在用户物品二分图上进行随机游走。游走到任一节点时，首先按照概率α决定是继续游走还是停止这次游走并从 v u 节点重新开始游走。若决定继续游走，则从当前节点指向的节点中按照均匀分布随机选择一个节点作为游走下次经过的节点。这样，经过很多次随机游走后，每个物品被访问到的概率会收敛到一个数。最终的推荐列表中物品的权重就是物品节点的访问概率。

上述算法可以表示成下面的公式：

虽然通过随机游走可以很好地在理论上解释PersonalRank算法，但是该算法在时间复杂度上有明显的缺点。因为在为每个用户进行推荐时，都需要在整个用户物品二分图上进行迭代，知道所有顶点的PR值都收敛。这一过程的时间复杂度非常高，不仅无法在线进行实时推荐，离线计算也是非常耗时的。

有两种方法可以解决上面PersonalRank时间复杂度高的问题：
（1）减少迭代次数，在收敛之前停止迭代。但是这样会影响最终的精度。

（2）从矩阵论出发，重新涉及算法。另M为用户物品二分图的转移概率矩阵，即：

网络社交是当今社会非常重要甚至可以说是必不可少的社交方式，用户在互联网上的时间有相当大的一部分都用在了社交网络上。

当前国外最着名的社交网站是Facebook和Twitter，国内的代表则是微信/QQ和微博。这些社交网站可以分为两类：

需要指出的是，任何一个社交网站都不是单纯的社交图谱或兴趣图谱。如QQ上有些兴趣爱好群可以认识不同的陌生人，而微博中的好友也可以是现实中认识的。

社交网络定义了用户之间的联系，因此可以用图定义社交网络。我们用图 G(V,E,w) 定义一个社交网络，其中V是顶点集合，每个顶点代表一个用户，E是边集合，如果用户va和vb有社交网络关系，那么就有一条边 e(v a , v b ) 连接这两个用户，而 w(v a , v b )定义了边的权重。一般来说，有三种不同的社交网络数据：

和一般购物网站中的用户活跃度分布和物品流行度分布类似，社交网络中用户的入度（in degree，表示有多少人关注）和出度（out degree，表示关注多少人）的分布也是满足长尾分布的。即大部分人关注的人都很少，被关注很多的人也很少。

给定一个社交网络和一份用户行为数据集。其中社交网络定义了用户之间的好友关系，而用户行为数据集定义了不同用户的历史行为和兴趣数据。那么最简单的算法就是给用户推荐好友喜欢的物品集合。即用户u对物品i的兴趣 p ui 可以通过如下公式计算。

用户u和用户v的熟悉程度描述了用户u和用户在现实社会中的熟悉程度。一般来说，用户更加相信自己熟悉的好友的推荐，因此我们需要考虑用户之间的熟悉度。下面介绍3中衡量用户熟悉程度的方法。

（1）对于用户u和用户v，可以使用共同好友比例来计算他们的相似度：

上式中 out(u) 可以理解为用户u关注的用户合集，因此 out(u) ∩ out(v) 定义了用户u、v共同关注的用户集合。

（2）使用被关注的用户数量来计算用户之间的相似度，只要将公式中的 out(u) 修改为 in(u)：

in(u) 是指关注用户u的集合。在无向社交网络中，in(u)和out(u)是相同的，而在微博这种有向社交网络中，这两个集合的含义就不痛了。一般来说，本方法适合用来计算微博大V之间的相似度，因为大v往往被关注的人数比较多；而方法（1）适用于计算普通用户之间的相似度，因为普通用户往往关注行为比较丰富。

（3）除此之外，还可以定义第三种有向的相似度：这个相似度的含义是用户u关注的用户中，有多大比例也关注了用户v：

这个相似度有一个缺点，就是在该相似度下所有人都和大v有很大的相似度，这是因为公式中的分母并没有考虑 in(v) 的大小，所以可以把 in(v) 加入到上面公式的分母，来降低大v与其他用户的相似度：

上面介绍了3种计算用户之间相似度（或称熟悉度）的计算方法。除了熟悉程度，还需要考虑用户之间的兴趣相似度。我们和父母很熟悉，但很多时候我们和父母的兴趣确不相似，因此也不会喜欢他们喜欢的物品。因此，在度量用户相似度时，还需要考虑兴趣相似度，而兴趣相似度可以通过和UserCF类似的方法度量，即如果两个用户喜欢的物品集合重合度很高，两个用户的兴趣相似度很高。

最后，我们可以通过加权的形式将两种权重合并起来，便得到了各个好有用户的权重了。

有了权重，我们便可以针对用户u挑选k个最相似的用户，把他们购买过的物品中，u未购买过的物品推荐给用户u即可。打分公式如下：

其中 w' 是合并后的权重，score是用户v对物品的打分。

node2vec的整体思路分为两个步骤：第一个步骤是随机游走（random walk），即通过一定规则随机抽取一些点的序列；第二个步骤是将点的序列输入至word2vec模型从而得到每个点的embedding向量。

随机游走在前面基于图的模型中已经介绍过，其主要分为两步：（1）选择起始节点；（2）选择下一节点。起始节点选择有两种方法：按一定规则抽取一定量的节点或者以图中所有节点作为起始节点。一般来说会选择后一种方法以保证所有节点都会被选取到。

在选择下一节点方法上，最简单的是按边的权重来选择，但在实际应用中需要通过广度优先还是深度优先的方法来控制游走范围。一般来说，深度优先发现能力更强，广度优先更能使社区内（较相似）的节点出现在一个路径里。

斯坦福大学Jure Leskovec教授给出了一种可以控制广度优先或者深度优先的方法。

以上图为例，假设第一步是从t随机游走到v，这时候我们要确定下一步的邻接节点。本例中，作者定义了p和q两个参数变量来调节游走，首先计算其邻居节点与上一节点t的距离d，根据下面的公式得到α：

一般从每个节点开始游走5~10次，步长则根据点的数量N游走根号N步。如此便可通过random walk生成点的序列样本。

得到序列之后，便可以通过word2vec的方式训练得到各个用户的特征向量，通过余弦相似度便可以计算各个用户的相似度了。有了相似度，便可以使用基于用户的推荐算法了。

推荐系统需要根据用户的历史行为和兴趣预测用户未来的行为和兴趣，因此大量的用户行为数据就成为推荐系统的重要组成部分和先决条件。如何在没有大量用户数据的情况下设计个性化推荐系统并且让用户对推荐结果满意从而愿意使用推荐系统，就是冷启动问题。

冷启动问题主要分为三类：

针对用户冷启动，下面给出一些简要的方案：
（1）有效利用账户信息。利用用户注册时提供的年龄、性别等数据做粗粒度的个性化；
（2）利用用户的社交网络账号登录（需要用户授权），导入用户在社交网站上的好友信息，然后给用户推荐其好友喜欢的物品；
（3）要求用户在登录时对一些物品进行反馈，手机用户对这些物品的兴趣信息，然后给用推荐那些和这些物品相似的物品；
（4）提供非个性化推荐。非个性化推荐的最简单例子就是热门排行榜，我们可以给用户推荐热门排行榜，然后等到用户数据收集到一定的时候，在切换为个性化推荐。

对于物品冷启动，可以利用新加入物品的内容信息，将它们推荐给喜欢过和他们相似的物品的用户。

对于系统冷启动，可以引入专家知识，通过一定高效的方式快速建立起物品的相关度表。

在上面介绍了一些推荐系统的基础算法知识，这些算法大都是比较经典且现在还在使用的。但是需要注意的是，在实践中，任何一种推荐算法都不是单独使用的，而是将多种推荐算法结合起来，也就是混合推荐系统，但是在这里并不准备介绍，感兴趣的可以查阅《推荐系统》或《推荐系统与深度学习》等书籍。此外，在推荐中非常重要的点击率模型以及基于矩阵的一些排序算法在这里并没有提及，感兴趣的也可自行学习。

虽然现在用的很多算法都是基于深度学习的，但是这些经典算法能够让我们对推荐系统的发展有一个比较好的理解，同时，更重要的一点——“推陈出新”，只有掌握了这些经典的算法，才能提出或理解现在的一些更好地算法。

Ⅵ 猜你喜欢是如何猜的——常见推荐算法介绍

自从头条系的产品今日头条和抖音火了之后，个性化推荐就进入了大众的视野，如果我们说搜索时人找信息的话，那么推荐就是信息找人。搜索是通过用户主动输入索引信息告诉机器自己想要的东西，那么推荐的这个索引是什么才能让信息找到人呢？

第一类索引是“你的历史”，即基于你以前在平台上对某物品产生的行为(点赞，转发，评论或者收藏），寻找与你产生过相似行为的用户所喜欢的其他物品或者与你喜欢的物品相似的其他物品来为你推荐。这一基于用户行为相似的算法有：协同过滤算法、基于内容的推荐算法和基于标签的推荐算法。

基于用户的协同过滤算法是寻找与A用户有相似行为的所有B用户所喜欢的而A用户还不知道的物品推荐给A用户 。该算法包括两个步骤：

-根据用户所喜欢的物品计算用户间相似度，找到与目标用户相似的用户集合；

-找到该用户集合所喜欢的而目标用户所不知道的物品。

那么，找出一批物品以后哪个先推荐哪个后推荐？用户间相似程度大的先推荐，用户对物品的感兴趣程度大要先推荐。即假设A用户与B用户的相似程度为0.9，与C用户的相似程度为0.7，用户B喜欢物品a和物品b的程度分别为1和2，用户C喜欢物品a和物品b的程度分别为0.1和0.5，那么先推荐物品b。多个用户多个物品，只要拟定了用户间的相似度和用户对物品的感兴趣程度，即可对物品进行打分并且进行综合排序。

基于物品的协同过滤算法是根据用户行为而不是物品本身的相似度来判断物品的相似度 ，即如果物品A和物品B被很多的用户同时喜欢，那么我们就认为物品A和物品B是相似的。该算法也是包括两个步骤：

-根据用户行为计算物品间的相似度；

-根据物品的相似度和用户的历史行为给用户生成推荐列表。

与UserCF相似的是，同样会遇到推荐的先后顺序问题，那么ItemCF所遵循的原则是：物品间相似程度大的先推荐，用户对物品的感兴趣程度大要先推荐。假设用户对物品a和物品b感兴趣的程度分别为1和0.5，物品a与物品c和物品d的相似度分别为0.5和0.1，物品b与物品c和物品d的相似度分别为0.3和0.4，那么先推荐物品d。用户喜欢多个物品，并且多个物品与其他物品都有相似的情况下，只要拟定了用物品间的相似度和用户对物品的感兴趣程度，即可对物品进行打分并且进行综合排序。

协同过滤算法的核心都是通过用户行为来计算相似度，User-CF是通过用户行为来计算用户间的相似度，Item-CF是通过用户行为来计算物品间的相似度。

推荐算法很重要的一个原理是为用户推荐与用户喜欢的物品相似的用户又不知道的物品。物品的协同过滤算法是通过用户行为来衡量物品间的相似（喜欢物品A的用户中，同时喜欢物品B的用户比例越高，物品A与物品B的相似程度越高），而基于内容的推荐算法衡量则是通过物品本身的内容相似度来衡量物品间的相似。

假如，你看了东野圭吾的《解忧杂货店》，那么下次系统会给你推荐东野圭吾的《白夜行》。假设你看了小李子的《泰坦尼克号》，系统再给你推荐小李子的《荒野猎人》。

该算法与前两种不同的是，将用户和物品之间使用“标签”进行联系，让用户对喜欢的物品做记号（标签），将同样具有这些记号（标签）的其他物品认为很大程度是相似的并推荐给用户。其基本步骤如下：

统计用户最常用的标签

对于每个标签，统计最常被打过这个标签次数最多的物品

将具有这些标签最热门的物品推荐给该用户

目前，国内APP中，豆瓣就是使用基于标签的推荐算法做个性化的推荐。

第二类索引是“你的朋友”，基于你的社交好友来进行推荐，即基于社交网络的推荐。例如，微信看一看中的功能“朋友在看”就是最简单的基于社交网络的推荐，只要用户点击公众号文章的“在看”，就会出现在其好友的“朋友在看”的列表中。

复杂一点的算法会考虑用户之间的熟悉程度和兴趣的相似度来进行推荐。目前，在信息流推荐领域，基于社交网络进行推荐的最流行的算法是Facebook的EdgeRank算法,即为用户推荐其好友最近产生过重要行为（评论点赞转发收藏）的信息。

第三类索引是“你所处的环境”，基于你所处的时间、地点等上下文信息进行推荐。例如，我们看到很APP中的“最近最热门”，就是基于时间上下文的非个性化推荐；以及，美团和饿了么这些基于位置提供服务的APP中，“附近商家”这一功能就是基于用户位置进行推荐。高德地图在为用户推荐驾驶路线时，会考虑不同路线的拥堵程度、红绿灯数量等计算路线用和路程距离再进行综合排序推荐。

很多时候，基于时间上下文的推荐会协同过滤这类个性化推荐算法结合使用。例如，在使用协同过滤推荐策略的时候，会将时间作为其中一个因素考虑进入推荐策略中，最近的信息先推荐。

以上就是常见的推荐算法。作为产品人，我们不需要知道如何实现，但是我们必须知道这些推荐算法的原理，知道在什么场景下如何去做推荐才能提升推荐的效率，这才是产品经理的价值所在。

参考资料：《推荐算法实战》项亮

Ⅶ 推荐算法综述

推荐系统的目的是通过推荐计算帮助用户从海量的数据对象中选择出用户最有可能感兴趣的对象。涉及三个基本内容:目标用户、待推荐项目以及推荐算法，基本流程为：描述为用户模型构建、项目模型建立以及推荐算法处理三个基本流程；

为了能够为用户提供准确的推荐服务，推荐系统需要为用户构建用户模型，该模型能够反映用户动态变化的多层次兴趣偏好，有助于推荐系统更好的理解用户的特征和需求。构建用户模型通常需要经历三个流程:用户数据收集，用户模型表示以及用户模型更新。

（1）用户数据收集：用户数据是用户模型构建的基础，用户数据收集的方式一般有显示方式获取和隐式方式获取两种。
显示方式获取的数据是用户特征属性和兴趣偏好的直接反映，所获得的信息数据是较为客观全面的，比如用户在注册时包含的性别、年龄等信息可以直接表示出用户的基本人口学信息和兴趣信息，用户对项目的评分可以反映出用户的偏好。但显示获取的方式最大的缺陷是其实时性较差，并且具有很强的侵袭性。
隐式方式获取用户数据是在不干扰用户的前提下，采集用户的操作行为数据，并从中挖掘出用户的兴趣偏好。用户的很多操作行为都能反映出用户的喜好，比如用户浏览网页的速度、用户查询的关键字等，推荐系统在不影响用户使用系统的情况下，通过行为日志挖掘出用户的偏好。隐式获取方式由于具有较好的实时性和灵活性和较弱的侵袭性，己经成为推荐系统中主要的用户数据采集方式。

（2）用户模型表示：用户模型是从用户数据中归纳出的推荐系统所理解的用户兴趣偏好的结构化形式。
a 基于内容关键词表示；
b 基于评分矩阵表示；
（3）用户模型更新：推荐系统面临的问题之一是兴趣漂移，兴趣漂移的根本原因在于用户的兴趣会随时间发生改变。为了使用户模型够准确的代表用户的兴趣，推荐系统需要根据最新的用户数据对用户模型进行更新。

目前项目模型主要通过基于内容和基于分类这两类方式来建立。基于内容的方式是以项目本身内容为基础，向量空间模型表示是目前御用最为广泛的基于内容的方式。

基于分类的方式是根据项目的内容或者属性，将项目划分到一个或者几个类别中，利用类别信息来表示项目，这种方法可以很方便地将项目推荐给对某一类别感兴趣的用户。常见的分类算法有朴素贝叶斯算法和KNN分类算法等。

推荐系统实现的核心是其使用的推荐算法。针对不同的使用环境及其系统的数据特征，选取不同的推荐算法，可以在本质上提高推荐系统的推荐效果。根据不同的分类标准，推荐算法出现了有很多不同的分类方法，本文采用了比较普遍的分类方法。

推荐系统通常被分为基于内容的推荐算法、协同过滤推荐算法以及混合模型推荐算法三大类。

基于内容的推荐算法，其本质是对物品或用户的内容进行分析建立属性特征。系统根据其属性特征，为用户推荐与其感兴趣的属性特征相似的信息。算法的主要思想是将与用户之前感兴趣的项目的内容相似的其他项目推荐给用户。

CBF（Content-based Filter Recommendations）算法的主要思想是将与用户之前感兴趣的项目的内容相似的其他项目推荐给用户，比如用户喜欢Java开发的书籍，则基于内容过滤算法将用户尚未看过的其他Java开发方面的书籍推荐给用户。因此，该推荐算法的关键部分是计算用户模型和项目模型之间的内容相似度，相似度的计算通常采用余弦相似性度量。

基于内容的推荐过程一般分为以下三个模块:
（1）特征提取模块:由于大多数物品信息是非结构化的，需要为每个物品(如产品、网页、新闻、文档等)抽取出一些特征属性，用某一恰当的格式表示，以便下一阶段的处理。如将新闻信息表示成关键词向量，此种表示形式将作为下一模块(属性特征学习模块)的输入。

（2）特征学习模块:通过用户的历史行为数据特征，机器学习出用户的兴趣特征模型。本模块负责收集代表用户喜好的数据信息，并泛化这些数据，用于构建用户特征模型。通常使用机器学习的泛化策略，来将用户喜好表示为兴趣模型。

（3）推荐模块:该模块利用上一阶段得到的用户特征模型，通过对比用户兴趣模型与带推荐物品的特征相似度，为用户推荐与其兴趣相似度较高的物品，从而达到个性化推荐的目的。该模块一般采用计算用户兴趣向量与待推荐物品特征向量的相似度来进行排序，将相似度较高的物品推荐给相应用户。计算相似度有多种方法，如皮尔逊相关系数法、夹角余弦法、Jaccard相关系数法等。

协同过滤算法（Collaborative Filtering）是于内容无关的，即不需要额外获取分析用户或物品的内容属性特征。是基于用户历史行为数据进行推荐的算法。其通过分析用户与物品间的联系来寻找新的用户与物品间的相关性。

该算法算法通常有两个过程，一个过程是预测，另一个过程是推荐。主流的协同过滤算法包括三种:基于用户的协同过滤(User-Based Collaborative Filtering,UBCF)、基于项目的协同过滤(Item-Based Collaborative Filtering, IBCF)和基于模型的协同过滤(Model-Based Collaborative Filtering, MBCF)

（1）基于用户的协同过滤算法
基于用户的协同过滤推荐算法，先通过用户历史行为数据找到和用户u相似的用户，将这些用户感兴趣的且u没有点击过的物品推荐给用户。
算法主要包括以下两个步骤:
(1)找到与目标用户喜好相似的邻居用户集合。
(2)在邻居用户集合中，为用户推荐其感兴趣的物品。

UBCF的基本思想是将与当前用户有相同偏好的其他用户所喜欢的项目推荐给当前用户。一个最典型的例子就是电影推荐，当我们不知道哪一部电影是我们比较喜欢的时候，通常会询问身边的朋友是否有好的电影推荐，询问的时候我们习惯于寻找和我们品味相同或相似的朋友。

（2）基于物品的协同过滤算法
基于物品的协同过滤算法(Item-based Collaborative Filtering)其主要思想是，为用户推荐那些与他们之前喜欢或点击过的物品相似的物品。不过基于物品的协同过滤算法并不是利用物品的内容属性特征来计算物品之间的相似度的。该类算法是利用用户的历史行为数据计算待推荐物品之间的相似度。在该类算法中，如果喜欢物品A的用户大都也喜欢物品B，那么就可以认为物品A和物品B之间的相似度很高。
算法分为以下两个步骤:
(1)根据用户历史行为数据，计算物品间的相似度。
(2)利用用户行为和物品间的相似度为用户生成推荐列表。

IBCF算法是亚马逊在2003年发表的论文中首次提出，该算法的基本思想是根据所有用户的历史偏好数据计算项目之间的相似性，然后把和用户喜欢的项目相类似的并且用户还未选择的其他项目推荐给用户，例如，假设用户喜欢项目a，则用户喜欢与项目a高度相似且还未被用户选择的项目b的可能性非常大，因此将项目b推荐给用户。

UBCF和IBCF都属于基于内存的协同过滤算法，这类算法由于充分发挥了用户的评分数据，形成全局推荐，因此具有较高的推荐质量。但随着用户和项目的规模增长，这类算法的计算时间大幅上升，使得系统的性能下降。针对该问题，研究人员提出将数据挖掘中的模型和CF算法结合，提出了基于模型的协同过滤算法(MBCF) 。

MBCF算法利用用户历史评分数据建立模型，模型建立的算法通常有奇异值分解、聚类算法、贝叶斯网络、关联规则挖掘等，且通常是离线完成。由于MBCF通常会对原始评分值做近似计算，通过牺牲一定的准确性来换取系统性能，因此MBCF的推荐质量略差于UBCF和IBCF。

由于基于内容的推荐算法和协同过滤推荐算法都有其各自的局限性，混合推荐算法应运而生。混合推荐算法根据不同的应用场景，有多
种不同的结合方式，如加权、分层和分区等。

目前使用的混合推荐算法的思想主要可以分成以下几类:
（1）多个推荐算法独立运行，获取的多个推荐结果以一定的策略进行混合，例如为每一个推荐结果都赋予一个权值的加权型混合推荐算法和将各个推荐结果取TOP-N的交叉混合推荐算法。

（2）将前一个推荐方法产出的中间结果或者最终结果输出给后一个推荐方法，层层递进，推荐结果在此过程中会被逐步优选，最终得到一个精确度比较高的结果。

（3）使用多种推荐算法，将每种推荐算法计算过程中产生的相似度值通过权重相加，调整每个推荐算法相似度值的权重，以该混合相似度值为基础，选择出邻域集合，并结合邻域集合中的评估信息，得出最优的推荐结果。

BP (Back Propagation)神经网络是目前应用最广泛的神经网络模型之一，是一种按误差逆传播算法训练的多层前馈网络。

BP神经网络模型包括输入层、隐藏层和输出层，每一层由一个或多个神经元组成，其结构图如图2-3所示。BP神经网络拥有很强的非线性映射能力和自学习、自适应能力，网络本身结构的可变性，也使其十分灵活，一个三层的BP神经网络能够实现对任意非线性函数进行逼近。

BP神经网络的训练过程通常分为3个过程，依次分别为数据初始化过程、正向推演计算过程以及反向权重调整过程。数据初始化是BP神经网络能够进行有效训练的前提，该过程通常包括输入数据进行归一化处理和初始权重的设置；正向推演计算是数据沿着网络方向进行推演计算;反向权重调整则是将期望输出和网络的实际输出进行对比，从输出层开始，向着输入层的方向逐层计算各层中各神经元的校正差值，调整神经元的权重。正向推演计算和反向权重调整为对单个训练样本一次完整的网络训练过程，经过不断的训练调整，网络的实际输出越来越趋近于期望输出，当网络输出到达预期目标，整个训练过程结束。

TF-IDF(Term Frequency-Inverse Document Frequency，词频一逆文档)是文本处理中常用的加权技术，广泛应用于信息检索、搜索引擎等领域。
TF-IDF的主要思想是:如果一个关键词在文档中出现的频率很高，而在其他文档中出现次数较少，则该关键词被认为具有较强的代表性，即该关键词通过TF-IDF计算后有较高的权重。

TextRank算法，是一种用于文本关键词排序的算法，页排序算法PageRank。
PageRank基本思想是将每个网页看成一个节点，网页中的链接指向看成一条有向边，一个网页节点的重要程度取决于链接指向该网页节点的其他节点的数量和重要权值，该过程描述如下:让每一个网页对其所包含的链接指向的网页进行迭代投票，每次迭代投票过程中票的权重取决于网页当前拥有的票数，当投票结果收敛或者达到指定的迭代次数时，每个网页所获得票数即为网页重要程度权值。

TextRank算法相比于TF-IDF最大的优点是TextRank是一种无监督的学习，因此不会受限于文本的主题，并且无需大规模的训练集，可以针对单一文本进行快速的关键词的权重计算。

Ⅷ 信息流的那点事：3 推荐算法是如何实现的

讲完信息流流行的原因（ 信息流的那点事：2 为什么信息流如此流行 ），这一篇，我们来从产品的视角，来看看推荐算法在技术上是如何实现的。

根据需要的技术和运营成本，可以将主流的推荐算法分为三类：基于内容元数据的推荐、基于用户画像的推荐、基于协同过滤算法的推荐。

基于元数据的推荐是比较基础的推荐算法，基本原理是给内容打标签，具体元数据的选取根据的内容有所不同，比较通用的角度有内容的关键词、类型、作者、来源等，打开一款头条类app，选择屏蔽一条内容，就可以看到一些该内容的元数据。

有了内容的元数据，就可以根据内容间的关联，可以进行相关内容的推荐，喜欢看奇葩说的用户，可能也会喜欢看同是米未传媒出品的饭局的诱惑。根据内容的元数据，也可以记录并逐渐明确用户的内容偏好，进行数据积累，便于结合用户的喜好进行对应的精准推荐，这也就是下面要说的基于用户画像的推荐的内容。

用户画像，类比一下就是给用户打标签，主要由三部分组成：用户的基础数据（年龄、性别等）、应用使用数据（应用使用频率、时长等）和内容偏好数据（喜好的内容分类、种类等）。

对于基础数据，不同年龄的用户的内容偏好有很大差异，年轻人可能更喜欢新歌热歌，而中年人可能更爱听怀旧一些的歌曲；根据应用使用数据，可以进行用户分层，活跃用户可以多推荐内容促进使用，快要流失用户可以推送一些打开率较高的内容来挽回，运营活动也可以更有针对性；基于内容偏好数据，可以记录并逐渐明确用户的内容偏好，从而进行更精准的推荐，从爱看娱乐新闻，到爱看国内明星，再到爱看某个小鲜肉，随着内容偏好数据的逐步积累，头条类产品的推荐也就越精确。

协同过滤算法，简单来说，就是寻找相近的用户或内容来进行推荐，主要有基于用户的协同过滤推荐和基于项目的协同过滤推荐两种。

（1）基于用户的协同过滤推荐

基于用户的协同过滤推荐算法，就是通过算法分析出与你内容偏好相近的用户，将他喜欢的内容推荐给你，这种推荐给你志同道合的人爱看的内容的思路，更相近于生活中的朋友作为同道中人的推荐。举例来说，如果你喜欢ABC，而其他用户在和你一样喜欢ABC的同时，还都喜欢D，那么就会把D推荐给你。

（2）.基于内容的协同过滤推荐

基于内容的协同过滤推荐算法，就是通过算法分析出内容和内容之间的关联度，根据你喜欢的内容推荐最相关的内容，常见的看了这个内容的用户85%也喜欢xxx，就是这种思路。举例来说，如果你喜欢A，而喜欢A的用户都喜欢B，那么就会把B推荐给你。

相比于纯粹的基于内容元数据的推荐，基于内容的协同过滤推荐更能发现一些内容间深层次的联系，比如罗辑思维经常推荐各种内容，仅仅根据内容元数据来推荐，一集罗辑思维最相关的应该是另外一集，并不能推荐内容元数据相关性不太大的节目里推荐的内容；但由于可能很多用户看完后都会搜索查看节目里推荐的内容，基于内容的协同过滤推荐就会发现两者的相关性，进行推荐。

介绍推荐算法的思路时，我们一直谈到一个词“内容偏好”，这也就是实现推荐算法时一个核心的问题——需要通过怎样的数据，才能判定用户的内容偏好？主流的思路有一下三种：

让用户手动选择，显然是最简单的思路，然而由于选择的空间必然有限，只能让用户从几个大类中间挑选，无法涵盖全部内容的同时，粒度过大推荐也就很难精准。而且刚打开应用就让用户选择，或者是让用户使用一段时间后在去补充选择，这样的操作都太重可能造成用户流失。

既然手动选择很难实现，我们就需要从用户的使用数据中挖掘，主流的思路就是根据用户一些主动操作来判断，点击阅读了就说明喜欢，点了赞或者回复分享就是特别喜欢，如果跳过了内容就减少推荐，点击了不感兴趣，就不再推荐。

根据用户使用的操作来判断内容偏好，在不断地使用中积累与细化数据，对内容偏好的判断也就越来越准确，这就是头条系应用的主要策略，这样的策略对于下沉市场的不愿做出主动选择的沉默用户，是一个非常适合的策略，但这样只看点击与操作，不关注内容实际质量的策略也会造成标题党、内容低俗等问题，在后文会进一步介绍。

既然选择不能完全代表用户的内容偏好，如何使判断更加精准呢？就要从一些更加隐性的数据入手了，比如对于文章，除了点击，阅读时间，阅读完成度，是否查看文章的相关推荐内容，都是可以考虑的角度，相比纯粹的点击判断，可以一定程度上解决标题党的问题。再比如看视频，如果快进次数过多，虽然看完了，可能也不是特别感兴趣，而值得反复回看的内容，命中内容偏好的几率就相对较高。

介绍完了推荐算法的原理与数据来源，让我们来试着还原一下一条内容的完整分发流程。

首先，是内容的初始化与冷启动。可以通过算法对内容进行分析提取或者人工处理，提取内容的来源、分类、关键词等元数据，再根据用户画像计算内容兴趣匹配度，分发给有对应内容偏好的用户，,也可以通过内容原匹配度,向关系链分发,完成内容的冷启动。

然后，可以根据用户阅读时间，阅读完成度,互动数等数据，对该内容的质量进行分析，相应的增加或者减少推荐,实现内容动态分发调节。

最后，就是协同过滤算法发挥作用的时间，对于优质内容，可以通过基于用户的协同过滤推荐，推荐给与该内容受众有类似爱好的用户，也可以基于项目的协同过滤推荐，推荐给爱观看同类内容的用户,让优质内容的传播不在局限于关系链。

在真正的推荐算法实现过程中，除了基础的内容原匹配度,内容匹配度和内容质量,还有很多值得考虑的问题，比如新闻通知等时效性内容就要短时间加权，超时则不推荐；对于用户的内容偏好也不能永远维持，随着时间用户可能会喜欢新的内容，如果一定时间内用户对以前喜欢的内容不感兴趣，就要减少该种类推荐；还有为了不陷入越喜欢越推荐，最后全部是一种内容，让用户厌烦的境地，对于用户的偏好也要设定一个上限；为了保持新鲜度，需要帮助用户发现他可能喜欢的新内容.....

最后，通过数据可以了解我们如何阅读这篇文章，但任何数据都无法准确描述我们阅读后的感受与收获；再高级的算法也只是算法，它虽然可能比我们更了解我们实际的的内容偏好，但无法了解到我们对于内容的追求。

这可能也就是头条系产品虽然收获了巨大成功，但也收到了标题党、低俗化、回音室效应等指责的原因，下一篇，让我们来聊聊，信息流产品的面临的问题与可能的解决方法。

Ⅸ 如何做好“推荐算法”有哪些常见的错误需要避免

在这里share一下。
1、推荐算法的构成
一套标准的推荐算法，需要四个组成部分
第一：数据源，行为基础数据的筛选；通常，推荐算法来源于用户行为的采集，简单说就是行为数据越丰富，样本覆盖率越全面，结果越准确；如果采样有偏差，那么结果就会有偏差。
举例1：游戏推荐算法，我们之前限于采样技术水平和处理能力，用的是登陆用户玩过的游戏历史，那么推荐结果就会偏重于需要登陆的游戏。而随着技术提升用全部用户玩过的游戏历史，就更全面了。
举例2：在搜索引擎中，对关键词做推荐，有两种方案，一种是基于广告主的竞价记录；另一种是基于网民的搜索行为；前一种专业性更强，噪音小；后一种覆盖面广，噪音大，各有利弊，根据业务诉求选择。
推荐算法，通常来源于用户的行为记录，比如关键词推荐用用户搜索历史，电商推荐用用户购物历史，游戏推荐用玩家玩游戏的历史，然后基于算法给出相关度，再排序展示 ；但这不绝对，也有并非基于用户行为记录的推荐原理，比如基于用户身份特征或其他地区、网络环境等特征，限于篇幅和常见的业务诉求，这里就不展开说明了。
行为基础数据必要时要做一些去除噪音的工作，比如你通过日志分析玩家游戏历史，或用户购物历史，至少知道把各搜索引擎和工具的抓取痕迹过滤出去，否则结果是很难看的。
算法很多种，网上可以搜到很多，就算搜不到，或者搜到了看不懂，自己编也不难的（我就编过，效果自以为还不错，但是的确不如人家专业的算法效果好，所以适合练手，不适合出去吹牛）
不同算法差异还是蛮大的，需要理解一下业务诉求和目标特征来选择。这个我真心不是高手，我们同事讲的算法我都没能理解，就不多说了。微博上的“张栋_机器学习"和"梁斌penny"都是算法高手，大家可以多关心他们的微博。
第三：参数！
绝对不要认为用到了好的算法就可以了！算法往往会基于一些参数来调优，这些参数哪里来？很不好意思的告诉你，大部分是拍脑袋出来的。但是你拍脑袋出来后，要知道去分析结果，去看哪里对，哪里错，哪里可以改，好的算法可以自动调优，机器学习，不断自动调整参数达到最优，但是通常可能需要你不断手工去看，去看badcase，想想是什么参数因素导致的，改一下是否变好？是否引入新的bad case？
第四：校验！
校验一种是人工做盲测，A算法，B算法的结果混淆，选案例集，看哪个效果好；或A参数、B参数混淆，同理测试。通过盲测选择认为更合理的算法、更适宜的参数.
以上是个人认为，做好推荐算法的步骤
下面说一下常见问题
1、以为有了算法就ok了，不对参数优化，不做后续的校验和数据跟踪，效果不好就说算法有问题，这种基本属于工作态度的问题了。
2、对样本数据的筛选有问题，或缺乏必要的噪音筛查，导致结果噪音多。比如你有个推广位天天摆着，导致用户点击多，然后导致后台行为数据里它和谁的关联都高，然后不管用户到哪里都推荐这个玩意，这就是没有足够筛查。
3、热度影响
我说一下最简单的推荐算法
同时选择了A和B的人数作为A与B的关联度。
这个实现最简单，也最容易理解，但是很容易受热度影响
我曾经注意过某个热门图书电商网站，推荐的关联书籍一水的热门书籍，就是这个问题。
这些是非常简单但是又非常容易出现的，关联误区。
4、过于求全
现在也遇到一些朋友，一提到推荐算法或者推荐系统，就说我这个要考虑，那个要考虑，不管是行为记录，还是用户特征，以至于各种节日效应，等等等等，想通过一个推荐系统完全搞定，目标很大，所以动作就极慢，构思洋洋洒洒做了很多，实现起来无从下手，或者难以寸进；我觉得，还是量力而行，从最容易下手的地方开始，先做到比没有强，然后根据不断地数据校验跟踪，逐渐加入其他考虑因素，步步前进，而不要一上来就定一个宏伟的庞大的目标；此外要考虑实现成本和开发周期，对于大部分技术实力没有网络，腾讯，淘宝那么强的公司而言，先把简单的东西搞好，已经足够有效了，然后在运营数据的基础上逐次推进，会越来越好；有些公司是被自己宏大的目标搞的焦头烂额，最后说，哎，没牛人搞不定啊。嗯，反正他们的目标，我显着是搞不定的。就这些，希望有所帮助

Ⅹ 百度搜索引擎的算法是怎样的

衡量网页质量的维度
网络搜索引擎在衡量网页质量时，会从以下三个维度综合考虑给出一个质量打分。下面会一一介绍这些影响网页质量判断的维度特征：
• 内容质量
• 浏览体验
• 可访问性
一个访问流畅，内容质量高且浏览体验好的网页具有较高的质量；反之，任何一个维度出现问题，都会影响网页的整体质量。下面我们具体介绍下这三个维度。

衡量网页质量的维度——内容质量

网页主体内容是网页的价值所在，是满足用户需求的前提基础。网络搜索引擎评价网页内容质量主要看其主体内容的好坏，以及主体内容是否可以让用户满意。 不同类型网页的主体内容不同，网络搜索引擎判断不同网页的内容价值时，需要关注的点也有区别，如：
• 首页：导航链接和推荐内容是否清晰、有效。
• 文章页：能否提供清晰完整的内容，图文并茂更佳。
• 商品页：是否提供了完整真实的商品信息和有效的购买入口。
• 问答页：是否提供了有参考价值的答案。
• 下载页：是否提供下载入口，是否有权限限制，资源是否有效。
• 文档页：是否可供用户阅读，是否有权限限制。
• 搜索结果页：搜索出来的结果是否与标题相关。

网络搜索引擎考量网页内容质量的维度非常多，最为重要的是：成本；内容完整；信息真实有效以及安全。下面我们通过举例来感受一下网络搜索引擎是如何对网页的内容质量进行分类的，请站长对比自己站点的页面，站在搜索引擎和用户的角度为自己打分：
1、内容质量好：
网络搜索引擎认为内容质量好的网页，花费了较多时间和精力编辑，倾注了编者的经验和专业知识；内容清晰、完整且丰富；资源有效且优质；信息真实有效；安全无毒；不含任何作弊行为和意图，对用户有较强的正收益。对这部分网页，网络搜索引擎会提高其展现在用户面前的机率。例如：
• 专业医疗机构发布的内容丰富的医疗专题页面；
• 资深工程师发布的完整解决某个技术问题的专业文章；
• 专业视频网站上，播放清晰流畅的正版电影或影视全集页面；
• 知名B2C网站上，一个完整有效的商品购买页；
• 权威新闻站原创或经过编辑整理的热点新闻报道；
• 经过网友认真编辑，内容丰富的词条；
• 问答网站内，回答的内容可以完美解决提问者的问题。

实例参考：

示例

内容质量

说明

case 3.1.1-1

好

专业医疗网站发布的丰富医疗专题页面

case 3.1.1-2

好

资深工程师发布的完整解决某个技术问题的专业文章

case 3.1.1-3

好

专业视频网站上，播放清晰流畅的正版影视全集页面

case 3.1.1-4

好

京东的一个完整有效的商品购买页

case 3.1.1-5

好

权威新闻站原创的热点新闻的报道

case 3.1.1-6

好

经过网友认真编辑，内容丰富的网络词条

case3.1.1-7

好

网络知道上，完美解决用户问题的问答页

2、内容质量中：
内容质量中等的网页往往能满足用户需求，但未花费较多时间和精力进行制作编辑，不能体现出编者的经验和专业知识；内容完整但并不丰富；资源有效但质量欠佳；信息虽真实有效但属采集得来；安全无毒；不含作弊行为和意图。在互联网中，中等质量网页其实是一个比较大的数量集合，种类面貌也繁杂多样，网络搜索引擎在评价这类网页时往往还要考虑其它非常多因素。在这里，我们仅部分举例来让各位感受一下：
• 论坛类网站里一个普通的帖子；
• 一个普通的问答网页；
• 没有进行任何编辑，直接转载其它网站的新闻；
• 无版权信息的普通电影播放页
• 采集知名小说网站的盗版小说页。

实例参考：

示例

内容质量

说明

case 3.1.2-1

中

网易直接转载了中国新闻网的一篇新闻。

case 3.1.2-2

中

文库上网友上传的“国庆放假安排”新闻

case 3.1.2-3

中

采集起点小说网的盗版小说站

case 3.1.2-4

中

网络贴吧里一个普通的帖子

3、内容质量差：
网络搜索引擎认为主体内容信息量较少，或无有效信息、信息失效过期的都属于内容质量差网页，对用户没有什么实质性的帮助，应该减少其展现的机会。同时，如果一个网站内该类网页的占比过大，也会影响网络搜索引擎对站点的评级，尤其是UGC网站、电商网站、黄页网站要尤其重视对过期、失效网页的管理。例如：
• 已下架的商品页，或已过期的团购页；
• 已过有效期的招聘、交易页面；
• 资源已失效，如视频已删除、软件下载后无法使用等。

4、没有内容质量可言：
没有内容质量可言的网页指那些制作成本很低，粗制滥造；从别处采集来的内容未经最起码的编辑整理即放置线上；挂木马等病毒；含有作弊行为或意图；完全不能满足用户需求，甚至含有欺骗内容的网页。例如：
• 内容空短，有很少量的内容，却不能支撑页面的主要意图；
• 问答页有问无答，或回答完全不能解决问题；
• 站内搜索结果页，但没有给出相关信息

除上述网页外，欺骗用户和搜索引擎的网页在无内容质量可言集合里占很高比例。网络搜索引擎对作弊网页的定义是：不以满足用户需求为目的，通过不正当手段欺骗用户和搜索引擎从而获利的网页。目前互联网上这部分网页还属少数，但作弊网页的价值是负向的，对用户的伤害非常大，对这类网页，搜索引擎持坚决打击态度。

衡量网页质量的维度——浏览体验
不同质量的网页带给用户的浏览体验会有很大差距，一个优质的网页给用户的浏览体验应该是正向的。用户希望看到干净、易阅读的网页，排版混乱、广告过多会影响用户对网页主体内容的获取。在网络搜索引擎网页质量体系中，用户对网页主体内容的获取成本与浏览体验呈反比，即获取成本越高，浏览体验越低。面对内容质量相近的网页，浏览体验佳者更容易获得更高的排位，而对于浏览体验差的网页，网络搜索引擎会视情况降低其展现的机率甚至拒绝收录。
影响用户浏览体验好坏的因素很多，目前网络搜索引擎主要从内容排版、广告影响两方面对网页进行考量：
内容排版：用户进入网页第一眼看到的就是内容排版，排版决定了用户对网页的第一印象，也决定了用户对内容获取的成本。
广告影响：网络搜索引擎理解网站的生存发展需要资金支持，对网页上放置正当广告持支持态度。网页应该以满足用户需求为主旨，最佳状态即“主体内容与广告一起满足用户需求，内容为主，广告为辅”，而不应让广告成为网页主体。

下面我们通过举例来感受一下网络搜索引擎是如何对网页的浏览体验进行分类的，站长可以据此对比检验自己站点的浏览体验如何：
1、浏览体验好：
页面布局合理，用户获取主体内容成本低，一般具有以下特征：
• 排版合理，版式美观，易于阅读和浏览；
• 用户需要的内容占据网页最重要位置；
• 能够通过页面标签或页面布局十分清楚地区分出哪些是广告；
• 广告不抢占主体内容位置，不阻碍用户对主要内容的获取；

实例参考：

示例

浏览体验

说明

case 3.2.1-1

好

招聘、房产等网站首页也有很多广告，但都是招聘相关的，浏览体验是ok的。

case 3.2.1-2

好

文章页，页面布局合理，无广告，排版好，结构合理

case 3.2.1-3

好

游戏首页，排版美观，布局合理，无广告，浏览体验优

2、浏览体验差：
页面布局和广告放置影响了用户对主体内容的获取，提高了用户获取信息的成本，令用户反感。包括但不仅限于以下情况：
• 正文内容不换行或不分段，用户阅读困难；
• 字体和背景颜色相近，内容辨别困难；
• 页面布局不合理，网页首屏看不到任何有价值的主体内容；
• 广告遮挡主体内容；或者在通用分辨率下，首屏都是广告，看不到主体内容；
• 弹窗广告过多；
• 影响阅读的浮动广告过多
• 点击链接时，出现预期之外的弹窗；
• 广告与内容混淆，不易区分；

衡量网页质量的维度——可访问性
用户希望快速地从搜索引擎获取到需要的信息，网络搜索引擎尽可能为用户提供能一次性直接获取所有信息的网页结果。网络搜索引擎认为不能直接获取到主体内容的网页对用户是不友好的，会视情况调整其展现机率。

网络搜索引擎会从正常打开、权限限制、有效性三方面判断网页的可访问性，对于可以正常访问的网页，可以参与正常排序；对于有权限限制的网页，再通过其它维度对其进行观察；对于失效网页，会降权其展现机制甚至从数据库中删除。

1、可正常访问的网页
无权限限制，能直接访问所有主体内容的网页。

2、有权限限制的网页
此类网页分为两种：打开权限和资源获取权限
1）打开权限：指打开网页都需要登录权限，没有权限完全无法看到具体内容，普通用户无法获取或获取成本很高，网络搜索引擎会降低其展现机率。不包括以登录为主要功能的网页。
2）资源获取权限：指获取网页主要内容，如文档、软件、视频等，需要权限或者需要安装插件才能获得完整内容。此时会分三种情况：
• 提供优质、正版内容的网站，由于内容建设成本很高，尽管查看全文或下载时需要权限或安装插件，但属于用户预期之内，网络搜索引擎也不认为权限行为对用户造成伤害，给予与正常可访问页面相同的对待。
• 对于一些非优质、非正版的资源，来自于用户转载甚至机器采集，本身成本较低，内容也不独特，用户获取资源还有权限限制——需要用户注册登录或者付费查看，网络搜索引擎会根据具体情况决定是否调整其展现。
• 还有一些视频、下载资源页，也许自身资源质量并不差，但需要安装非常冷门的插件才能正常访问，比如要求安装“xx大片播放器”，网络搜索引擎会怀疑其有恶意倾向。

实例参考：

示例

可访问性

说明

case 3.2-1

好

CNKI上的一篇论文，收费才能下载，但有版权，浏览体验好

case 3.2-2

好

优酷上一部新电影，需要付费才能观看，浏览体验好。

case 3.2-3

中

内容是来，但是需要登录才能看更多

case 3.2-4

差

入党申请书，本身就是转载的，网上到处都是，但这个页面仍然要求收费才能下载。

3、失效网页
往往指死链和主体资源失效的网页。网络搜索引擎认为这部分网页无法提供有价值信息，如果站点中此类网页过多，也会影响网络搜索引擎对其的收录和评级。建议站长对此类网页进行相应设置，并及时登录网络站长平台，使用死链提交工具告知网络搜索引擎。
失效网页包括但不仅限于：
• 404、403、503等网页；
• 程序代码报错网页；
• 打开后提示内容被删除，或因内容已不存在跳转到首页的网页；
• 被删除内容的论坛帖子，被删除的视频页面（多出现在UGC站点）

具体请参阅《网络搜索引擎网页质量白皮书》，望采纳！