傳統推薦演算法

① 生活中的人工智慧之搜索和推薦演算法

姓名：陳心語  學號：21009102266 書院：海棠1號書院

轉自： 人工智慧在搜索中的應用_u014033218的專欄-CSDN博客

人工智慧在搜索的應用和實踐_qq_40954115的博客-CSDN博客

【嵌牛導讀】日常生活中的搜索和推薦演算法也與人工智慧有所關聯，讓我們一起來看看吧！

【嵌牛鼻子】人工智慧運用於搜索和推薦演算法。

【嵌牛提問】人工智慧在搜索和推薦演算法中有什麼運用呢？

【嵌牛正文】

智能交互

智能交互有三個方面的這部分組成，第一個就是Query推薦，這是比較古老的課題；第二個做智能導購，這是現在正在做的一個原形，後面我會講為什麼做智能導購；第三個內容的展示和個性化的創意。就是說你把商品怎麼展示給用戶，也是我們認為是交互的一部分。

第一個是Query推薦，這個問題怎麼來抽象呢？Query推薦是一個用戶當前Query下面我們怎麼推薦其它Query，這是我們相關搜索一樣的。我們推薦這樣的一個Query以後，如果用戶一旦點了其中的一個Query，用戶的狀態就會發生變化，從當前的Query跳到另外一個Query，這是用戶狀態的變化。第二個就是說我們怎麼評價我們推薦的Query的好壞，它由幾部分組成，一個Query有沒有被點，第二個就是說推薦Query裡面，它的SRP頁會不會點，因為Query推薦本質上不是Query推薦做的最好就是最好的，它是說最終要在搜索SRP用戶有沒有買，有沒有點擊，這才是做的好的，這是第二個收益。還有一個更加間接的，通過Query推，這個狀態轉到下一個狀態以後，這個裡面還會推其它Query，還會有其它點擊，這個時候也是個間接推薦。如果我不推Query就不能到這個狀態，不到狀態不會有這個Query，不會有這個收益。我們了解，這就是典型的一個馬爾科夫決策過程，我們是用強化學習來做的，Actions就是我們的Query list，根據用戶和當前Query推薦其他Query，狀態就是User + Query，收益就是包括推薦Query擊，還有一個間接收益，間接收益通過bellman 公式可以算出來，這就是一個DQN的強化學習項目。

智能導購

現在的搜索呈現的問題就是說，如果去看搜索的Query都是一些品類詞、品牌詞、型號詞或者屬性詞。假定用戶他知道買什麼再來搜索搜，但是有各很大的東西用戶不知道買什麼嗎？智能導購就是做做一個類似智能導購機器人的產品，引導用戶怎麼搜，用戶也可以主動問，獲取知識或購物經驗。這是後台的演算法的一個原形，不久後會上線。

智能內容

因為淘寶的商品，賣家為了適應我們的引擎，做了大量的SEO，裡面都是羅列熱門的關健詞，導致問題淘寶的標題沒什麼差異，都寫的差不多，看標題也不知道什麼東西，或者知道但裡面沒有很多特色的內容。我們做智能內容很重要的出發點是怎麼從商品的評價、詳情頁、屬性裡面挖出一些比較有賣點，或者商品比較有特色的東西展示給用戶，讓用戶更好的了解商品，這是第一個。第二個淘寶上面還有類似商品聚合的，比如清單，生成一個清單，怎麼給清單生成一個比較好的導入的描述，讓用戶描述這個清單干什麼。這裡面主要做了這兩個事情。具體怎麼做的？一個會生成一些Topic，比如行業運營加上我們挖的一些點，比如像手機一般大家關注點會是手機的性價比，拍照是不是清晰，還有速度是不是快，是不是發熱什麼的，這是用戶關注的興趣點。然後它會根據這個商品會選擇一個興趣點，通過Seq2seq生成短文本。

語義搜索

我們的商品屬性基本上是比較標准化的，因為這里淘寶有一個這樣的商品庫，非標准化的內容是沒法上傳的。導致的問題是我們的商品內容相對來說是比較規范化的，但是用戶的輸入的Query不是這樣的，比如我這里舉一些例子，比如一個新品有各種表達，2017新品，2017冬季新品，是吧？新品，有很多的表達。所以就是從從用戶的需求跟商品的內容，就存在了一個語義的Gap。還有我們經常舉例，比如三口之家用的電飯鍋，很多這種語義的問題，這個語義從語義角度解決語義Match的事情。

大概會有這么幾個方面。比如一個就是意圖的理解，還有意圖的Mapping，比如大容量冰箱，首先知道大的是跟冰箱的容量相關的，冰箱是個類目，最後要Mapping到人的冰箱，把『大』改寫成一個容量大於多少升，類目是冰箱這樣才能夠比較好的解決我們這個搜索的這個召回的問題。 第二個語義理解，這裡麵包括Query和商品都要做語義理解，比如通過image tagging計算從圖片裡面抽取很多文本的語義標簽補充到商品文本索引中。 第三個就是現在有這個端到端的深度學習技術來直接學Query和商品的Similarity，通過端到端的深度學習技術來做語義的召回和語義的相關性。

智能匹配

主要就是講個性化，做個性化的首要就是個性化數據。個性化本質上就是說以用戶為中心構建用戶的標簽，用戶的行為，還有用戶的偏好，再通過這些數據找到，去Match到商品，比如說你看過相似商品，典型的協同過濾，還有你偏好的品牌的其它商品。那就是基於這些經歷了一個以用戶為中心的電商圖譜，這裡面還加了一些輔助的數據，比如商品的相似度，店鋪之間的相似度，這樣構建了我們這樣的叫電商圖譜。

個性化召回與向量化召回

召回是這樣的，首先從咱們的電商圖譜里取出用戶的信息，包括比如說年齡性別，還有當地溫度是多少，還有行為足跡等等之類的，社交現在沒用了，因為這是幾年前社交特別火，什麼都要摻和一下，其實社交，信息的社交到電商其實風馬牛不相及的領域，沒有任何價值。所以現在好友這東西幾乎沒有用。因為不同Query中，用戶信息重要性是不一樣的，我們根據上下文會做用戶信息的篩選或者排序，會找出比較重要的信息做個性化召回。以上是淘寶商品索引結構，傳統的搜索關鍵字是通過搜索關鍵字召回，而個性化商品索引，除了Query還會有商品簇，簇與簇之間的關系，品牌店鋪等等之類的，會加很多個性化的特徵做召回，通過這種帶的好處是召回的結果跟用戶是直接相關的，就召回這一步帶來個性化。

但是這種基於行為召回還是存在一個問題的。最重要的問題它的泛化能力會比較差。最典型的比如說你通過協同過濾來做，如果兩個商品，沒有用戶同時看過的話，這兩個商品你認為他們相似度是零，這個結論是錯的，但是如果通過協同過濾就有這個問題。我們今年實現了向量化召回，包括兩步：一個是Similarity learning，通過這個深度學習做端到端的Similarity learning，就會把這個我們的User 和Item會變成一個向量；第二步就是做向量化召回，比如層次聚類，隨機遊走，learning to hash等,這樣的話就是說會極大的提升召回的深度。

個性化工作

在個性化領域其實最重要的一個核心的問題就是怎麼去理解用戶，怎麼感知用戶和預測用戶行為及偏好。

首先是數據，用戶在淘寶有兩個中類型重要的基本信息：一個是用戶標簽，比如年齡、性別、職業等；第二是用戶足跡，比如 點過，買過的商品，店鋪等；

其次是用戶感知要和搜索上下文相關，即這個用戶的表徵和要用戶搜索意圖相關；

第三是搜索有很多差異化的任務，比如用戶消費能力的預估， User到Item的CTR預估和用戶購物狀態預估等，是為每個任務做個端到端的深度學習模型還是用統一的用戶表徵來完成不同的Task？如果每一個任務都做端到端深度學習會有很多問題，比如離線和在線的性能開銷會大很多，或部分任務樣本太少。

如圖是用戶感知深度模型，輸入X是用戶的點擊行為序列，下一步是embedding，embedding完以後，通過LSTM把用戶行為序列做embedding，因為在搜索用戶感知和Query相關，所以加入query 的 attention層，選擇和當前query有關系的行為，表徵完是Multi-task learning 網路。整個這個網路的參數大概有一百億個參數，我在雙11我們還實現了在線學習。

演算法包括智能交互、語義搜索、智能匹配和搜索策略四個方向。

智能交互

商品搜索就是帶交互的商品推薦，用戶通過關鍵字輸入搜索意圖，引擎返回和搜索意圖匹配的個性化推薦結果，好的交互技術能夠幫助到用戶更好的使用搜索引擎，目前搜索的交互主要是主動關鍵字輸入和關鍵字推薦，比如搜索框中的默認查詢詞和搜索結果中的文字鏈等，推薦引擎根據用戶搜索歷史、上下文、行為和狀態推薦關鍵字。和商品推薦的區別是，關鍵字推薦是搜索鏈路的中間環節，關鍵字推薦的收益除了關鍵字的點擊行為外，還需要考慮對整個購物鏈路的影響，包括在推薦關鍵字的後續行為中是否有商品點擊、加購和成交或跳轉到另外一個關鍵字的後繼行為，這是一個典型的強化學習問題，action 是推薦的關鍵字候選集合，狀態是用戶當前搜索關鍵詞、上下文等，收益是搜索引導的成交。除了被動的關鍵字推薦，我們也在思考搜索中更加主動的交互方式，能夠做到像導購員一樣的雙向互動，主動詢問用戶需求，挑選個性化的商品和給出個性化的推薦理由，目前我們已經在做智能導購和智能內容方向的技術原型及論證，智能導購在技術上主要是借鑒對話系統，通過引導用戶和引擎對話與關鍵字推薦方式互為補充，包括自然語言理解，對話策略，對話生成，知識推理、知識問答和商品搜索等模塊，功能主要包括：a. 根據用戶搜索上下文生成引導用戶主動交互的文本，比如搜索「奶粉」時，會生成「您寶寶多大？0~6個月，6個月到1歲….」引導文案，提示用戶細化搜索意圖，如果用戶輸入「3個月」後，會召回相應段位的奶粉，並在後續的搜索中會記住對話狀態「3個月」寶寶和提示用戶「以下是適合3個月寶寶的奶粉」，b. 知識導購，包含提高售前知識問答或知識提示，比如「3個月寶寶吃什麼奶粉」 回答「1段」，目前對話技術還不太成熟，尤其是在多輪對話狀態跟蹤、知識問答和自動評價幾個方面，但隨著深度學習、強化學習和生成對抗學習等技術在NLP、對話策略、閱讀理解等領域的應用，越來越多的訓練數據和應用場景，domain specific 的對話技術未來幾年應該會突飛猛進；智能內容生成，包括生成或輔助人工生成商品和清單的「賣點」，短標題和文本摘要等，讓淘寶商品表達更加個性化和多元化。

語義搜索

語義搜索主要是解決關鍵字和商品內容之間的語義鴻溝，比如搜索「2~3周歲寶寶外套」，如果按照關鍵字匹配召回結果會遠小於實際語義匹配的商品。語義搜索的范圍主要包括：a. query tagging和改寫，比如新品，年齡，尺碼，店鋪名，屬性，類目等搜索意圖識別和歸一化，query tagging模型是用的經典的序列標注模型 bi-lstm + CRF，而標簽分類（歸一化） 作為模型另外一個任務，將序列標注和分類融合在一起學習；b. query 改寫，主要是計算query之間相似度，把一個query改寫成多個語義相似的query，通常做法是先用不同改寫策略生成改寫候選query集合，比如詞替換、向量化後top k、點擊商品相似度等，然後在用ltr對後續集合排序找出合適的改寫集合，模型設計和訓練相對簡單，比較難的是如何構建高質量的訓練樣本集合，線上我們用bandit 的方法探測部分query 改寫結果的優劣，離線則用規則和生成對抗網路生成一批質量較高的樣本； c. 商品內容理解和語義標簽，通過商品圖片，詳情頁，評價和同義詞，上下位詞等給商品打標簽或擴充商品索引內容，比如用 image tagging技術生成圖片的文本標簽豐富商品內容，或者更進一步用直接用圖片向量和文本向量融合，實現富媒體的檢索和查詢；d. 語義匹配，經典的DSSM 模型技術把query 和商品變成向量，用向量內積表達語義相似度，在問答或閱讀理解中大量用到多層LSTM + attention 做語義匹配，同樣高質量樣本，特別是高質量負樣本很大程度上決定了模型的質量，我們沒有采樣效率很低的隨機負采樣，而是基於電商知識圖譜，通過生成字面相似但不相關的query及相關文檔的方法生成負樣本。從上面可以看到query tagging、query相似度、語義匹配和語義相關性是多個目標不同但關聯程度非常高的任務，下一步我們計劃用統一的語義計算框架支持不同的語義計算任務，具體包括1. 開發基於商品內容的商品表徵學習框架，為商品內容理解，內容生成，商品召回和相關性提供統一的商品表徵學習框架，重點包括商品標題，屬性，詳情頁和評價等文本信息抽取，圖像特徵抽取和多模信號融合；2. query 表徵學習框架，為query 類目預測，query改寫，query 推薦等提供統一的表徵學習框架，重點通過多個query 相似任務訓練統一的query表徵學習模型；3. 語義召回，語義相關性等業務應用模型框架。語義搜索除了增加搜索結果相關性，提升用戶體驗外，也可以一定程度上遏制淘寶商品標題堆砌熱門關鍵詞的問題。

智能匹配

這里主要是指個性化和排序。內容包括：a. ibrain (深度用戶感知網路)，搜索或推薦中個性化的重點是用戶的理解與表達，基於淘寶的用戶畫像靜態特徵和用戶行為動態特徵，我們基於multi-modals learning、multi-task representation learning以及LSTM的相關技術，從海量用戶行為日誌中直接學慣用戶的通用表達，該學習方法善於「總結經驗」、「觸類旁通」，使得到的用戶表達更基礎且更全面，能夠直接用於用戶行為識別、偏好預估、個性化召回、個性化排序等任務，在搜索、推薦和廣告等個性化業務中有廣泛的應用場景，感知網路超過10B個參數，已經學習了幾千億次的用戶行為，並且會保持不間斷的增量學習越來越聰明； b. 多模學習，淘寶商品有文本、圖像、標簽、id 、品牌、類目、店鋪及統計特徵，這些特徵彼此有一定程度的冗餘和互補，我們利用多模學習通過多模聯合學習方法把多維度特徵融合在一起形成統一的商品標准，並多模聯合學習中引入self-attention實現特徵維度在不同場景下的差異，比如女裝下圖片特徵比較重要，3C下文本比較重要等；c. deepfm，相對wide & deep 模型，deepfm 增加了特徵組合能力，基於先驗知識的組合特徵能夠應用到深度學習模型中，提升模型預測精度；d. 在線深度排序模型，由於行為類型和商品重要性差異，每個樣本學習權重不同，通過樣本池對大權重樣本重復分批學習，有效的提升了模型學習穩定性，同時通過融合用戶狀態深度ltr模型實現了千人千面的排序模型學習；e. 全局排序，ltr 只對單個文檔打分然後按照ltr分數和打散規則排序，容易導致搜索結果同質化，影響總頁效率，全局排序通過已知排序結果做為上下文預測下一個位置的商品點擊概率，有效提升了總頁排序效率；f. 另外工程還實現了基於用戶和商品向量的向量召回引擎，相對倒排索引，向量化召回泛化能力更強，對語義搜索和提高個性化匹配深度是非常有價值的。以上實現了搜索從召回、排序特徵、排序模型、個性化和重排的深度學習升級，在雙11無線商品搜索中帶來超過10% (AB-Test)的搜索指標提升。

智能決策

搜索中個性化產品都是成交最大化，導致的問題是搜索結果趨同，浪費曝光，今年做的一個重要工作是利用多智能體協同學習技術，實現了搜索多個異構場景間的環境感知、場景通信、單獨決策和聯合學習，實現聯合收益最大化，而不是此消彼長，在今年雙11中聯合優化版本帶來的店鋪內和無線搜索綜合指標提升12% (AB-Test)，比非聯合優化版本高3% (AB-Test)。

性能優化

在深度學習剛起步的時候，我們意識到深度模型inference 性能會是一個瓶頸，所以在這方面做了大量的調研和實驗，包括模型壓縮(剪枝)，低秩分解，量化和二值網路，由於缺少相應的指令集和硬體支持，最終只在個別場景下上線，期待支持低精度矩陣計算和稀疏矩陣計算的硬體早日出現。

未來計劃

通用用戶表徵學習。前面介紹的DUPN 是一個非常不錯的用戶表徵學習模型，但基於query 的attention 只適合搜索，同時缺少基於日誌來源的attention，難以推廣到其他業務，在思考做一個能夠適合多個業務場景的用戶表徵模型，非搜索業務做些簡單fine tuning 就能取得比較好的效果；同時用戶購物偏好受季節和周期等影響，時間跨度非常大，最近K個行為序列假設太簡單，我們在思考能夠做life-long learning 的模型，能夠學慣用戶過去幾年的行為序列；搜索鏈路聯合優化。從用戶進入搜索到離開搜索鏈路中的整體優化，比如 搜索前的query 引導（底紋），搜索中的商品和內容排序，搜索後的 query推薦（錦囊）等場景；跨場景聯合優化。今年搜索內部主搜索和店鋪內搜索聯合優化取得了很好的結果，未來希望能夠拓展在更多大流量場景，提高手淘的整體購物體驗；多目標聯合優化。搜索除了成交外，還需要承擔賣家多樣性，流量公平性，流量商業化等居多平台和賣家的訴求，搜索產品中除了商品搜索外還有「穹頂」，「主題搜索」，「錦囊」，「內容搜索」等非商品搜索內容，不同搜索目標和不同內容（物種）之間的聯合優化未來很值得深挖。

② 推薦演算法小結

輸入 ：與用戶相關的包含眾多特徵（feature）的數據：

用戶的注冊信息（職業、年齡、性別等 顯信息），行為信息（使用功能、有效使用時長等 隱信息）。

輸出 ：推薦給用戶的功能列表（根據得分高低排序）

函數 ： 傳統演算法 、 機器學習演算法 （Machine Learning）、 深度學習演算法 （Deep Learning）

基於流行度的演算法非常簡單粗暴，類似於各大新聞、微博熱榜等，根據VV、UV、日均PV或分享率等數據來按某種熱度（加權）排序來推薦給用戶。

訪問次數 （VV）：記錄1天內所有訪客訪問了該網站多少次，相同的訪客有可能多次訪問該網站，且訪問的次數累加。

獨立訪客 （UV）：記錄1天內所有訪客訪問了該網站多少次，雖然相同訪客能多次訪問網站，但只計算為1個獨立訪客。

PV訪問量 （Page View）：即頁面訪問量，每打開一次頁面或者刷新一次頁面，PV值+1。

優點：該演算法簡單，適用於剛注冊的新用戶

缺點：無法針對用戶提供個性化的推薦

改進：基於該演算法可做一些優化，例如加入用戶分群的流行度進行排序，通過把熱榜上的體育內容優先推薦給體育迷，把政要熱文推給熱愛談論政治的用戶。

基於用戶的協同過濾推薦演算法 （UserCF）：針對目標用戶（A），先通過興趣、愛好或行為習慣找到與他相似的「其他用戶」（BCD...），然後把BCD...喜歡的並且A沒有瀏覽過的物品或功能推給A。

基於物品的協同過濾推薦演算法 （ItemCF）：例如由於我之前看過張藝謀導演的《英雄》這部電影，會給我推薦《紅高粱》、《歸來》等同導演電影。

1）分析各個用戶對物品的評價，通過瀏覽記錄、購買記錄等得到用戶的隱性評分；

2）根據用戶對物品的隱性評分計算得到所有用戶之間的相似度；

3）選出與目標用戶最相似的K個用戶；

4）將這K個用戶隱性評分最高並且目標用戶又沒有瀏覽過的物品推薦給目標用戶。

優點：

基於用戶的協同過濾推薦演算法是給目標用戶推薦那些和他有共同興趣的用戶喜歡的物品，所以該演算法推薦較為社會化，即推薦的物品是與用戶興趣一致的那個群體中的熱門物品；

適於物品比用戶多、物品時效性較強的情形，否則計算慢；

能實現跨領域、驚喜度高的結果。

缺點：

在很多時候，很多用戶兩兩之間的共同評分僅有幾個，也即用戶之間的重合度並不高，同時僅有的共同打了分的物品，往往是一些很常見的物品，如票房大片、生活必需品；

用戶之間的距離可能變得很快，這種離線演算法難以瞬間更新推薦結果；   

推薦結果的個性化較弱、較寬泛。

改進：

兩個用戶對流行物品的有相似興趣，絲毫不能說明他們有相似的興趣，此時要增加懲罰力度；

如果兩個用戶同時喜歡了相同的物品，那麼可以給這兩個用戶更高的相似度；

在描述鄰居用戶的偏好時，給其最近喜歡的物品較高權重；

把類似地域用戶的行為作為推薦的主要依據。

1）分析各個用戶對物品的瀏覽記錄；

2）依據瀏覽記錄分析得出所有物品之間的相似度；

3）對於目標用戶評價高的物品，找出與之相似度最高的K個物品；

4）將這K個物品中目標用戶沒有瀏覽過的物品推薦給目標用戶

優點：

基於物品的協同過濾推薦演算法則是為目標用戶推薦那些和他之前喜歡的物品類似的物品，所以基於物品的協同過濾推薦演算法的推薦較為個性，因為推薦的物品一般都滿足目標用戶的獨特興趣。

物品之間的距離可能是根據成百上千萬的用戶的隱性評分計算得出，往往能在一段時間內保持穩定。因此，這種演算法可以預先計算距離，其在線部分能更快地生產推薦列表。

應用最廣泛，尤其以電商行業為典型。

適於用戶多、物品少的情形，否則計算慢

推薦精度高，更具個性化

傾向於推薦同類商品

缺點：

不同領域的最熱門物品之間經常具有較高的相似度。比如，基於本演算法，我們可能會給喜歡聽許嵩歌曲的同學推薦汪峰的歌曲，也就是推薦不同領域的暢銷作品，這樣的推薦結果可能並不是我們想要的。

在物品冷啟動、數據稀疏時效果不佳

推薦的多樣性不足，形成信息閉環

改進：

如果是熱門物品，很多人都喜歡，就會接近1，就會造成很多物品都和熱門物品相似，此時要增加懲罰力度；

活躍用戶對物品相似度的貢獻小於不活躍的用戶；

同一個用戶在間隔很短的時間內喜歡的兩件商品之間，可以給予更高的相似度；

在描述目標用戶偏好時，給其最近喜歡的商品較高權重；

同一個用戶在同一個地域內喜歡的兩件商品之間，可以給予更高的相似度。

（相似度計算：餘弦相似度、Jaccard系數、皮爾森相關系數等）

常見經典 ML 分類演算法：

邏輯回歸 （Logistics Regression）

支持向量機 （SVM）

隨機森林 （Random Forest）

提升類演算法 （Boosting）：Adaboost、GBDT、XGboost

一般處理流程：數據處理 -> 特徵工程 -> 模型選擇 -> 交叉驗證 -> 模型選擇與模型融合

特徵清洗 ：剔除不可信樣本，預設值極多的欄位不予考慮

特徵預處理 ：單個特徵（歸一化，離散化，缺失值補全，數據變換），多個特徵（PCA/LDA降維，特徵選擇）

使用工具 ：pandas（python開源庫）

模型選擇與模型融合 ：根據交叉驗證得分選擇前幾名模型，然後進行模型融合（Bagging、Boosting、Stacking）

DL 優勢 ：ML 中特徵工程是十分重要並且要根據行業經驗確定，DL 可以自己從數據中學習特徵。DL 能自動對輸入的低階特徵進行組合、變換，得到高階特徵。對於公司產品應用領域來說，用戶的注冊信息（職業、年齡、性別等 顯信息），行為信息（使用功能、有效使用時長等 隱信息）。這些就可以作為低階特徵輸入。

RNN系列 （處理文本數據）

CNN系列 （處理圖像數據）

DNN （處理一般性分類）

③ 推薦演算法簡介

寫在最前面：本文內容主要來自於書籍《推薦系統實踐》和《推薦系統與深度學習》。

推薦系統是目前互聯網世界最常見的智能產品形式。從電子商務、音樂視頻網站，到作為互聯網經濟支柱的在線廣告和新穎的在線應用推薦，到處都有推薦系統的身影。推薦演算法是推薦系統的核心，其本質是通過一定的方式將用戶和物品聯系起來，而不同的推薦系統利用了不同的方式。

推薦系統的主要功能是以個性化的方式幫助用戶從極大的搜索空間中快速找到感興趣的對象。因此，目前所用的推薦系統多為個性化推薦系統。個性化推薦的成功應用需要兩個條件：

在推薦系統的眾多演算法中，基於協同的推薦和基於內容的推薦在實踐中得到了最廣泛的應用。本文也將從這兩種演算法開始，結合時間、地點上下文環境以及社交環境，對常見的推薦演算法做一個簡單的介紹。

基於內容的演算法的本質是對物品內容進行分析，從中提取特徵，然後基於用戶對何種特徵感興趣來推薦含有用戶感興趣特徵的物品。因此，基於內容的推薦演算法有兩個最基本的要求：

下面我們以一個簡單的電影推薦來介紹基於內容的推薦演算法。

現在有兩個用戶A、B和他們看過的電影以及打分情況如下：

其中問好（?）表示用戶未看過。用戶A對《銀河護衛隊 》《變形金剛》《星際迷航》三部科幻電影都有評分，平均分為 4 .7 分 （ (5+4+5 ) / 3=4.7 ）；對《三生三世》《美人魚》《北京遇上西雅圖》三部愛情電影評分平均分為 2.3 分 （ ( 3十2+2 ) /3=2.3 ）。現在需要給A推薦電影，很明顯A更傾向於科幻電影，因此推薦系統會給A推薦獨立日。而對於用戶B，通過簡單的計算我們可以知道更喜歡愛情電影，因此給其推薦《三生三世》。當然，在實際推薦系統中，預測打分比這更加復雜些，但是其原理是一樣的。

現在，我們可以將基於內容的推薦歸納為以下四個步驟：

通過上面四步就能快速構建一個簡單的推薦系統。基於內容的推薦系統通常簡單有效，可解釋性好，沒有物品冷啟動問題。但他也有兩個明顯的缺點：

最後，順便提一下特徵提取方法：對於某些特徵較為明確的物品，一般可以直接對其打標簽，如電影類別。而對於文本類別的特徵，則主要是其主題情感等，則些可以通過tf-idf或LDA等方法得到。

基於協同的演算法在很多地方也叫基於鄰域的演算法，主要可分為兩種：基於用戶的協同演算法和基於物品的協同演算法。

啤酒和尿布的故事在數據挖掘領域十分有名，該故事講述了美國沃爾瑪超市統計發現啤酒和尿布一起被購買的次數非常多，因此將啤酒和尿布擺在了一起，最後啤酒和尿布的銷量雙雙增加了。這便是一個典型的物品協同過濾的例子。

基於物品的協同過濾指基於物品的行為相似度（如啤酒尿布被同時購買）來進行物品推薦。該演算法認為，物品A和物品B具有很大相似度是因為喜歡物品A的用戶大都也喜歡物品B。

基於物品的協同過濾演算法主要分為兩步：

基於物品的協同過濾演算法中計算物品相似度的方法有以下幾種：
（1）基於共同喜歡物品的用戶列表計算。

此外，John S. Breese再其論文中還提及了IUF（Inverse User Frequence，逆用戶活躍度）的參數，其認為活躍用戶對物品相似度的貢獻應該小於不活躍的用戶，應該增加IUF參數來修正物品相似度的公式：

上面的公式只是對活躍用戶做了一種軟性的懲罰， 但對於很多過於活躍的用戶， 比如某位買了當當網80%圖書的用戶， 為了避免相似度矩陣過於稠密， 我們在實際計算中一般直接忽略他的興趣列表， 而不將其納入到相似度計算的數據集中。

（2）基於餘弦相似度計算。

（3）熱門物品的懲罰。
從上面（1）的相似度計算公式中，我們可以發現當物品 i 被更多人購買時，分子中的 N(i) ∩ N(j) 和分母中的 N(i) 都會增長。對於熱門物品，分子 N(i) ∩ N(j) 的增長速度往往高於 N(i)，這就會使得物品 i 和很多其他的物品相似度都偏高，這就是 ItemCF 中的物品熱門問題。推薦結果過於熱門，會使得個性化感知下降。以歌曲相似度為例，大部分用戶都會收藏《小蘋果》這些熱門歌曲，從而導致《小蘋果》出現在很多的相似歌曲中。為了解決這個問題，我們對於物品 i 進行懲罰，例如下式， 當α∈(0, 0.5) 時，N(i) 越小，懲罰得越厲害，從而使熱門物品相關性分數下降（ 博主註：這部分未充分理解 ）：

此外，Kary pis在研究中發現如果將ItemCF的相似度矩陣按最大值歸一化， 可以提高推薦的准確率。 其研究表明， 如果已經得到了物品相似度矩陣w， 那麼可以用如下公式得到歸一化之後的相似度矩陣w'：

歸一化的好處不僅僅在於增加推薦的准確度，它還可以提高推薦的覆蓋率和多樣性。一般來說，物品總是屬於很多不同的類，每一類中的物品聯系比較緊密。假設物品分為兩類——A和B， A類物品之間的相似度為0.5， B類物品之間的相似度為0.6， 而A類物品和B類物品之間的相似度是0.2。 在這種情況下， 如果一個用戶喜歡了5個A類物品和5個B類物品， 用ItemCF給他進行推薦， 推薦的就都是B類物品， 因為B類物品之間的相似度大。 但如果歸一化之後， A類物品之間的相似度變成了1， B類物品之間的相似度也是1， 那麼這種情況下， 用戶如果喜歡5個A類物品和5個B類物品， 那麼他的推薦列表中A類物品和B類物品的數目也應該是大致相等的。 從這個例子可以看出， 相似度的歸一化可以提高推薦的多樣性。

那麼，對於兩個不同的類，什麼樣的類其類內物品之間的相似度高，什麼樣的類其類內物品相似度低呢？一般來說，熱門的類其類內物品相似度一般比較大。如果不進行歸一化，就會推薦比較熱門的類裡面的物品，而這些物品也是比較熱門的。因此，推薦的覆蓋率就比較低。相反，如果進行相似度的歸一化，則可以提高推薦系統的覆蓋率。

最後，利用物品相似度矩陣和用戶打過分的物品記錄就可以對一個用戶進行推薦評分：

基於用戶的協同演算法與基於物品的協同演算法原理類似，只不過基於物品的協同是用戶U購買了A物品，會計算經常有哪些物品與A一起購買（也即相似度），然後推薦給用戶U這些與A相似的物品。而基於用戶的協同則是先計算用戶的相似性（通過計算這些用戶購買過的相同的物品），然後將這些相似用戶購買過的物品推薦給用戶U。

基於用戶的協同過濾演算法主要包括兩個步驟：

步驟（1）的關鍵是計算用戶的興趣相似度，主要是利用用戶的行為相似度計算用戶相似度。給定用戶 u 和 v，N(u) 表示用戶u曾經有過正反饋（譬如購買）的物品集合，N(v) 表示用戶 v 曾經有過正反饋的物品集合。那麼我們可以通過如下的 Jaccard 公式簡單的計算 u 和 v 的相似度：

或通過餘弦相似度：

得到用戶之間的相似度之後，UserCF演算法會給用戶推薦和他興趣最相似的K個用戶喜歡的物品。如下的公式度量了UserCF演算法中用戶 u 對物品 i 的感興趣程度：

首先回顧一下UserCF演算法和ItemCF演算法的推薦原理：UserCF給用戶推薦那些和他有共同興趣愛好的用戶喜歡的物品， 而ItemCF給用戶推薦那些和他之前喜歡的物品具有類似行為的物品。

（1）從推薦場景考慮
首先從場景來看，如果用戶數量遠遠超過物品數量，如購物網站淘寶，那麼可以考慮ItemCF，因為維護一個非常大的用戶關系網是不容易的。其次，物品數據一般較為穩定，因此物品相似度矩陣不必頻繁更新，維護代價較小。

UserCF的推薦結果著重於反應和用戶興趣相似的小群體的熱點，而ItemCF的推薦結果著重於維系用戶的歷史興趣。換句話說，UserCF的推薦更社會化，反應了用戶所在小型興趣群體中物品的熱門程度，而ItemCF的推薦更加個性化，反應了用戶自己的個性傳承。因此UserCF更適合新聞、微博或微內容的推薦，而且新聞內容更新頻率非常高，想要維護這樣一個非常大而且更新頻繁的表無疑是非常難的。

在新聞類網站中，用戶的興趣愛好往往比較粗粒度，很少會有用戶說只看某個話題的新聞，而且往往某個話題也不是每天都會有新聞。 個性化新聞推薦更強調新聞熱點，熱門程度和時效性是個性化新聞推薦的重點，個性化是補充，所以 UserCF 給用戶推薦和他有相同興趣愛好的人關注的新聞，這樣在保證了熱點和時效性的同時，兼顧了個性化。

（2）從系統多樣性（也稱覆蓋率，指一個推薦系統能否給用戶提供多種選擇）方面來看，ItemCF的多樣性要遠遠好於UserCF，因為UserCF更傾向於推薦熱門物品。而ItemCF具有較好的新穎性，能夠發現長尾物品。所以大多數情況下，ItemCF在精度上較小於UserCF，但其在覆蓋率和新穎性上面卻比UserCF要好很多。

在介紹本節基於矩陣分解的隱語義模型之前，讓我們先來回顧一下傳統的矩陣分解方法SVD在推薦系統的應用吧。

基於SVD矩陣分解在推薦中的應用可分為如下幾步：

SVD在計算前會先把評分矩陣 A 缺失值補全，補全之後稀疏矩陣 A 表示成稠密矩陣，然後將分解成 A' = U∑V T 。但是這種方法有兩個缺點：（1）補成稠密矩陣後需要耗費巨大的儲存空間，對這樣巨大的稠密矩陣進行儲存是不現實的；（2）SVD的計算復雜度很高，對這樣大的稠密矩陣中進行計算式不現實的。因此，隱語義模型就被發明了出來。

更詳細的SVD在推薦系統的應用可參考 奇異值分解SVD簡介及其在推薦系統中的簡單應用 。

隱語義模型（Latent Factor Model）最早在文本挖掘領域被提出，用於找到文本的隱含語義。相關的演算法有LSI，pLSA，LDA和Topic Model。本節將對隱語義模型在Top-N推薦中的應用進行詳細介紹，並通過實際的數據評測該模型。

隱語義模型的核心思想是通過隱含特徵聯系用戶興趣和物品。讓我們通過一個例子來理解一下這個模型。

現有兩個用戶，用戶A的興趣涉及偵探小說、科普圖書以及一些計算機技術書，而用戶B的興趣比較集中在數學和機器學習方面。那麼如何給A和B推薦圖書呢？

我們可以對書和物品的興趣進行分類。對於某個用戶，首先得到他的興趣分類，然後從分類中挑選他可能喜歡的物品。簡言之，這個基於興趣分類的方法大概需要解決3個問題：

對於第一個問題的簡單解決方案是找相關專業人員給物品分類。以圖書為例，每本書出版時，編輯都會給出一個分類。但是，即使有很系統的分類體系，編輯給出的分類仍然具有以下缺點：（1）編輯的意見不能代表各種用戶的意見；（2）編輯很難控制分類的細粒度；（3）編輯很難給一個物品多個分類；（4）編輯很難給一個物品多個分類；（5）編輯很難給出多個維度的分類；（6）編輯很難決定一個物品在某一個類別中的權重。

為了解決上述問題，研究員提出可以從數據出發，自動找到那些分類，然後進行個性化推薦。隱語義模型由於採用基於用戶行為統計的自動聚類，較好地解決了上面提出的5個問題。

LFM將矩陣分解成2個而不是3個：

推薦系統中用戶和物品的交互數據分為顯性反饋和隱性反饋數據。隱式模型中多了一個置信參數，具體涉及到ALS（交替最小二乘法，Alternating Least Squares）中對於隱式反饋模型的處理方式——有的文章稱為「加權的正則化矩陣分解」：

一個小細節：在隱性反饋數據集中，只有正樣本（正反饋）沒有負反饋（負樣本），因此如何給用戶生成負樣本來進行訓練是一個重要的問題。Rong Pan在其文章中對此進行了探討，對比了如下幾種方法：

用戶行為很容易用二分圖表示，因此很多圖演算法都可以應用到推薦系統中。基於圖的模型（graph-based model）是推薦系統中的重要內容。很多研究人員把基於領域的模型也稱為基於圖的模型，因為可以把基於領域的模型看作基於圖的模型的簡單形式。

在研究基於圖的模型之前，需要將用戶行為數據表示成圖的形式。本節的數據是由一系列用戶物品二元組 (u, i) 組成的，其中 u 表示用戶對物品 i 產生過行為。

令 G(V, E) 表示用戶物品二分圖，其中 V=V U UV I 由用戶頂點 V U 和物品節點 V I 組成。對於數據集中每一個二元組 (u, i) ，圖中都有一套對應的邊 e(v u , v i )，其中 v u ∈V U 是用戶對應的頂點，v i ∈V I 是物品i對應的頂點。如下圖是一個簡單的物品二分圖，其中圓形節點代表用戶，方形節點代表物品，用戶物品的直接連線代表用戶對物品產生過行為。比如下圖中的用戶A對物品a、b、d產生過行為。

度量圖中兩個頂點之間相關性的方法很多，但一般來說圖中頂點的相關性主要取決於下面3個因素：

而相關性高的一對頂點一般具有如下特徵：

舉個例子，如下圖，用戶A和物品c、e沒有邊直連，但A可通過一條長度為3的路徑到達c，而Ae之間有兩條長度為3的路徑。那麼A和e的相關性要高於頂點A和c，因而物品e在用戶A的推薦列表中應該排在物品c之前，因為Ae之間有兩條路徑。其中，（A,b,C,e）路徑經過的頂點的出度為（3，2，2，2），而 (A,d,D,e) 路徑經過了一個出度比較大的頂點D，所以 (A,d,D,e) 對頂點A與e之間相關性的貢獻要小於（A,b,C,e）。

基於上面3個主要因素，研究人員設計了很多計算圖中頂點相關性的方法，本節將介紹一種基於隨機遊走的PersonalRank演算法。

假設要給用戶u進行個性化推薦，可以從用戶u對應的節點 v u 開始在用戶物品二分圖上進行隨機遊走。遊走到任一節點時，首先按照概率α決定是繼續遊走還是停止這次遊走並從 v u 節點重新開始遊走。若決定繼續遊走，則從當前節點指向的節點中按照均勻分布隨機選擇一個節點作為遊走下次經過的節點。這樣，經過很多次隨機遊走後，每個物品被訪問到的概率會收斂到一個數。最終的推薦列表中物品的權重就是物品節點的訪問概率。

上述演算法可以表示成下面的公式：

雖然通過隨機遊走可以很好地在理論上解釋PersonalRank演算法，但是該演算法在時間復雜度上有明顯的缺點。因為在為每個用戶進行推薦時，都需要在整個用戶物品二分圖上進行迭代，知道所有頂點的PR值都收斂。這一過程的時間復雜度非常高，不僅無法在線進行實時推薦，離線計算也是非常耗時的。

有兩種方法可以解決上面PersonalRank時間復雜度高的問題：
（1）減少迭代次數，在收斂之前停止迭代。但是這樣會影響最終的精度。

（2）從矩陣論出發，重新涉及演算法。另M為用戶物品二分圖的轉移概率矩陣，即：

網路社交是當今社會非常重要甚至可以說是必不可少的社交方式，用戶在互聯網上的時間有相當大的一部分都用在了社交網路上。

當前國外最著名的社交網站是Facebook和Twitter，國內的代表則是微信/QQ和微博。這些社交網站可以分為兩類：

需要指出的是，任何一個社交網站都不是單純的社交圖譜或興趣圖譜。如QQ上有些興趣愛好群可以認識不同的陌生人，而微博中的好友也可以是現實中認識的。

社交網路定義了用戶之間的聯系，因此可以用圖定義社交網路。我們用圖 G(V,E,w) 定義一個社交網路，其中V是頂點集合，每個頂點代表一個用戶，E是邊集合，如果用戶va和vb有社交網路關系，那麼就有一條邊 e(v a , v b ) 連接這兩個用戶，而 w(v a , v b )定義了邊的權重。一般來說，有三種不同的社交網路數據：

和一般購物網站中的用戶活躍度分布和物品流行度分布類似，社交網路中用戶的入度（in degree，表示有多少人關注）和出度（out degree，表示關注多少人）的分布也是滿足長尾分布的。即大部分人關注的人都很少，被關注很多的人也很少。

給定一個社交網路和一份用戶行為數據集。其中社交網路定義了用戶之間的好友關系，而用戶行為數據集定義了不同用戶的歷史行為和興趣數據。那麼最簡單的演算法就是給用戶推薦好友喜歡的物品集合。即用戶u對物品i的興趣 p ui 可以通過如下公式計算。

用戶u和用戶v的熟悉程度描述了用戶u和用戶在現實社會中的熟悉程度。一般來說，用戶更加相信自己熟悉的好友的推薦，因此我們需要考慮用戶之間的熟悉度。下面介紹3中衡量用戶熟悉程度的方法。

（1）對於用戶u和用戶v，可以使用共同好友比例來計算他們的相似度：

上式中 out(u) 可以理解為用戶u關注的用戶合集，因此 out(u) ∩ out(v) 定義了用戶u、v共同關注的用戶集合。

（2）使用被關注的用戶數量來計算用戶之間的相似度，只要將公式中的 out(u) 修改為 in(u)：

in(u) 是指關注用戶u的集合。在無向社交網路中，in(u)和out(u)是相同的，而在微博這種有向社交網路中，這兩個集合的含義就不痛了。一般來說，本方法適合用來計算微博大V之間的相似度，因為大v往往被關注的人數比較多；而方法（1）適用於計算普通用戶之間的相似度，因為普通用戶往往關注行為比較豐富。

（3）除此之外，還可以定義第三種有向的相似度：這個相似度的含義是用戶u關注的用戶中，有多大比例也關注了用戶v：

這個相似度有一個缺點，就是在該相似度下所有人都和大v有很大的相似度，這是因為公式中的分母並沒有考慮 in(v) 的大小，所以可以把 in(v) 加入到上面公式的分母，來降低大v與其他用戶的相似度：

上面介紹了3種計算用戶之間相似度（或稱熟悉度）的計算方法。除了熟悉程度，還需要考慮用戶之間的興趣相似度。我們和父母很熟悉，但很多時候我們和父母的興趣確不相似，因此也不會喜歡他們喜歡的物品。因此，在度量用戶相似度時，還需要考慮興趣相似度，而興趣相似度可以通過和UserCF類似的方法度量，即如果兩個用戶喜歡的物品集合重合度很高，兩個用戶的興趣相似度很高。

最後，我們可以通過加權的形式將兩種權重合並起來，便得到了各個好有用戶的權重了。

有了權重，我們便可以針對用戶u挑選k個最相似的用戶，把他們購買過的物品中，u未購買過的物品推薦給用戶u即可。打分公式如下：

其中 w' 是合並後的權重，score是用戶v對物品的打分。

node2vec的整體思路分為兩個步驟：第一個步驟是隨機遊走（random walk），即通過一定規則隨機抽取一些點的序列；第二個步驟是將點的序列輸入至word2vec模型從而得到每個點的embedding向量。

隨機遊走在前面基於圖的模型中已經介紹過，其主要分為兩步：（1）選擇起始節點；（2）選擇下一節點。起始節點選擇有兩種方法：按一定規則抽取一定量的節點或者以圖中所有節點作為起始節點。一般來說會選擇後一種方法以保證所有節點都會被選取到。

在選擇下一節點方法上，最簡單的是按邊的權重來選擇，但在實際應用中需要通過廣度優先還是深度優先的方法來控制遊走范圍。一般來說，深度優先發現能力更強，廣度優先更能使社區內（較相似）的節點出現在一個路徑里。

斯坦福大學Jure Leskovec教授給出了一種可以控制廣度優先或者深度優先的方法。

以上圖為例，假設第一步是從t隨機遊走到v，這時候我們要確定下一步的鄰接節點。本例中，作者定義了p和q兩個參數變數來調節遊走，首先計算其鄰居節點與上一節點t的距離d，根據下面的公式得到α：

一般從每個節點開始遊走5~10次，步長則根據點的數量N遊走根號N步。如此便可通過random walk生成點的序列樣本。

得到序列之後，便可以通過word2vec的方式訓練得到各個用戶的特徵向量，通過餘弦相似度便可以計算各個用戶的相似度了。有了相似度，便可以使用基於用戶的推薦演算法了。

推薦系統需要根據用戶的歷史行為和興趣預測用戶未來的行為和興趣，因此大量的用戶行為數據就成為推薦系統的重要組成部分和先決條件。如何在沒有大量用戶數據的情況下設計個性化推薦系統並且讓用戶對推薦結果滿意從而願意使用推薦系統，就是冷啟動問題。

冷啟動問題主要分為三類：

針對用戶冷啟動，下面給出一些簡要的方案：
（1）有效利用賬戶信息。利用用戶注冊時提供的年齡、性別等數據做粗粒度的個性化；
（2）利用用戶的社交網路賬號登錄（需要用戶授權），導入用戶在社交網站上的好友信息，然後給用戶推薦其好友喜歡的物品；
（3）要求用戶在登錄時對一些物品進行反饋，手機用戶對這些物品的興趣信息，然後給用推薦那些和這些物品相似的物品；
（4）提供非個性化推薦。非個性化推薦的最簡單例子就是熱門排行榜，我們可以給用戶推薦熱門排行榜，然後等到用戶數據收集到一定的時候，在切換為個性化推薦。

對於物品冷啟動，可以利用新加入物品的內容信息，將它們推薦給喜歡過和他們相似的物品的用戶。

對於系統冷啟動，可以引入專家知識，通過一定高效的方式快速建立起物品的相關度表。

在上面介紹了一些推薦系統的基礎演算法知識，這些演算法大都是比較經典且現在還在使用的。但是需要注意的是，在實踐中，任何一種推薦演算法都不是單獨使用的，而是將多種推薦演算法結合起來，也就是混合推薦系統，但是在這里並不準備介紹，感興趣的可以查閱《推薦系統》或《推薦系統與深度學習》等書籍。此外，在推薦中非常重要的點擊率模型以及基於矩陣的一些排序演算法在這里並沒有提及，感興趣的也可自行學習。

雖然現在用的很多演算法都是基於深度學習的，但是這些經典演算法能夠讓我們對推薦系統的發展有一個比較好的理解，同時，更重要的一點——「推陳出新」，只有掌握了這些經典的演算法，才能提出或理解現在的一些更好地演算法。

④ 推薦演算法有哪些

推薦應該說分為兩類：個性化推薦和非個性化推薦，「讓全局優秀的內容被大家看到」應該算是非個性化推薦，熱門榜單/最多觀看這類方法可以簡單解決這個問題;不同的人對於「好」的理解不一樣，換句話說也就是偏好不同，所以推薦新加入的好內容我認為是個性化推薦問題。

個性化推薦的兩個主要思想八個字概括之：物以類聚、人以群分。主要的方法及變種應該有很多，像協同過濾、基於內容的推薦、基於標簽的推薦等等。

⑤ 推薦演算法的主要推薦方法的對比

各種推薦方法都有其各自的優點和缺點，見表1。 表1 主要推薦方法對比 推薦方法優點缺點基於內容推薦推薦結果直觀，容易解釋；不需要領域知識 新用戶問題；復雜屬性不好處理；
要有足夠數據構造分類器 協同過濾推薦新異興趣發現、不需要領域知識；隨著時間推移性能提高；
推薦個性化、自動化程度高；
能處理復雜的非結構化對象 稀疏問題；可擴展性問題；
新用戶問題；
質量取決於歷史數據集；
系統開始時推薦質量差； 基於規則推薦能發現新興趣點；不要領域知識 規則抽取難、耗時；產品名同義性問題；
個性化程度低； 基於效用推薦無冷開始和稀疏問題；對用戶偏好變化敏感；
能考慮非產品特性 用戶必須輸入效用函數；推薦是靜態的，靈活性差；
屬性重疊問題； 基於知識推薦能把用戶需求映射到產品上；能考慮非產品屬性 知識難獲得；推薦是靜態的

⑥ 推薦演算法之模型協同過濾（1）-關聯規則

關聯規則是數據挖掘中的典型問題之一，又被稱為購物籃分析，這是因為傳統的關聯規則案例大多發生在超市中，例如所謂的啤酒與尿布傳說。事實上，「購物籃」這個詞也揭示了關聯規則挖掘的一個重要特點：以交易記錄為研究對象，每一個購物籃（transaction）就是一條記錄。關聯規則希望挖掘的規則就是：哪些商品會經常在同一個購物籃中出現，其中有沒有因果關系。為了描述這種「經常性」及「因果關系」，分析者定義了幾個指標，基於這些指標來篩選關聯規則，從而得到那些不平凡的規律。

（1）計算支持度
支持度計數：一個項集出現在幾個事務當中，它的支持度計數就是幾。例如{Diaper, Beer}出現在事務 002、003和004中，所以它的支持度計數是3
支持度：支持度計數除於總的事務數。例如上例中總的事務數為4，{Diaper, Beer}的支持度計數為3，所以它的支持度是3÷4=75%，說明有75%的人同時買了Diaper和Beer。

（2）計算置信度
置信度：對於規則{Diaper}→{Beer}，{Diaper, Beer}的支持度計數除於{Diaper}的支持度計數，為這個規則的置信度。例如規則{Diaper}→{Beer}的置信度為3÷3=100%。說明買了Diaper的人100%也買了Beer。

一般地，關聯規則被劃分為動態推薦，而協同過濾則更多地被視為靜態推薦。
所謂動態推薦，就是推薦的基礎是且只是當前一次（最近一次）的購買或者點擊。譬如用戶在網站上看了一個啤酒，系統就找到與這個啤酒相關的關聯規則，然後根據這個規則向用戶進行推薦。而靜態推薦則是在對用戶進行了一定分析的基礎上，建立了這個用戶在一定時期內的偏好排序，然後在這段時期內持續地按照這個排序來進行推薦。由此可見，關聯規則與協同過濾的策略思路是完全不同的類型。
事實上，即便在當下很多能夠拿到用戶ID的場景，使用動態的關聯規則推薦仍然是值得考慮的一種方法（尤其是我們經常把很多推薦方法的結果綜合起來做一個混合的推薦），因為這種方法的邏輯思路跟協同過濾有著本質的不同，問題似乎僅僅在於：個人的偏好到底有多穩定，推薦到底是要迎合用戶的長期偏好還是用戶的當下需求。

挖掘關聯規則主要有Apriori演算法和FP-Growth演算法。後者解決了前者由於頻繁的掃描數據集造成的效率低下缺點。以下按照Apriori演算法來講解。

step 1： 掃描數據集生成滿足最小支持度的頻繁項集。
step 2： 計算規則的置信度，返回滿足最小置信度的規則。

如下所示，當用戶購買1商品時推薦2、3商品

⑦ 傳統優化演算法和現代優化演算法包括哪些.區別是什麼

1. 傳統優化演算法一般是針對結構化的問題，有較為明確的問題和條件描述，如線性規劃，二次規劃，整數規劃，混合規劃，帶約束和不帶約束條件等，即有清晰的結構信息；而智能優化演算法一般針對的是較為普適的問題描述，普遍比較缺乏結構信息。

2. 傳統優化演算法不少都屬於凸優化范疇，有唯一明確的全局最優點；而智能優化演算法針對的絕大多數是多極值問題，如何防止陷入局部最優而盡可能找到全局最優是採納智能優化演算法的根本原因：對於單極值問題，傳統演算法大部分時候已足夠好，而智能演算法沒有任何優勢；對多極值問題，智能優化演算法通過其有效設計可以在跳出局部最優和收斂到一個點之間有個較好的平衡，從而實現找到全局最優點，但有的時候局部最優也是可接受的，所以傳統演算法也有很大應用空間和針對特殊結構的改進可能。

3. 傳統優化演算法一般是確定性演算法，有固定的結構和參數，計算復雜度和收斂性可做理論分析；智能優化演算法大多屬於啟發性演算法，能定性分析卻難定量證明，且大多數演算法基於隨機特性，其收斂性一般是概率意義上的，實際性能不可控，往往收斂速度也比較慢，計算復雜度較高。

⑧ 07_推薦系統演算法詳解

     基於人口統計學的推薦與用戶畫像、基於內容的推薦、基於協同過濾的推薦。

1、基於人口統計學的推薦機制( Demographic-based Recommendation)是一種最易於實現的推薦方法，它只是簡單的根據系統用戶的基本信息發現用戶的相關程度，然後將相似用戶喜愛的其他物品推薦給當前用戶。

2、對於沒有明確含義的用戶信息(比如登錄時間、地域等上下文信息)，可以通過聚類等手段，給用戶打上分類標簽。

3、對於特定標簽的用戶，又可以根據預設的規則(知識)或者模型，推薦出對應的物品。

4、用戶信息標簽化的過程一般又稱為 用戶畫像 ( User Profiling）。

（1）用戶畫像( User Profile)就是企業通過收集與分析消費者社會屬性、生活習慣、消費行為等主要信息的數據之後，完美地抽象出一個用戶的商業全貌作是企業應用大數據技術的基本方式。

（2）用戶畫像為企業提供了足夠的信息基礎，能夠幫助企業快速找到精準用戶群體以及用戶需求等更為廣泛的反饋信息。

（3）作為大數據的根基，它完美地抽象出一個用戶的信息全貌，為進一步精準、快速地分析用戶行為習慣、消費習慣等重要信息，提供了足夠的數據基礎。

1、 Content- based Recommendations(CB)根據推薦物品或內容的元數據，發現物品的相關性，再基於用戶過去的喜好記錄，為用戶推薦相似的物品。

2、通過抽取物品內在或者外在的特徵值,實現相似度計算。比如一個電影,有導演、演員、用戶標簽UGC、用戶評論、時長、風格等等，都可以算是特徵。

3、將用戶(user)個人信息的特徵(基於喜好記錄或是預設興趣標簽)，和物品(item)的特徵相匹配，就能得到用戶對物品感興趣的程度。在一些電影、音樂、圖書的社交網站有很成功的應用,有些網站還請專業的人員對物品進行基因編碼/打標簽(PGC）。

4、 相似度計算：

5、對於物品的特徵提取——打標簽(tag)

        - 專家標簽(PGC）

        - 用戶自定義標簽(UGC)

        - 降維分析數據,提取隱語義標簽(LFM)

     對於文本信息的特徵提取——關鍵詞

        - 分詞、語義處理和情感分析(NLP)

        - 潛在語義分析(LSA）

6、 基於內容推薦系統的高層次結構

7、 特徵工程

（1）特徵( feature)：數據中抽取出來的對結果預測有用的信息。

         特徵的個數就是數據的觀測維度。

         特徵工程是使用專業背景知識和技巧處理數據，使得特徵能在機器學習演算法上發揮更好的作用的過程。

         特徵工程一般包括特徵清洗(采樣、清洗異常樣本)，特徵處理和特徵選擇。

         特徵按照不同的數據類型分類，有不同的特徵處理方法：數值型、類別型、時間型、統計型。

（2）數值型特徵處理

        用連續數值表示當前維度特徵，通常會對數值型特徵進行數學上的處理，主要的做法是歸一化和離散化。

        * 幅度調整歸一化：

            特徵與特徵之間應該是平等的，區別應該體現在 特徵內部 。

            例如房屋價格和住房面積的幅度是不同的，房屋價格可能在3000000~15000000(萬)之間,而住房面積在40-300(平方米)之間，那麼明明是平等的兩個特徵，輸入到相同的模型中後由於本身的幅值不同導致產生的效果不同，這是不合理的

                        

        * 數值型特徵處理——離散化

        離散化的兩種方式：等步長——簡單但不一定有效；等頻——min -> 25% -> 75% -> max

        兩種方法對比：

            等頻的離散化方法很精準，但需要每次都對數據分布進行一遍從新計算，因為昨天用戶在淘寶上買東西的價格分布和今天不一定相同，因此昨天做等頻的切分點可能並不適用，而線上最需要避免的就是不固定，需要現場計算，所以昨天訓練出的模型今天不一定能使用。

            等頻不固定，但很精準，等步長是固定的，非常簡單，因此兩者在工業上都有應用。

（3） 類別型特徵處理

        類別型數據本身沒有大小關系，需要將它們編碼為數字，但它們之間不能有預先設定的大小關系，因此既要做到公平，又要區分開它們，那麼直接開辟多個空間。

        One-Hot編碼/啞變數：One-Hot編碼/啞變數所做的就是將類別型數據平行地展開，也就是說，經過One-Hot編碼啞變數後，這個特徵的空間會膨脹。

（4） 時間型特徵處理

        時間型特徵既可以做連續值,又可以看做離散值。

        連續值：持續時間(網頁瀏覽時長)；間隔時間(上一次購買/點擊離現在的時間間隔)。

        離散值：一天中哪個時間段；一周中的星期幾；一年中哪個月/星期；工作日/周末。

（5） 統計型特徵處理

        加減平均：商品價格高於平均價格多少，用戶在某個品類下消費超過多少。

        分位線：商品屬於售出商品價格的分位線處。

        次序性：商品處於熱門商品第幾位。

        比例類：電商中商品的好/中/差評比例。

8、 推薦系統常見反饋數據 ：

9、 基於UGC的推薦

     用戶用標簽來描述對物品的看法，所以用戶生成標簽(UGC)是聯系用戶和物品的紐帶，也是反應用戶興趣的重要數據源。

    一個用戶標簽行為的數據集一般由一個三元組(用戶,物品,標簽)的集合表示，其中一條記錄(u,i,b)表示用戶u給物品打上了標簽b。

    一個最簡單的演算法：

        - 統計每個用戶最常用的標簽

        - 對於每個標簽,統計被打過這個標簽次數最多的物品

        - 對於一個用戶，首先找到他常用的標簽，然後找到具有這些標簽的最熱門的物品，推薦給他

        - 所以用戶u對物品i的興趣公式為 ，其中 使用戶u打過標簽b的次數， 是物品i被打過標簽b的次數。

    簡單演算法中直接將用戶打出標簽的次數和物品得到的標簽次數相乘，可以簡單地表現出用戶對物品某個特徵的興趣。

    這種方法傾向於給熱門標簽(誰都會給的標簽,如「大片」、「搞笑」等)、熱門物品(打標簽人數最多)比較大的權重，如果一個熱門物品同時對應著熱門標簽,那它就會「霸榜」，推薦的個性化、新穎度就會降低。

    類似的問題,出現在新聞內容的關鍵字提取中。比如以下新聞中,哪個關鍵字應該獲得更高的權重?

10、 TF-IDF：詞頻逆文檔頻率 ( Term Frequency- -Inverse Document Frequency,TF-DF)是一種用於資訊檢索與文本挖掘的常用加權技術。

        TFDF是一種統計方法，用以評估一個字詞對於一個文件集或一個語料庫中的其中份文件的重要程度。字詞的重要性隨著它在文件中出現的次數成正比增加，但同時會隨著它在語料庫中出現的頻率成反比下降。

                    TFIDF=TF IDF

         TF-IDF的主要思想是 ：如果某個詞或短語在一篇文章中出現的頻率TF高，並且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區分能力，適合用來分類。

        TF-DF加權的各種形式常被搜索引擎應用，作為文件與用戶查詢之間相關程度的度量或評級。

         詞頻( Term Frequency,TF) ：指的是某一個給定的詞語在該文件中出現的頻率。這個數字是對詞數的歸一化，以防止偏向更長的文件。(同一個詞語在長文件里可能會比短文件有更高的詞數,而不管該詞語重要與否。） ，其中 表示詞語 i 在文檔 j 中出現的頻率， 表示 i 在 j 中出現的次數， 表示文檔 j 的總詞數。

         逆向文件頻率( Inverse Document Frequency,IDF) ：是一個詞語普遍重要性的度量，某一特定詞語的IDF，可以由總文檔數目除以包含該詞語之文檔的數目，再將得到的商取對數得到 ，其中 表示詞語 i 在文檔集中的逆文檔頻率，N表示文檔集中的文檔總數， 表示文檔集中包含了詞語 i 的文檔數。

（11） TF-IDF對基於UGC推薦的改進 ： ，為了避免熱門標簽和熱門物品獲得更多的權重，我們需要對「熱門進行懲罰。

          借鑒TF-IDF的思想，以一個物品的所有標簽作為「文檔」，標簽作為「詞語」，從而計算標簽的「詞頻」(在物品所有標簽中的頻率)和「逆文檔頻率」(在其它物品標簽中普遍出現的頻率）。

           由於「物品i的所有標簽」 應該對標簽權重沒有影響，而 「所有標簽總數」 N 對於所有標簽是一定的，所以這兩項可以略去。在簡單演算法的基礎上,直接加入對熱門標簽和熱門物品的懲罰項： ，其中， 記錄了標簽 b 被多少個不同的用戶使用過， 記錄了物品 i 被多少個不同的用戶打過標簽。

（一）協同過濾（Collaborative Filtering, CF）

1、基於協同過濾(CF)的推薦：基於內容( Content based,CB)主要利用的是用戶評價過的物品的內容特徵，而CF方法還可以利用其他用戶評分過的物品內容。

    CF可以解決CB的一些局限：

         - 物品內容不完全或者難以獲得時,依然可以通過其他用戶的反饋給出推薦。

        - CF基於用戶之間對物品的評價質量，避免了CB僅依賴內容可能造成的對物品質量判斷的干。

        - CF推薦不受內容限制，只要其他類似用戶給出了對不同物品的興趣，CF就可以給用戶推薦出內容差異很大的物品(但有某種內在聯系)

    分為兩類：基於近鄰和基於模型。

2、基於近鄰的推薦系統：根據的是相同「口碑」准則。是否應該給Cary推薦《泰坦尼克號》?

（二）基於近鄰的協同過濾

1、 基於用戶（User-CF）： 基於用戶的協同過濾推薦的基本原理是，根據所有用戶對物品的偏好，發現與當前用戶口味和偏好相似的「鄰居」用戶群，並推薦近鄰所偏好的物品。

     在一般的應用中是採用計算「K-近鄰」的演算法；基於這K個鄰居的歷史偏好信息，為當前用戶進行推薦。

    User-CF和基於人口統計學的推薦機制：

        - 兩者都是計算用戶的相似度，並基於相似的「鄰居」用戶群計算推薦。

        - 它們所不同的是如何計算用戶的相似度：基於人口統計學的機制只考慮用戶本身的特徵，而基於用戶的協同過濾機制可是在用戶的歷史偏好的數據上計算用戶的相似度，它的基本假設是，喜歡類似物品的用戶可能有相同或者相似的口味和偏好。

2、基於物品（Item-CF）：基於項目的協同過濾推薦的基本原理與基於用戶的類似，只是使用所有用戶對物品的偏好，發現物品和物品之間的相似度，然後根據用戶的歷史偏好信息，將類似的物品推薦給用戶。

    Item-CF和基於內容(CB)的推薦

       - 其實都是基於物品相似度預測推薦，只是相似度計算的方法不一樣，前者是從用戶歷史的偏好推斷，而後者是基於物品本身的屬性特徵信息。

   同樣是協同過濾，在基於用戶和基於項目兩個策略中應該如何選擇呢?

        - 電商、電影、音樂網站,用戶數量遠大於物品數量。

        - 新聞網站，物品(新聞文本)數量可能大於用戶數量。

3、 User-CF和Item-CF的比較

     同樣是協同過濾，在User-CF和ltem-CF兩個策略中應該如何選擇呢？

     Item-CF應用場景

       -  基於物品的協同過濾( Item-CF ) 推薦機制是 Amazon在基於用戶的機制上改良的一種策略因為在大部分的Web站點中，物品的個數是遠遠小於用戶的數量的，而且物品的個數和相似度相對比較穩定，同時基於物品的機制比基於用戶的實時性更好一些，所以 Item-CF 成為了目前推薦策略的主流。

     User-CF應用場景

        - 設想一下在一些新聞推薦系統中，也許物品一一也就是新聞的個數可能大於用戶的個數，而且新聞的更新程度也有很快，所以它的相似度依然不穩定，這時用 User-cf可能效果更好。

    所以，推薦策略的選擇其實和具體的應用場景有很大的關系。

4、 基於協同過濾的推薦優缺點

 （1）基於協同過濾的推薦機制的優點：

        它不需要對物品或者用戶進行嚴格的建模，而且不要求對物品特徵的描述是機器可理解的，所以這種方法也是領域無關的。

       這種方法計算出來的推薦是開放的，可以共用他人的經驗，很好的支持用戶發現潛在的興趣偏好。

（2）存在的問題

        方法的核心是基於歷史數據，所以對新物品和新用戶都有「冷啟動」的問題。

        推薦的效果依賴於用戶歷史好數據的多少和准確性。

        在大部分的實現中，用戶歷史偏好是用稀疏矩陣進行存儲的，而稀疏矩陣上的計算有些明顯的問題，包括可能少部分人的錯誤偏好會對推薦的准確度有很大的影響等等。

        對於一些特殊品味的用戶不能給予很好的推薦。

（三）基於模型的協同過濾

1、基本思想

（1）用戶具有一定的特徵，決定著他的偏好選擇

（2）物品具有一定的特徵，影響著用戶需是否選擇它。

（3）用戶之所以選擇某一個商品，是因為用戶特徵與物品特徵相互匹配。

    基於這種思想，模型的建立相當於從行為數據中提取特徵，給用戶和物品同時打上「標簽」；這和基於人口統計學的用戶標簽、基於內容方法的物品標簽本質是一樣的，都是特徵的提取和匹配。

    有顯性特徵時(比如用戶標簽、物品分類標簽)我們可以直接匹配做出推薦；沒有時，可以根據已有的偏好數據，去發據出隱藏的特徵,這需要用到隱語義模型(LFM)。

2、基於模型的協同過濾推薦，就是基於樣本的用戶偏好信息，訓練一個推薦模型,然後根據實時的用戶喜好的信息進行預測新物品的得分，計算推薦

    基於近鄰的推薦和基於模型的推薦

        - 基於近鄰的推薦是在預測時直接使用已有的用戶偏好數據，通過近鄰數據來預測對新物品的偏好(類似分類)

        - 而基於模型的方法，是要使用這些偏好數據來訓練模型，找到內在規律，再用模型來做預測(類似回歸)

    訓練模型時，可以基於標簽內容來提取物品特徵，也可以讓模型去發據物品的潛在特徵；這樣的模型被稱為 隱語義模型 ( Latent Factor Model,LFM)。

（1）隱語義模型(LFM)：用隱語義模型來進行協同過濾的目標：

            - 揭示隱藏的特徵,這些特徵能夠解釋為什麼給出對應的預測評分

            - 這類特徵可能是無法直接用語言解釋描述的,事實上我們並不需要知道,類似「玄學」

        通過矩陣分解進行降維分析

            - 協同過濾演算法非常依賴歷史數據，而一般的推薦系統中，偏好數據又往往是稀疏的；這就需要對原始數據做降維處理。

            - 分解之後的矩陣，就代表了用戶和物品的隱藏特徵

        隱語義模型的實例：基於概率的隱語義分析(pLSA)、隱式迪利克雷分布模型(LDA)、矩陣因子分解模型(基於奇異值分解的模型,SVD)

（2）LFM降維方法——矩陣因子分解

（3）LFM的進一步理解

    我們可以認為，用戶之所以給電影打出這樣的分數，是有內在原因的，我們可以挖掘出影響用戶打分的隱藏因素，進而根據未評分電影與這些隱藏因素的關聯度，決定此未評分電影的預測評分。

    應該有一些隱藏的因素，影響用戶的打分，比如電影：演員、題材、年代…甚至不定是人直接可以理解的隱藏因子。

    找到隱藏因子，可以對user和Iiem進行關聯(找到是由於什麼使得user喜歡/不喜歡此Item,什麼會決定user喜歡/不喜歡此item)，就可以推測用戶是否會喜歡某一部未看過的電影。

（4）矩陣因子分解

（5）模型的求解——損失函數

（6）模型的求解演算法——ALS

    現在，矩陣因子分解的問題已經轉化成了一個標準的優化問題，需要求解P、Q，使目標損失函數取最小值。

    最小化過程的求解，一般採用隨機梯度下降演算法或者交替最小二乘法來實現交替最小二乘法( Alternating Least Squares,ALS)

    ALS的思想是，由於兩個矩陣P和Q都未知,且通過矩陣乘法耦合在一起，為了使它們解耦，可以先固定Q，把P當作變數，通過損失函數最小化求出P，這就是一個經典的最小二乘問題；再反過來固定求得的P，把Q當作變數，求解出Q：如此交替執行，直到誤差滿足閱值條件，或者到達迭代上限。

（7）梯度下降演算法