意圖提取演算法
㈠ 圖片特徵碼提取演算法有哪些詳細點
圖像的特徵可分為兩個層次，包括低層視覺特徵，和高級語義特徵。
低層視覺特徵包括紋理、顏色、形狀三方面。語義特徵是事物與事物之間的關系。
紋理特徵提取演算法有：灰度共生矩陣法，傅里葉功率譜法
顏色特徵提取演算法有：直方圖法，累計直方圖法，顏色聚類法等等。
形狀特徵提取演算法有：空間矩特徵等等
高級語義提取：語義網路、數理邏輯、框架等方法
㈡ 圖像紋理特徵提取演算法是什麼有什麼用處
通常使用紋理特徵模版進行相關性測量，得到相關系數，設定閾值，大於閾值者導致提取。紋理特徵的提取通常用於圖像識別
㈢ 網頁正文及內容圖片提取演算法
備份自： http://blog.rainy.im/2015/09/02/web-content-and-main-image-extractor/
問題： 如何提取任意（尤其是新聞、資訊類）網頁的正文內容，提取與文章內容相關的圖片，源碼可見： extractor.py 。
抓取單個網站網頁內容時通常採用正則匹配的方式，但不同網站之間結構千奇百怪，很難用統一的正則表達式進行匹配。 《基於行塊分布函數的通用網頁正文抽取演算法》 的作者總結了一般從網頁中提取文章正文的方法，提出基於行塊分布的正文抽取演算法，並給出了 PHP 、Java 等實現。這一演算法的主要原理基於兩點：
演算法步驟如下：
以上演算法基本可以應對大部分（中文）網頁正文的提取，針對有些網站正文圖片多於文字的情況，可以採用保留 <img> 標簽中圖片鏈接的方法，增加正文密度。目前少量測試發現的問題有：1）文章分頁或動態載入的網頁；2）評論長度過長喧賓奪主的網頁。
㈣ 對一張圖片進行特徵提取的具體演算法和程序。越具體越好。感謝，例如算出圖像的形狀長寬高之類的。
對一張圖片進行特徵提取的具體演算法和程序，越具體越好，感謝例如算出圖像的形狀，長寬之類的，我覺得對圖片特徵提取的體術法並沒有什麼具體演算法，因為每個相機照出來的圖片，它的放大縮小都是不一樣的，不可能從一個圖片算出一個圖像的長寬高，只能夠算出一個大概的長寬高，如果要算出非常准確的茶膏，只能用一些紅外測距儀，還有某些特定的儀器才能構測量出，一些建築物的長寬高不能夠從一個圖片上面去算出一個建築物的長寬高的是根本沒法算出來的。
㈤ 手勢識別用什麼圖像特徵提取演算法
《基於計算機視覺的手勢識別研究》中提到了多尺度模型，它就是採用此模型提取手勢的指尖的數量和位置，將指尖和掌心連線，採用距離公式計算各指尖到掌心的距離，再採用反餘弦公式計算各指尖與掌心連線間的夾角，將距離和夾角作為選擇的特徵。對於靜態手勢識別而言，邊緣信息是比較常用的特徵。中採用的HDC提取關鍵點的識別演算法，基於用八方向鄰域搜索法提取出手勢圖像的邊緣，把圖像的邊緣看成一條曲線，然後對曲線進行處理。
㈥ 各類場景應用中涉及的AI演算法匯總
整理了各類場景應用中AI演算法
一、圖像CV
內容安全，目標檢測，圖像識別，智能視覺生產，圖像搜索，圖像分割，物體檢測，圖像分類，圖像標簽，名人識別，概念識別，場景識別，物體識別，場景分析，智能相冊，內容推薦，圖庫管理，網紅人物識別，明星人物識別，圖像搜索，商品圖片搜索，版權圖片搜索，通用圖片搜索，車牌識別，垃圾分類，車輛檢測，菜品識別，車型識別，犬類識別，實例分割，風格遷移，智能填充，智能識圖，拍照搜商品，精準廣告投放，電商導購，圖像分析，圖像理解，圖像處理，圖像質量評估，場景識別，物體識別，場所識別，圖像自訓練平台，圖像分類，目標檢測，圖像分割，關鍵點檢測，圖像生成，場景文字識別，度量學習，圖像識別，圖像比對，圖像分類使用手冊，圖像分類API文檔目標檢測使用手冊，目標檢測API文檔Logo檢測使用手冊，Logo檢測API文檔，通用圖片搜索，車牌識別，垃圾分類，車輛檢測，車型識別，犬類識別，實例分割，風格遷移，智能填充，車牌識別，相冊聚類，場景與物體識別，無限天空，圖像識別引擎，黃色圖片識別，暴力圖像識別，工業輪胎智能檢測，肋骨骨折識別，顯微識別，圖像處理，廣告識別，人臉演算法，人體演算法，圖像識別，圖像增強，OCR，圖像處理，ZoomAI，智能貼圖，智能製作，質量評價，圖像識別，智能鑒黃，圖像識別，實時手寫識別，唇語識別，通用文字識別，手寫文字識別，圖像技術，圖像識別，圖像審核，圖像搜索，圖像增強，圖像特效，車輛分析，圖像生成，繪畫機器人獨家，動漫化身獨家，像素風獨家，超清人像獨家，圖像融合，換臉技術，神奇變臉，圖像風格化，證件照生成，線稿圖像識別，寶寶檢測，圖像分類，圉像深度估計，天空分割，食物分割，貓狗臉技術，食物識別獨家，圖像美學評分，車輛分析，車型識別，車型識別（含指導價），車型識別（含配置參數），車標識別，人臉識別（活體），車牌識別，表情識別，安全帽識別，計算機影像，計算機視覺，聚焦光學字元識別、人臉識別、質檢、感知、理解、交互，圖像視頻分析，Logo檢測，內容審核，智能批改，筆記評估，思維導圖評估，物體檢測，物體識別。
二、人臉、體態、眼瞳、聲音、指紋
人臉分割人臉識別，無，人體分析HAS，識別人的年齡，性別，穿著信息，客流統計分析，智能客服，熱點區域分析，人體檢測，人臉口罩識別，人臉對比，人臉搜索，人臉檢測與屬性分析，人臉活體檢測，人體關鍵點檢測，行人重識別，細粒度人像分割，人像分割，人臉解析，3D人體姿態估計，人臉融合，人臉識別，換臉甄別，人臉支付，人臉核身，人像變換，人臉試妝，人臉融合，人體分析，手勢識別，人臉驗證與檢索，人臉比對，人臉比對sensetime，人臉水印照比對，靜默活體檢測，靜默活體檢測sensetime，人臉檢測和屬性分析，人臉特徵分析tuputech，配合式活體檢測，人臉安防，計算機視覺，智能應用服務，人臉查詢人臉分析人臉統計名單庫管理人臉布控，人臉應用，人體應用，人體查詢，車輛查詢車輛分析車輛統計車輛布控車輛名單庫管理，車輛應用，人臉圖像識別人體圖像識別車輛圖像識別，圖像識別，圖像比對，人臉比對，人體檢測，人臉口罩識別，人臉對比，人臉搜索，人臉檢測與屬性分析，人臉活體檢測，人體關鍵點檢測，行人重識別，細粒度人像分割，人像分割，人臉解析，3D人體姿態估計，人臉融合，人臉識別，人臉檢測，人臉比對，人臉搜索，人臉關鍵點，稠密關鍵點，人臉屬性，情緒識別，顏值評分，視線估計，皮膚分析，3D人臉重建，面部特徵分析人體識別，人體檢測，人體關鍵點，人體摳像，人體屬性，手勢識別人像處理，美顏美型，人臉融合，濾鏡，聲紋識別支付，語音合成，語音合成，聲紋識別，語音喚醒，人臉識別引擎，攝像頭人臉識別，圖片人臉檢測，身份識別，人臉識別，人臉屬性，人體識別，聲紋識別，衣服檢索及聚類，語音分析，聲紋識別，說話人歸檔，人臉和人體識別，人臉檢測，手勢識別，人臉與人體識別，人臉識別雲服務，人臉識別私有化，人臉離線識別SDK，人臉實名認證，人像特效，人體分析，人臉技不，皮膚分析獨家，頭部分割，宏觀人臉分析，人臉關鍵點檢測，微觀人臉分析獨家，頭發分析獨家，五官分割，頭發分割人體技術，人體外輪廓點檢測獨家，精細化人像摳圖，人體框檢測，肢體關鍵點檢測，人像分割，服飾識別，手勢識別，皮膚分割，人臉，說話人識別，人臉檢測識別，人臉1：1比對，人臉檢測，AI人臉/人形車輛，大數據人像圖片防偽，QoS保障，CDN，表情識別，舉手動作識別，人臉檢測，網路切片，邊緣計算，人臉分析，人臉檢測，人臉搜索，人體分析，手勢識別，著裝檢測，人臉識別，行為檢測，人臉識別，人形檢測，行為分析，人臉檢測，人臉跟蹤，人臉比對，人臉查找，人臉屬性分析，活體檢測，聲音指紋，聲紋識別。
三、視頻
視頻分割、視頻處理、視頻理解、智能視覺、多媒體，視頻內容分析，人體動作監控，視頻分類，智能交通，人/動物軌跡分析，目標計數，目標跟蹤，視頻編輯-，精彩片段提取，新聞視頻拆分，視頻摘要，視頻封面，視頻拆條，視頻標簽-，視頻推薦，視頻搜索，視頻指紋-，數字版權管理，廣告識別，視頻快速審核，視頻版權，視頻查重，視頻換臉，車輛解析， 體育 視頻摘要，視頻內容分析，顏色識別，貨架商品檢測， 時尚 搭配，危險動作識別，無，無，視頻，視頻換臉，車輛解析， 體育 視頻摘要，視頻內容分析，顏色識別，貨架商品檢測， 時尚 搭配，危險動作識別，菜品識別，視頻識別引擎，結腸息肉檢測，胃鏡評估系統，視頻標簽，場景識別，客流分析，手勢識別，視頻技術，短視頻標簽，視覺看點識別，動態封面圖自動生成，智能剪輯，新聞拆條，智能插幀，視頻技術，多模態媒資檢索公測中，媒體內容分析，媒體內容審核，視頻生成，視頻動作識別，
四、ocr文字識別
手寫識別，票據識別，通用文檔，通用卡證，保險智能理賠，財稅報銷電子化，證照電子化審批，票據類文字識別，行業類文字識別，證件類文字識別，通用類文字識別，通用文字識別，駕駛證識別，身份證識別，增值稅發票識別，行駛證識別，營業執照識別，銀行卡識別，增值稅發票核驗，營業執照核驗，智能掃碼，行業文檔識別， 汽車 相關識別，票據單據識別，卡證文字識別，通用文字識別，手寫文字識別，印刷文字識別，銀行卡識別，名片識別，身份證識別intsig，營業執照識別intsig，增值稅發票識別intsig，拍照速算識別，公式識別，指尖文字識別，駕駛證識別JD，行駛證識別JD，車牌識別JD，身份證識別，增值稅發票識別，營業執照識別，火車票識別，計程車發票識別，印刷文字識別（多語種），印刷文字識別（多語種）intsig內容審核，色情內容過濾，政治人物檢查，暴恐敏感信息過濾，廣告過濾，OCR自定義模板使用手冊，OCR自定義模板API文檔，通用文字識別，駕駛證識別，身份證識別，增值稅發票識別，行駛證識別，營業執照識別，銀行卡識別，身份證識別，駕駛證識別，行駛證識別，銀行卡識別，通用文字識別，自定義模板文字識別，文字識別引擎，身份證識別，圖片文字識別，通用文字識別，身份證識別，名片識別，光學字元識別服務，通用文字識別，手寫體文字識別，表格識別，整題識別（含公式），購物小票識別，身份證識別，名片識別，自定義模板文字識別，文字識別，通用文字識別，銀行卡識別，身份證識別，字幕識別，網路圖片識別， 游戲 直播關鍵字識別，新聞標題識別，OCR文字識別，通用場景文字識別，卡證文字識別，財務票據文字識別，醫療票據文字識別， 汽車 場景文字識別，教育場景文字識別，其他場景文字識別，iOCR自定義模板文字識別，通用類OCR，通用文本識別(中英)通用文本識別(多語言)通用表格識別，證照類OCR，身份證社保卡戶口本護照名片銀行卡結婚證離婚證房產證不動產證，車輛相關OCR，行駛證駕駛證車輛合格證車輛登記證，公司商鋪類OCR，商戶小票稅務登記證開戶許可證營業執照組織機構代碼證，票據類OCR，增值稅發票增值稅卷票火車票飛機行程單計程車發票購車發票智能技術，票據機器人證照機器人文本配置機器人表格配置機器人框選配置機器人，文字識別，行駛證識別，駕駛證識別，表單識別器，通用文本，財務票據識別，機構文檔識別，個人證件識別，車輛相關識別，通用表格，印章識別，財報識別，合同比對，識別文字識別，簽名比對，OCR識別，教育OCR，印刷識別，手寫識別，表格識別，公式識別，試卷拆錄
五、自然語言NPL
文本相似度，文本摘要，文本糾錯，中心詞提取，文本信息抽取，智能文本分類，命名實體，詞性標注，多語言分詞，NLP基礎服務，地址標准化，商品評價解析智能簡訊解析，機器閱讀理解，金融研報信息識別，法律案件抽取，行業問答推理，行業知識圖譜構建，文本實體關系抽取，搜索推薦，知識問答，短文本相似度，文本實體抽取， 情感 傾向分析，興趣畫像匹配，文本分類-多標簽，文本分類-單標簽，定製自然語言處理，語言生成，語言理解，自然語言處理基礎，文本摘要，數據轉文字，文本生成，智能問答系統，內容推薦，評價分析，文本分類，對話理解，意圖理解， 情感 分析，觀點抽取，中文分詞，短文本相似度，關鍵詞提取，詞向量，命名實體，識別依存，句法分析， 情感 分析，評論觀點抽取，短文本相似度，機器翻譯，詞法分析，詞義相似度，詞向量，句法分析，文本分類，短語挖掘，閑聊，文本流暢度，同義詞，聚類，語言模型填空，新聞熱詞生成，機器閱讀理解，商品信息抽取，詞法分析， 情感 分析，關鍵詞提取，用戶評論分析，資訊熱點挖掘，AIUI人機交互，文本糾錯，詞法分析，依存句法分析，語義角色標注，語義依存分析（依存樹），語義依存分析（依存圖）， 情感 分析，關鍵詞提取，NLP能力生產平台，NLP基礎技術，中文詞法分析-LAC，詞向量—Word2vec，語言模型—Language_model，NLP核心技術， 情感 分析、文本匹配、自然語言推理、詞法分析、閱讀理解、智能問答，信息檢索、新聞推薦、智能客服， 情感 分析、文本匹配、自然語言推理、詞法分析、閱讀理解、智能問答，機器問答、自然語言推斷、 情感 分析和文檔排序，NLP系統應用，問答系統對話系統智能客服，用戶消費習慣理解熱點話題分析輿情監控，自然語言處理，文本分類使用手冊，文本分類API文檔， 情感 分析，評論觀點抽取，短文本相似度，機器翻譯，詞法分析，詞義相似度，詞向量，句法分析，文本分類，短語挖掘，閑聊，文本流暢度，同義詞，聚類，語言模型填空，新聞熱詞生成，機器閱讀理解，商品信息抽取智能創作，智能寫作，搭配短文，種草標題，賣點標題，社交電商營銷文案，自然語言處理能力，基礎文本分析，分詞、詞性分析技術，詞向量表示，依存句法分析，DNN語言模型，語義解析技術，意圖成分識別， 情感 分析，對話情緒識別，文本相似度檢測，文本解析和抽取技術，智能信息抽取，閱讀理解，智能標簽，NLG，自動摘要，自動寫文章，語言處理基礎技術，文本審核， 情感 分析，機器翻譯，智能聊天，自然語言，基於標題的視頻標簽，台詞看點識別，意圖識別，詞法分析，相關詞，輿情分析，流量預測，標簽技術，自然語言處理，語義對話，自然語言處理，車型信息提取，關鍵詞提取，語義理解，語義相似度，意圖解析，中文詞向量，表示依存，句法分析，上下文理解，詞法分析，意圖分析，情緒計算，視覺 情感 ，語音 情感 ， 情感 分析，沉浸式閱讀器，語言理解，文本分析，自然語言處理，在線語音識別，自然語言理解火速上線中， 情感 判別，語義角色標注，依存句法分析，詞性標注，實體識別，中文分詞，分詞，
6、知識圖譜
知識圖譜，葯學知識圖譜，智能分診，騰訊知識圖譜，無，葯學知識圖譜，智能分診，知識理解，知識圖譜Schema，圖資料庫BGraph，知識圖譜，語言與知識，語言處理基礎技術，語言處理應用技術，知識理解，文本審核，智能對話定製平台，智能文檔分析平台，智能創作平台，知識圖譜，實體鏈接，意圖圖譜，識別實體，邏輯推理，知識挖掘，知識卡片
7、對話問答機器人
智能問答機器人，智能語音助手，智能對話質檢，智能話務機器人，無，電話機器人，NeuHub助力京東智能客服升級，騰訊雲小微，智能硬體AI語音助手，對話機器人，無，問答系統對話系統智能客服，Replika對話技術，客服機器人，智能問答，智能場景，個性化回復，多輪交互，情緒識別，智能客服，金融虛擬客服，電話質檢，AI語音交互機器人，中移雲客服·智能AI外呼，人機對話精準語義分析
8、翻譯
協同翻譯工具平台，電商內容多語言工具，文檔翻譯，專業版翻譯引擎，通用版翻譯引擎，無，機器翻譯，無，機器翻譯，音視頻字幕平台，機器翻譯，機器翻譯niutrans，文本翻譯，語音翻譯，拍照翻譯，機器翻譯，機器翻譯，文本翻譯，語音翻譯，通用翻譯，自然語言翻譯服務，文本翻譯，圖片翻譯，語音翻譯，實時語音翻譯，文檔翻譯(開發版，機器翻譯，文本翻譯，語音翻譯，拍照翻譯，機器翻譯實時長語音轉寫，錄音文件長語音轉寫，翻譯工具，機器翻譯火速上線中
9、聲音
便攜智能語音一體機，語音合成聲音定製，語音合成，一句話識別，實時語音識別錄音文件識別，客服電話，語音錄入，語音指令，語音對話，語音識別，科學研究，安防監控，聲音分類，語音合成，語音識別，實時語音轉寫，定製語音合成，定製語音識別，語音合成，語音合成聲音定製，離線語音合成，短語音識別，錄音文件識別，聲紋識別，離線語音識別，實時語音識別，呼叫中心短語音識別，呼叫中心錄音文件識別，呼叫中心實時語音識別，語音識別，語音合成，聲紋識別，語音識別，語音聽寫，語音轉寫，實時語音轉寫，語音喚醒，離線命令詞識別，離線語音聽寫，語音合成，在線語音合成，離線語音合成，語音分析，語音評測，性別年齡識別，聲紋識別，歌曲識別，A.I.客服平台能力中間件，語音識別，語音交互技術，語音合成，語音合成聲音定製，離線語音合成，短語音識別，錄音文件識別，聲紋識別，離線語音識別，實時語音識別，呼叫中心短語音識別，呼叫中心錄音文件識別，呼叫中心實時語音識別，遠場語音識別，語音識別，一句話識別，實時語音識別，錄音文件識別，語音合成，實時語音識別，長語音識別，語音識別，語音合成，波束形成，聲源定位，去混響，降噪，回聲消除，分布式拾音，語音識別，語音喚醒，語音合成，聲紋識別，智能語音服務，語音合成，短語音識別，實時語音識別，語音理解與交互，離線喚醒詞識別，語音識別，一句話識別，實時語音識別，錄音文件識別，電話語音識別，語音喚醒，離線語音識別，離線命令詞識別，遠場語音識別，語音合成，通用語音合成，個性化語音合成，語音技術，短語音識別，實時語音識別，音頻文件轉寫，在線語音合成，離線語音合成，語音自訓練平台，語音交互，語音合成，語音識別，一句話識別，實時短語音識別，語音合成，語音喚醒，本地語音合成，語音翻譯，語音轉文本，短語音聽寫，長語音轉寫，實時語音轉寫，語音內容審核，會議超極本，語音交互技術，語音識別，語義理解，語音合成，音頻轉寫，音視頻類產品，語音通知/驗證碼，訂單小號，撥打驗證，點擊撥號，數據語音，統一認證，語音會議，企業視頻彩鈴，語音識別，語音文件轉錄，實時語音識別，一句話語音識別，語音合成，通用語音合成，個性化語音合成，語音評測，通用語音評測，中英文造句評測，在線語音識別，語音識別，語音喚醒，語音合成，語音合成，語音識別，語音聽寫，語音轉寫，短語音轉寫(同步)，語音識別，語音 情感 識別
十、數據挖掘AI硬體
演算法類型：包括二分類、多分類和回歸，精準營銷，表格數據預測，銷量預測，交通流量預測，時序預測，大數據，無，機器學習使用手冊，機器學習API文檔，大數據處理，大數據傳輸，數據工廠，大數據分析，數據倉庫，數據採集與標注，數據採集服務，數據標注服務，AI開發平台，全功能AI開發平台BML，零門檻AI開發平台EasyDL，AI硬體與平台，GPU雲伺服器，機器人平台，度目視頻分析盒子，度目AI鏡頭模組，度目人臉應用套件，度目人臉抓拍機，人臉識別攝像機，昆侖AI加速卡，智能預測，購車指數，數據科學虛擬機，平台效率，雲與AI，抗DDoS，天盾，網站漏洞掃描，網頁防篡改，入侵檢測防護，彈性雲伺服器，對象存儲服務，雲專線（CDA，AI計算機平台—360net深度學習基礎模型，AI演算法訓練適配主流AI框架
十一、其他
內容審核，智能鑒黃，特定人物識別，通用圖片審核，文本智能審核，廣告檢測，Logo檢測，商品理解，拍照購，商品圖片搜索，通用商品識別，疫情物資識別，酒標識別，細分市場劃分，品牌競爭力分析，老品升級，新品定製，商品競爭力分析，商品銷量預測，商品營銷，用戶評論佔比預測，商品命名實體識別，商品顏色識別，強化學習，智能地圖引擎，內容審核，智能鑒黃，特定人物識別，通用圖片審核，文本智能審核，廣告檢測，Logo檢測商品理解，拍照購，商品圖片搜索，通用商品識別，疫情物資識別，酒標識別，細分市場劃分，品牌競爭力分析，老品升級，新品定製，商品競爭力分析，商品銷量預測，商品營銷，用戶評論佔比預測，商品命名實體識別，商品顏色識別，個性化與推薦系統，推薦系統，輿情分析，輿情標簽，智慧教育，智能語音評測，拍照搜題，題目識別切分，整頁拍搜批改，作文批改，學業大數據平台，文檔校審系統，會議同傳系統，文檔翻譯系統，視頻翻譯系統，教育學習，口語評測，朗讀聽書，增強現實，3D肢體關鍵點SDK，美顏濾鏡SDK，短視頻SDK，基礎服務，私有雲部署，多模態交互，多模態 情感 分析，多模態意圖解析，多模態融合，多模態語義，內容審查器，Microsoft基因組學，醫學人工智慧開放平台，數據查驗介面，身份驗證（公安簡項），銀行卡驗證，發票查驗，設備接入服務Web/H5直播消息設備託管異常巡檢電話提醒，音視頻，視頻監控服務雲廣播服務雲存儲雲錄制，司乘體驗，智能地圖引擎，消息類產品，視頻簡訊，簡訊通知/驗證碼，企業掛機彩信，來去電身份提示，企業固話彩印，模板閃信，異網簡訊，內容生產，試卷拆錄解決方案，教學管理，教學質量評估解決方案，教學異常行為監測，授課質量分析解決方案，路況識別，人車檢測，視覺SLAM，高精地圖，免費SDK，智能診後隨訪管理，用葯管家，智能預問診，智能導診，智能自診，智能問葯，智能問答，裁判文書近義詞計算，法條推薦，案由預測，
㈦ k-means聚類演算法怎麼提取圖像特徵
一，K-Means聚類演算法原理
k-means 演算法接受參數 k
；然後將事先輸入的n個數據對象劃分為
k個聚類以便使得所獲得的聚類滿足：同一聚類中的對象相似度較高；而不同聚類中的對象相似度較小。聚類相似度是利用各聚類中對象的均值所獲得一個「中心對
象」（引力中心）來進行計算的。
K-means演算法是最為經典的基於劃分的聚類方法，是十大經典數據挖掘演算法之一。K-means演算法的基本思想是：以空間中k個點為中心進行聚類，對最靠近他們的對象歸類。通過迭代的方法，逐次更新各聚類中心的值，直至得到最好的聚類結果。
假設要把樣本集分為c個類別，演算法描述如下：
（1）適當選擇c個類的初始中心；
（2）在第k次迭代中，對任意一個樣本，求其到c個中心的距離，將該樣本歸到距離最短的中心所在的類；
（3）利用均值等方法更新該類的中心值；
（4）對於所有的c個聚類中心，如果利用（2）（3）的迭代法更新後，值保持不變，則迭代結束，否則繼續迭代。
該演算法的最大優勢在於簡潔和快速。演算法的關鍵在於初始中心的選擇和距離公式。
㈧ 圖像的特徵提取都有哪些演算法
常用的圖像特徵有顏色特徵、紋理特徵、形狀特徵、空間關系特徵。
一 顏色特徵
（一）特點：顏色特徵是一種全局特徵,描述了圖像或圖像區域所對應的景物的表面性質。一般顏色特徵是基於像素點的特徵，此時所有屬於圖像或圖像區域的像素都有各自的貢獻。由於顏色對圖像或圖像區域的方向、大小等變化不敏感，所以顏色特徵不能很好地捕捉圖像中對象的局部特徵。另外，僅使用顏色特徵查詢時，如果資料庫很大，常會將許多不需要的圖像也檢索出來。顏色直方圖是最常用的表達顏色特徵的方法，其優點是不受圖像旋轉和平移變化的影響，進一步藉助歸一化還可不受圖像尺度變化的影響，基缺點是沒有表達出顏色空間分布的信息。
（二）常用的特徵提取與匹配方法
（1） 顏色直方圖
其優點在於：它能簡單描述一幅圖像中顏色的全局分布，即不同色彩在整幅圖像中所佔的比例，特別適用於描述那些難以自動分割的圖像和不需要考慮物體空間位置的圖像。其缺點在於：它無法描述圖像中顏色的局部分布及每種色彩所處的空間位置，即無法描述圖像中的某一具體的對象或物體。
最常用的顏色空間：RGB顏色空間、HSV顏色空間。
顏色直方圖特徵匹配方法：直方圖相交法、距離法、中心距法、參考顏色表法、累加顏色直方圖法。
（2） 顏色集
顏色直方圖法是一種全局顏色特徵提取與匹配方法，無法區分局部顏色信息。顏色集是對顏色直方圖的一種近似首先將圖像從 RGB顏色空間轉化成視覺均衡的顏色空間（如 HSV 空間），並將顏色空間量化成若干個柄。然後，用色彩自動分割技術將圖像分為若干區域，每個區域用量化顏色空間的某個顏色分量來索引，從而將圖像表達為一個二進制的顏色索引集。在圖像匹配中，比較不同圖像顏色集之間的距離和色彩區域的空間關系
（3） 顏色矩
這種方法的數學基礎在於：圖像中任何的顏色分布均可以用它的矩來表示。此外，由於顏色分布信息主要集中在低階矩中，因此，僅採用顏色的一階矩（mean）、二階矩（variance）和三階矩（skewness）就足以表達圖像的顏色分布。
（4） 顏色聚合向量
其核心思想是：將屬於直方圖每一個柄的像素分成兩部分，如果該柄內的某些像素所佔據的連續區域的面積大於給定的閾值，則該區域內的像素作為聚合像素，否則作為非聚合像素。
（5） 顏色相關圖
二 紋理特徵
（一）特點：紋理特徵也是一種全局特徵，它也描述了圖像或圖像區域所對應景物的表面性質。但由於紋理只是一種物體表面的特性，並不能完全反映出物體的本質屬性，所以僅僅利用紋理特徵是無法獲得高層次圖像內容的。與顏色特徵不同，紋理特徵不是基於像素點的特徵，它需要在包含多個像素點的區域中進行統計計算。在模式匹配中，這種區域性的特徵具有較大的優越性，不會由於局部的偏差而無法匹配成功。作為一種統計特徵，紋理特徵常具有旋轉不變性，並且對於雜訊有較強的抵抗能力。但是，紋理特徵也有其缺點，一個很明顯的缺點是當圖像的解析度變化的時候，所計算出來的紋理可能會有較大偏差。另外，由於有可能受到光照、反射情況的影響，從2-D圖像中反映出來的紋理不一定是3-D物體表面真實的紋理。
例如，水中的倒影，光滑的金屬面互相反射造成的影響等都會導致紋理的變化。由於這些不是物體本身的特性，因而將紋理信息應用於檢索時，有時這些虛假的紋理會對檢索造成「誤導」。
在檢索具有粗細、疏密等方面較大差別的紋理圖像時，利用紋理特徵是一種有效的方法。但當紋理之間的粗細、疏密等易於分辨的信息之間相差不大的時候，通常的紋理特徵很難准確地反映出人的視覺感覺不同的紋理之間的差別。
（二）常用的特徵提取與匹配方法
紋理特徵描述方法分類
（1）統計方法統計方法的典型代表是一種稱為灰度共生矩陣的紋理特徵分析方法Gotlieb 和 Kreyszig 等人在研究共生矩陣中各種統計特徵基礎上，通過實驗，得出灰度共生矩陣的四個關鍵特徵：能量、慣量、熵和相關性。統計方法中另一種典型方法，則是從圖像的自相關函數（即圖像的能量譜函數）提取紋理特徵，即通過對圖像的能量譜函數的計算，提取紋理的粗細度及方向性等特徵參數
（2）幾何法
所謂幾何法，是建立在紋理基元（基本的紋理元素）理論基礎上的一種紋理特徵分析方法。紋理基元理論認為，復雜的紋理可以由若干簡單的紋理基元以一定的有規律的形式重復排列構成。在幾何法中，比較有影響的演算法有兩種：Voronio 棋盤格特徵法和結構法。
（3）模型法
模型法以圖像的構造模型為基礎，採用模型的參數作為紋理特徵。典型的方法是隨機場模型法，如馬爾可夫（Markov）隨機場（MRF）模型法和 Gibbs 隨機場模型法
（4）信號處理法
紋理特徵的提取與匹配主要有：灰度共生矩陣、Tamura 紋理特徵、自回歸紋理模型、小波變換等。
灰度共生矩陣特徵提取與匹配主要依賴於能量、慣量、熵和相關性四個參數。Tamura 紋理特徵基於人類對紋理的視覺感知心理學研究，提出6種屬性，即：粗糙度、對比度、方向度、線像度、規整度和粗略度。自回歸紋理模型（simultaneous auto-regressive, SAR）是馬爾可夫隨機場（MRF）模型的一種應用實例。
三 形狀特徵
（一）特點：各種基於形狀特徵的檢索方法都可以比較有效地利用圖像中感興趣的目標來進行檢索，但它們也有一些共同的問題，包括：①目前基於形狀的檢索方法還缺乏比較完善的數學模型；②如果目標有變形時檢索結果往往不太可靠；③許多形狀特徵僅描述了目標局部的性質，要全面描述目標常對計算時間和存儲量有較高的要求；④許多形狀特徵所反映的目標形狀信息與人的直觀感覺不完全一致，或者說，特徵空間的相似性與人視覺系統感受到的相似性有差別。另外，從 2-D 圖像中表現的 3-D 物體實際上只是物體在空間某一平面的投影，從 2-D 圖像中反映出來的形狀常不是 3-D 物體真實的形狀，由於視點的變化，可能會產生各種失真。
（二）常用的特徵提取與匹配方法
Ⅰ幾種典型的形狀特徵描述方法
通常情況下，形狀特徵有兩類表示方法，一類是輪廓特徵，另一類是區域特徵。圖像的輪廓特徵主要針對物體的外邊界，而圖像的區域特徵則關繫到整個形狀區域。
幾種典型的形狀特徵描述方法：
（1）邊界特徵法該方法通過對邊界特徵的描述來獲取圖像的形狀參數。其中Hough 變換檢測平行直線方法和邊界方向直方圖方法是經典方法。Hough 變換是利用圖像全局特性而將邊緣像素連接起來組成區域封閉邊界的一種方法，其基本思想是點—線的對偶性；邊界方向直方圖法首先微分圖像求得圖像邊緣，然後，做出關於邊緣大小和方向的直方圖，通常的方法是構造圖像灰度梯度方向矩陣。
（2）傅里葉形狀描述符法
傅里葉形狀描述符(Fourier shape descriptors)基本思想是用物體邊界的傅里葉變換作為形狀描述，利用區域邊界的封閉性和周期性，將二維問題轉化為一維問題。
由邊界點導出三種形狀表達，分別是曲率函數、質心距離、復坐標函數。
（3）幾何參數法
形狀的表達和匹配採用更為簡單的區域特徵描述方法，例如採用有關形狀定量測度（如矩、面積、周長等）的形狀參數法（shape factor）。在 QBIC 系統中，便是利用圓度、偏心率、主軸方向和代數不變矩等幾何參數，進行基於形狀特徵的圖像檢索。
需要說明的是，形狀參數的提取，必須以圖像處理及圖像分割為前提，參數的准確性必然受到分割效果的影響，對分割效果很差的圖像，形狀參數甚至無法提取。
（4）形狀不變矩法
利用目標所佔區域的矩作為形狀描述參數。
（5）其它方法
近年來，在形狀的表示和匹配方面的工作還包括有限元法（Finite Element Method 或 FEM）、旋轉函數（Turning Function）和小波描述符（Wavelet Descriptor）等方法。
Ⅱ 基於小波和相對矩的形狀特徵提取與匹配
該方法先用小波變換模極大值得到多尺度邊緣圖像，然後計算每一尺度的 7個不變矩，再轉化為 10 個相對矩，將所有尺度上的相對矩作為圖像特徵向量，從而統一了區域和封閉、不封閉結構。
四 空間關系特徵
（一）特點：所謂空間關系，是指圖像中分割出來的多個目標之間的相互的空間位置或相對方向關系，這些關系也可分為連接/鄰接關系、交疊/重疊關系和包含/包容關系等。通常空間位置信息可以分為兩類：相對空間位置信息和絕對空間位置信息。前一種關系強調的是目標之間的相對情況，如上下左右關系等，後一種關系強調的是目標之間的距離大小以及方位。顯而易見，由絕對空間位置可推出相對空間位置，但表達相對空間位置信息常比較簡單。
空間關系特徵的使用可加強對圖像內容的描述區分能力，但空間關系特徵常對圖像或目標的旋轉、反轉、尺度變化等比較敏感。另外，實際應用中，僅僅利用空間信息往往是不夠的，不能有效准確地表達場景信息。為了檢索，除使用空間關系特徵外，還需要其它特徵來配合。
（二）常用的特徵提取與匹配方法
提取圖像空間關系特徵可以有兩種方法：一種方法是首先對圖像進行自動分割，劃分出圖像中所包含的對象或顏色區域，然後根據這些區域提取圖像特徵，並建立索引；另一種方法則簡單地將圖像均勻地劃分為若干規則子塊，然後對每個圖像子塊提取特徵，並建立索引。
㈨ 圖像的特徵提取都有哪些演算法
圖像的特徵可分為兩個層次，包括低層視覺特徵，和高級語義特徵。低層視覺特徵包括紋理、顏色、形狀三方面。語義特徵是事物與事物之間的關系。紋理特徵提取演算法有：灰度共生矩陣法，傅里葉功率譜法顏色特徵提取演算法有：直方圖法，累計直方圖法，顏色聚類法等等。形狀特徵提取演算法有：空間矩特徵等等高級語義提取：語義網路、數理邏輯、框架等方法
㈩ 生活中的人工智慧之搜索和推薦演算法
姓名：陳心語 學號：21009102266 書院：海棠1號書院
轉自： 人工智慧在搜索中的應用_u014033218的專欄-CSDN博客
人工智慧在搜索的應用和實踐_qq_40954115的博客-CSDN博客
【嵌牛導讀】日常生活中的搜索和推薦演算法也與人工智慧有所關聯，讓我們一起來看看吧！
【嵌牛鼻子】人工智慧運用於搜索和推薦演算法。
【嵌牛提問】人工智慧在搜索和推薦演算法中有什麼運用呢？
【嵌牛正文】
智能交互
智能交互有三個方面的這部分組成，第一個就是Query推薦，這是比較古老的課題；第二個做智能導購，這是現在正在做的一個原形，後面我會講為什麼做智能導購；第三個內容的展示和個性化的創意。就是說你把商品怎麼展示給用戶，也是我們認為是交互的一部分。
第一個是Query推薦，這個問題怎麼來抽象呢？Query推薦是一個用戶當前Query下面我們怎麼推薦其它Query，這是我們相關搜索一樣的。我們推薦這樣的一個Query以後，如果用戶一旦點了其中的一個Query，用戶的狀態就會發生變化，從當前的Query跳到另外一個Query，這是用戶狀態的變化。第二個就是說我們怎麼評價我們推薦的Query的好壞，它由幾部分組成，一個Query有沒有被點，第二個就是說推薦Query裡面，它的SRP頁會不會點，因為Query推薦本質上不是Query推薦做的最好就是最好的，它是說最終要在搜索SRP用戶有沒有買，有沒有點擊，這才是做的好的，這是第二個收益。還有一個更加間接的，通過Query推，這個狀態轉到下一個狀態以後，這個裡面還會推其它Query，還會有其它點擊，這個時候也是個間接推薦。如果我不推Query就不能到這個狀態，不到狀態不會有這個Query，不會有這個收益。我們了解，這就是典型的一個馬爾科夫決策過程，我們是用強化學習來做的，Actions就是我們的Query list，根據用戶和當前Query推薦其他Query，狀態就是User + Query，收益就是包括推薦Query擊，還有一個間接收益，間接收益通過bellman 公式可以算出來，這就是一個DQN的強化學習項目。
智能導購
現在的搜索呈現的問題就是說，如果去看搜索的Query都是一些品類詞、品牌詞、型號詞或者屬性詞。假定用戶他知道買什麼再來搜索搜，但是有各很大的東西用戶不知道買什麼嗎？智能導購就是做做一個類似智能導購機器人的產品，引導用戶怎麼搜，用戶也可以主動問，獲取知識或購物經驗。這是後台的演算法的一個原形，不久後會上線。
智能內容
因為淘寶的商品，賣家為了適應我們的引擎，做了大量的SEO，裡面都是羅列熱門的關健詞，導致問題淘寶的標題沒什麼差異，都寫的差不多，看標題也不知道什麼東西，或者知道但裡面沒有很多特色的內容。我們做智能內容很重要的出發點是怎麼從商品的評價、詳情頁、屬性裡面挖出一些比較有賣點，或者商品比較有特色的東西展示給用戶，讓用戶更好的了解商品，這是第一個。第二個淘寶上面還有類似商品聚合的，比如清單，生成一個清單，怎麼給清單生成一個比較好的導入的描述，讓用戶描述這個清單干什麼。這裡面主要做了這兩個事情。具體怎麼做的？一個會生成一些Topic，比如行業運營加上我們挖的一些點，比如像手機一般大家關注點會是手機的性價比，拍照是不是清晰，還有速度是不是快，是不是發熱什麼的，這是用戶關注的興趣點。然後它會根據這個商品會選擇一個興趣點，通過Seq2seq生成短文本。
語義搜索
我們的商品屬性基本上是比較標准化的，因為這里淘寶有一個這樣的商品庫，非標准化的內容是沒法上傳的。導致的問題是我們的商品內容相對來說是比較規范化的，但是用戶的輸入的Query不是這樣的，比如我這里舉一些例子，比如一個新品有各種表達，2017新品，2017冬季新品，是吧？新品，有很多的表達。所以就是從從用戶的需求跟商品的內容，就存在了一個語義的Gap。還有我們經常舉例，比如三口之家用的電飯鍋，很多這種語義的問題，這個語義從語義角度解決語義Match的事情。
大概會有這么幾個方面。比如一個就是意圖的理解，還有意圖的Mapping，比如大容量冰箱，首先知道大的是跟冰箱的容量相關的，冰箱是個類目，最後要Mapping到人的冰箱，把『大』改寫成一個容量大於多少升，類目是冰箱這樣才能夠比較好的解決我們這個搜索的這個召回的問題。 第二個語義理解，這裡麵包括Query和商品都要做語義理解，比如通過image tagging計算從圖片裡面抽取很多文本的語義標簽補充到商品文本索引中。 第三個就是現在有這個端到端的深度學習技術來直接學Query和商品的Similarity，通過端到端的深度學習技術來做語義的召回和語義的相關性。
智能匹配
主要就是講個性化，做個性化的首要就是個性化數據。個性化本質上就是說以用戶為中心構建用戶的標簽，用戶的行為，還有用戶的偏好，再通過這些數據找到，去Match到商品，比如說你看過相似商品，典型的協同過濾，還有你偏好的品牌的其它商品。那就是基於這些經歷了一個以用戶為中心的電商圖譜，這裡面還加了一些輔助的數據，比如商品的相似度，店鋪之間的相似度，這樣構建了我們這樣的叫電商圖譜。
個性化召回與向量化召回
召回是這樣的，首先從咱們的電商圖譜里取出用戶的信息，包括比如說年齡性別，還有當地溫度是多少，還有行為足跡等等之類的，社交現在沒用了，因為這是幾年前社交特別火，什麼都要摻和一下，其實社交，信息的社交到電商其實風馬牛不相及的領域，沒有任何價值。所以現在好友這東西幾乎沒有用。因為不同Query中，用戶信息重要性是不一樣的，我們根據上下文會做用戶信息的篩選或者排序，會找出比較重要的信息做個性化召回。以上是淘寶商品索引結構，傳統的搜索關鍵字是通過搜索關鍵字召回，而個性化商品索引，除了Query還會有商品簇，簇與簇之間的關系，品牌店鋪等等之類的，會加很多個性化的特徵做召回，通過這種帶的好處是召回的結果跟用戶是直接相關的，就召回這一步帶來個性化。
但是這種基於行為召回還是存在一個問題的。最重要的問題它的泛化能力會比較差。最典型的比如說你通過協同過濾來做，如果兩個商品，沒有用戶同時看過的話，這兩個商品你認為他們相似度是零，這個結論是錯的，但是如果通過協同過濾就有這個問題。我們今年實現了向量化召回，包括兩步：一個是Similarity learning，通過這個深度學習做端到端的Similarity learning，就會把這個我們的User 和Item會變成一個向量；第二步就是做向量化召回，比如層次聚類，隨機遊走，learning to hash等,這樣的話就是說會極大的提升召回的深度。
個性化工作
在個性化領域其實最重要的一個核心的問題就是怎麼去理解用戶，怎麼感知用戶和預測用戶行為及偏好。
首先是數據，用戶在淘寶有兩個中類型重要的基本信息：一個是用戶標簽，比如年齡、性別、職業等；第二是用戶足跡，比如 點過，買過的商品，店鋪等；
其次是用戶感知要和搜索上下文相關，即這個用戶的表徵和要用戶搜索意圖相關；
第三是搜索有很多差異化的任務，比如用戶消費能力的預估， User到Item的CTR預估和用戶購物狀態預估等，是為每個任務做個端到端的深度學習模型還是用統一的用戶表徵來完成不同的Task？如果每一個任務都做端到端深度學習會有很多問題，比如離線和在線的性能開銷會大很多，或部分任務樣本太少。
如圖是用戶感知深度模型，輸入X是用戶的點擊行為序列，下一步是embedding，embedding完以後，通過LSTM把用戶行為序列做embedding，因為在搜索用戶感知和Query相關，所以加入query 的 attention層，選擇和當前query有關系的行為，表徵完是Multi-task learning 網路。整個這個網路的參數大概有一百億個參數，我在雙11我們還實現了在線學習。
演算法包括智能交互、語義搜索、智能匹配和搜索策略四個方向。
智能交互
商品搜索就是帶交互的商品推薦，用戶通過關鍵字輸入搜索意圖，引擎返回和搜索意圖匹配的個性化推薦結果，好的交互技術能夠幫助到用戶更好的使用搜索引擎，目前搜索的交互主要是主動關鍵字輸入和關鍵字推薦，比如搜索框中的默認查詢詞和搜索結果中的文字鏈等，推薦引擎根據用戶搜索歷史、上下文、行為和狀態推薦關鍵字。和商品推薦的區別是，關鍵字推薦是搜索鏈路的中間環節，關鍵字推薦的收益除了關鍵字的點擊行為外，還需要考慮對整個購物鏈路的影響，包括在推薦關鍵字的後續行為中是否有商品點擊、加購和成交或跳轉到另外一個關鍵字的後繼行為，這是一個典型的強化學習問題，action 是推薦的關鍵字候選集合，狀態是用戶當前搜索關鍵詞、上下文等，收益是搜索引導的成交。除了被動的關鍵字推薦，我們也在思考搜索中更加主動的交互方式，能夠做到像導購員一樣的雙向互動，主動詢問用戶需求，挑選個性化的商品和給出個性化的推薦理由，目前我們已經在做智能導購和智能內容方向的技術原型及論證，智能導購在技術上主要是借鑒對話系統，通過引導用戶和引擎對話與關鍵字推薦方式互為補充，包括自然語言理解，對話策略，對話生成，知識推理、知識問答和商品搜索等模塊，功能主要包括：a. 根據用戶搜索上下文生成引導用戶主動交互的文本，比如搜索「奶粉」時，會生成「您寶寶多大？0~6個月，6個月到1歲….」引導文案，提示用戶細化搜索意圖，如果用戶輸入「3個月」後，會召回相應段位的奶粉，並在後續的搜索中會記住對話狀態「3個月」寶寶和提示用戶「以下是適合3個月寶寶的奶粉」，b. 知識導購，包含提高售前知識問答或知識提示，比如「3個月寶寶吃什麼奶粉」 回答「1段」，目前對話技術還不太成熟，尤其是在多輪對話狀態跟蹤、知識問答和自動評價幾個方面，但隨著深度學習、強化學習和生成對抗學習等技術在NLP、對話策略、閱讀理解等領域的應用，越來越多的訓練數據和應用場景，domain specific 的對話技術未來幾年應該會突飛猛進；智能內容生成，包括生成或輔助人工生成商品和清單的「賣點」，短標題和文本摘要等，讓淘寶商品表達更加個性化和多元化。
語義搜索
語義搜索主要是解決關鍵字和商品內容之間的語義鴻溝，比如搜索「2~3周歲寶寶外套」，如果按照關鍵字匹配召回結果會遠小於實際語義匹配的商品。語義搜索的范圍主要包括：a. query tagging和改寫，比如新品，年齡，尺碼，店鋪名，屬性，類目等搜索意圖識別和歸一化，query tagging模型是用的經典的序列標注模型 bi-lstm + CRF，而標簽分類（歸一化） 作為模型另外一個任務，將序列標注和分類融合在一起學習；b. query 改寫，主要是計算query之間相似度，把一個query改寫成多個語義相似的query，通常做法是先用不同改寫策略生成改寫候選query集合，比如詞替換、向量化後top k、點擊商品相似度等，然後在用ltr對後續集合排序找出合適的改寫集合，模型設計和訓練相對簡單，比較難的是如何構建高質量的訓練樣本集合，線上我們用bandit 的方法探測部分query 改寫結果的優劣，離線則用規則和生成對抗網路生成一批質量較高的樣本； c. 商品內容理解和語義標簽，通過商品圖片，詳情頁，評價和同義詞，上下位詞等給商品打標簽或擴充商品索引內容，比如用 image tagging技術生成圖片的文本標簽豐富商品內容，或者更進一步用直接用圖片向量和文本向量融合，實現富媒體的檢索和查詢；d. 語義匹配，經典的DSSM 模型技術把query 和商品變成向量，用向量內積表達語義相似度，在問答或閱讀理解中大量用到多層LSTM + attention 做語義匹配，同樣高質量樣本，特別是高質量負樣本很大程度上決定了模型的質量，我們沒有采樣效率很低的隨機負采樣，而是基於電商知識圖譜，通過生成字面相似但不相關的query及相關文檔的方法生成負樣本。從上面可以看到query tagging、query相似度、語義匹配和語義相關性是多個目標不同但關聯程度非常高的任務，下一步我們計劃用統一的語義計算框架支持不同的語義計算任務，具體包括1. 開發基於商品內容的商品表徵學習框架，為商品內容理解，內容生成，商品召回和相關性提供統一的商品表徵學習框架，重點包括商品標題，屬性，詳情頁和評價等文本信息抽取，圖像特徵抽取和多模信號融合；2. query 表徵學習框架，為query 類目預測，query改寫，query 推薦等提供統一的表徵學習框架，重點通過多個query 相似任務訓練統一的query表徵學習模型；3. 語義召回，語義相關性等業務應用模型框架。語義搜索除了增加搜索結果相關性，提升用戶體驗外，也可以一定程度上遏制淘寶商品標題堆砌熱門關鍵詞的問題。
智能匹配
這里主要是指個性化和排序。內容包括：a. ibrain (深度用戶感知網路)，搜索或推薦中個性化的重點是用戶的理解與表達，基於淘寶的用戶畫像靜態特徵和用戶行為動態特徵，我們基於multi-modals learning、multi-task representation learning以及LSTM的相關技術，從海量用戶行為日誌中直接學慣用戶的通用表達，該學習方法善於「總結經驗」、「觸類旁通」，使得到的用戶表達更基礎且更全面，能夠直接用於用戶行為識別、偏好預估、個性化召回、個性化排序等任務，在搜索、推薦和廣告等個性化業務中有廣泛的應用場景，感知網路超過10B個參數，已經學習了幾千億次的用戶行為，並且會保持不間斷的增量學習越來越聰明； b. 多模學習，淘寶商品有文本、圖像、標簽、id 、品牌、類目、店鋪及統計特徵，這些特徵彼此有一定程度的冗餘和互補，我們利用多模學習通過多模聯合學習方法把多維度特徵融合在一起形成統一的商品標准，並多模聯合學習中引入self-attention實現特徵維度在不同場景下的差異，比如女裝下圖片特徵比較重要，3C下文本比較重要等；c. deepfm，相對wide & deep 模型，deepfm 增加了特徵組合能力，基於先驗知識的組合特徵能夠應用到深度學習模型中，提升模型預測精度；d. 在線深度排序模型，由於行為類型和商品重要性差異，每個樣本學習權重不同，通過樣本池對大權重樣本重復分批學習，有效的提升了模型學習穩定性，同時通過融合用戶狀態深度ltr模型實現了千人千面的排序模型學習；e. 全局排序，ltr 只對單個文檔打分然後按照ltr分數和打散規則排序，容易導致搜索結果同質化，影響總頁效率，全局排序通過已知排序結果做為上下文預測下一個位置的商品點擊概率，有效提升了總頁排序效率；f. 另外工程還實現了基於用戶和商品向量的向量召回引擎，相對倒排索引，向量化召回泛化能力更強，對語義搜索和提高個性化匹配深度是非常有價值的。以上實現了搜索從召回、排序特徵、排序模型、個性化和重排的深度學習升級，在雙11無線商品搜索中帶來超過10% (AB-Test)的搜索指標提升。
智能決策
搜索中個性化產品都是成交最大化，導致的問題是搜索結果趨同，浪費曝光，今年做的一個重要工作是利用多智能體協同學習技術，實現了搜索多個異構場景間的環境感知、場景通信、單獨決策和聯合學習，實現聯合收益最大化，而不是此消彼長，在今年雙11中聯合優化版本帶來的店鋪內和無線搜索綜合指標提升12% (AB-Test)，比非聯合優化版本高3% (AB-Test)。
性能優化
在深度學習剛起步的時候，我們意識到深度模型inference 性能會是一個瓶頸，所以在這方面做了大量的調研和實驗，包括模型壓縮(剪枝)，低秩分解，量化和二值網路，由於缺少相應的指令集和硬體支持，最終只在個別場景下上線，期待支持低精度矩陣計算和稀疏矩陣計算的硬體早日出現。
未來計劃
通用用戶表徵學習。前面介紹的DUPN 是一個非常不錯的用戶表徵學習模型，但基於query 的attention 只適合搜索，同時缺少基於日誌來源的attention，難以推廣到其他業務，在思考做一個能夠適合多個業務場景的用戶表徵模型，非搜索業務做些簡單fine tuning 就能取得比較好的效果；同時用戶購物偏好受季節和周期等影響，時間跨度非常大，最近K個行為序列假設太簡單，我們在思考能夠做life-long learning 的模型，能夠學慣用戶過去幾年的行為序列；搜索鏈路聯合優化。從用戶進入搜索到離開搜索鏈路中的整體優化，比如 搜索前的query 引導（底紋），搜索中的商品和內容排序，搜索後的 query推薦（錦囊）等場景；跨場景聯合優化。今年搜索內部主搜索和店鋪內搜索聯合優化取得了很好的結果，未來希望能夠拓展在更多大流量場景，提高手淘的整體購物體驗；多目標聯合優化。搜索除了成交外，還需要承擔賣家多樣性，流量公平性，流量商業化等居多平台和賣家的訴求，搜索產品中除了商品搜索外還有「穹頂」，「主題搜索」，「錦囊」，「內容搜索」等非商品搜索內容，不同搜索目標和不同內容（物種）之間的聯合優化未來很值得深挖。