當前位置:首頁 » 操作系統 » 新技術演算法

新技術演算法

發布時間: 2023-01-27 07:29:27

Ⅰ 最懂你的「演算法」,如何不淪為「算計」

來源 摘編自《平台治理2.0:共同富裕時代數字經濟治理轉型》,電子工業出版社,2022年4月出版。

文 於鳳霞 國家信息中心信息化和產業發展部處長

隨著互聯網、大數據、演算法與人工智慧等的發展日新月異,平台經濟的崛起使得追求物美價廉、方便快捷的消費者與世界各地的商品和服務之間的距離只是點擊幾下滑鼠而已。網路世界、新興技術正在使我們更加便利、舒適,我們每天都在享受平台經濟繁榮發展帶來的福利。大數據和演算法等技術功不可沒。

克里斯托弗·斯坦納在其著作《演算法帝國》里對演算法推崇備至,認為構建演算法模仿、超越並最終取代人類,是21世紀最重要的能力,未來屬於演算法及其創造者。 科技 哲學家凱文·凱利在其著作《失控》中提到:「人們在將自然邏輯輸入機器的同時,也把技術邏輯帶到了生命之中……機器人、經濟體、計算機程序等人造物也越來越具有生命屬性。」

隨著平台經濟在人類經濟 社會 各領域的快速滲透,我們的生活已經悄悄地被演算法和數據控制,演算法與數據接管了整個 社會 。演算法為人類行為賦能,但受所輸入數據的質量及演算法模型本身的限制,內在地嵌入了人類正面或負面的價值觀,並能動地製造著各種風險。

阿里爾·扎拉奇在其《演算法的陷阱:超級平台、演算法壟斷與場景欺騙》一書中寫道,精妙的演算法與數據運算改變了市場競爭的本質,復雜多變的市場現實已在悄無聲息中將權力移交到少數人的手中,因此,必須由監管機構及時採取可行的方法和政策,有效化解演算法帶來的各種風險,促使創新能夠真正為 社會 帶來正面意義。

經過長期的數據沉澱和演算法優化,你的手機、你的常用App在某些方面確實會比你的家人、好友甚至你本人更了解你。這就意味著,當我們在利用演算法的時候,也不自覺地成了被演算法計算的對象。

「大數據殺熟」意指同樣的產品或者服務,老客戶看到的價格反倒比新客戶所看到的更高。而且還存在同一用戶信息在不同網路平台之間被共享的問題,許多用戶都遇到過這樣的情形:在一個網站瀏覽或搜索的內容很快會被另一個網站進行推薦或成為其廣告客戶。

在傳統銷售模式下,通常是老客戶能夠享受到更多的優惠,這些優惠往往通過會員卡、積分制等不同形式來實現,也廣為大眾所接受。

然而,通過網路平台開展的許多銷售活動,卻出現了相反的情況:隨著用戶在某個平台上消費次數的增加、消費金額的不斷提高,其最開始能夠享受到的各種優惠卻會逐漸消失,甚至變成老用戶可能要付出更高的價錢獲得服務,而新用戶則能夠享受到各類優惠。

這種問題在美國早就引起過熱議,2000年亞馬遜曾對68款碟片進行類似的定價機制。新顧客購買價格為22.74美元,老顧客卻需要26.24美元。在引起消費者廣泛質疑後,亞馬遜CEO貝佐斯回應這只是隨機價格的一種測試,並向高價客戶退還差價,這次風波才得以平息。2012年《華爾街日報》又爆料一家名為Staples的文具店的「差別定價」事件。

從某種意義上說,「大數據殺熟」屬於大數據營銷,部分平台在有了大數據這個強大的用戶畫像工具後,實現了千人千面的定價機制。利用大數據技術對用戶資料進行細分,根據用戶習慣建立用戶畫像,然後通過畫像給用戶推薦相應的產品與服務,並且進行差異化定價。

根據《中華人民共和國價格法》第十四條規定,經營者提供相同商品或者服務,不得對具有同等交易條件的其他經營者實行價格歧視。由於該法未針對「同等交易條件」進行詳細解釋,嚴格說來,網路平台依據大數據分析所做的「差別定價」並不能完全和「價格歧視」畫等號。

人們之所以會對「大數據殺熟」產生懷疑甚至憤怒,根本上是因為平台定價機制和供需匹配規則不透明。

基於用戶注冊及個人信息、地理位置、消費記錄、搜索習慣等行為數據,平台能夠針對不同的用戶形成獨特的用戶畫像。這一畫像有助於平台為用戶提供精準的個性化服務,但也埋下了「大數據殺熟」的潛在風險。

針對新老用戶或不同消費習慣的用戶,一些平台提供的同一產品或服務,存在較為嚴重的價格歧視現象,引發廣泛爭議。平台定價機制和供需匹配規則的不透明,還使得消費者在權益遭到損害時陷入舉證難、維權難的境地。

演算法引發的第二個問題可以被稱為「信息繭房」和「回聲室效應」。

「信息繭房」可能帶來的後果是,長期被禁錮在其中的個人,其思維甚至是生活可能呈現出一種定式化、程序化的狀態,失去了解不同事物的能力和接觸機會;另外,還可能加劇人與人的差異性、分化,甚至很有可能帶來一大批 社會 極端分子,從而帶來安全威脅,影響 社會 的穩定。

經濟學家安東尼·唐恩斯認為,人們容易從觀點相似的人那裡獲取信息,從而減少信息成本。網路虛擬社群一方面使愛好相似的人們聚集到一起,但高度同質化的聚集也減少了他們接受多元化聲音的可能,從而形成封閉的「回聲室」。

演算法給用戶推薦的信息內容,如新聞標題、內容、圖片、評論等,都會影響用戶的情緒,甚至改變用戶的思想和觀點。在這些場景中,演算法本身只是從優化業務的角度出發進行推薦和內容分發,這些演算法的長期高頻率使用,在客觀上深刻地影響著用戶的思想和行為,甚至影響整個 社會 的價值傳播。

因此,演算法作為一種技術工具,或許是中立的無所謂正向或負向價值觀,但如果演算法技術與商業利益密切聯系,或者被應用於與人和 社會 相關的場景時,必然會引發一系列 社會 問題,不容迴避。

演算法引發的第三個主要問題是流量造假和流量劫持。

一些平台或商家通過人為或機器操作手段提高關鍵詞搜索量、平台用戶數、廣告點擊量、視頻播放量、產品購買量、服務評論數等,還有部分平台通過強制跳轉、妨礙破壞等技術手段,或者使用定向引流、廣告混淆等非技術手段劫持本應屬於競爭對手的流量,誘導用戶使用己方的產品或服務。

在直播電商領域中,2020年新華社曾報道,山東臨沂電商從業者孫玲玲,在某電商平台經營一家銷售糖果類產品的店鋪,一個月內,孫玲玲找了多位帶貨主播,這些主播粉絲數量都超過百萬,但幾乎每場帶貨都以賠錢收場,流量造假問題也相當突出。

當前關於規范惡意流量競爭的制度尚不健全。一是法律規定較為模糊,尤其是對於流量不正當競爭行為的構成要件與法律責任缺乏明確界定;二是平台企業流量競爭手段越來越隱蔽和復雜,導致不正當競爭行為的舉證、認定及對損害和賠償額度的確定都存在較大難度。

隨著網路技術的進步與平台經濟的發展,如何規制流量惡意競爭等新型不正當競爭行為、營造公平競爭的市場環境,成為亟須深入研究的重要課題。

此外,還有操縱榜單和控制熱搜等問題。「熱搜」原本反映的是當前輿論最關切的熱點問題,但在實踐中我們發現,其後台演算法有可能被濫用,出現操縱榜單、控制熱搜、人為製造輿論熱點等問題,嚴重影響著民眾對熱搜的信任。

卓別林的電影《摩登時代》對機器操控產業工人的諷刺,以及馬克思著作《1844年經濟學哲學手稿》對機器工業化時代人類「異化」的警示,無不提醒我們,就像機器流水線有可能凌駕於勞動工人之上一樣,當今無處不在的演算法若應用不當,也有可能成為一種凌駕於人之上的力量,為人和 社會 的發展帶來新的風險。

為此,有效加強演算法監管,積極應對新技術發展帶來的挑戰,讓人類更好地享受新技術發展的福利,是順應平台經濟發展趨勢的必然要求。

針對演算法應用這一全新的治理課題,我國正在不斷加強相關領域的制度建設和規范。如早在2018年,我國資管新規《關於規範金融機構資產管理業務的指導意見》就提出要避免智能演算法的順周期性風險,要求金融機構,應當根據不同產品投資策略,研發對應的人工智慧演算法或者程序化交易,避免演算法同質化加劇投資行為的順周期性,並針對由此可能引發的市場波動風險制訂應對預案。

此外,新規提出,因演算法同質化、編程設計錯誤、對數據利用深度不夠等人工智慧演算法模型缺陷或者系統異常,導致「羊群效應」、影響金融市場穩定運行的,金融機構應當及時採取人工干預措施,強制調整或者終止人工智慧業務。

2020年12月中共中央印發的《法治 社會 建設實施綱要(2020-2025年)》提出,制定完善對網路直播、自媒體、知識社區問答等新媒體業態和演算法推薦、深度偽造等新技術應用的規范管理辦法;加強對大數據、雲計算和人工智慧等新技術研發應用的規范引導。

尤其是2021年出台的系列制度,從反壟斷等不正當競爭、保護消費者權益、保護個人信息安全等不同角度和側重點,對演算法應用引發的「大數據殺熟」行為提出了規范要求。

2021年2月,《關於平台經濟領域的反壟斷指南》規定,基於大數據和演算法,根據交易相對人的支付能力、消費偏好、使用習慣等,實行差異性交易價格或者其他交易條件;對新老交易相對人實行差異性交易價格或者其他交易條件;實行差異性標准、規則、演算法;實行差異性付款條件和交易方式等,都可能被認定為「大數據殺熟」等不正當競爭行為而面臨更嚴格的監管。

2021年8月,國家市場監督管理總局公布的《禁止網路不正當競爭行為規定(公開徵求意見稿)》第二十一條指出,經營者不得利用數據、演算法等技術手段,通過收集、分析交易相對方的交易信息、瀏覽內容及次數、交易時使用的終端設備的品牌及價值等方式,對交易條件相同的交易相對方不合理地提供不同的交易信息,侵害交易相對方的知情權、選擇權、公平交易權等,擾亂市場公平交易秩序。

從監管的角度來看,反不正當競爭法對「大數據殺熟」行為的規制的最大特點在於,企業並不需要具備市場支配地位,無論平台企業的市場地位如何,經營者利用技術手段,實施「二選一」行為,或者利用數據、演算法等技術手段,侵害交易相對方的知情權、選擇權、公平交易權等,擾亂市場公平交易秩序,實施「大數據殺熟」的行為,均會受到反不正當競爭法的限制。

2021年11月1日開始正式實施的個人信息保護法,第一次在法律文本中定義了「自動化決策」一詞的含義,即「通過計算機程序自動分析、評估個人的行為習慣、興趣愛好或者經濟、 健康 、信用狀況等,並進行決策的活動」。對利用個人信息進行自動化決策做了針對性的規范,要求個人信息處理者保證自動化決策的透明度和結果的公平、公正,不得通過自動化決策對個人在交易價格等交易條件上實行不合理的差別待遇,並在事前進行個人信息保護影響評估。個人認為自動化決策對其權益造成重大影響的,有權拒絕個人信息處理者僅通過自動化決策的方式做出決定。

可以說,這里的規定,更加強調對用戶人格權益的保護,旨在保護個人信息安全。

演算法規制的第二個重點是,演算法在互聯網信息服務領域的應用。

2021年8月,國家互聯網信息辦公室就《互聯網信息服務演算法推薦管理規定(徵求意見稿)》向 社會 公開徵求意見。徵求意見稿中明確,所謂的演算法推薦技術,是指應用生成合成類、個性化推送類、排序精選類、檢索過濾類、調度決策類等演算法技術向用戶提供信息內容。

這意味著,各類信息流平台、用戶生成內容(UGC)平台都在被監管范圍內。甚至在朋友圈內常見的信息流廣告,亦是推薦演算法的結果,也應該遵守相關規定。

徵求意見稿第一次區分了生成合成類、個性化推送類、排序精選類、檢索過濾類、調度決策類五類向用戶提供信息內容的演算法技術,並就演算法推薦服務提供者的責任和義務、演算法推薦服務公告和演算法備案等制度、演算法推薦未成年人模式做出了詳細規定。

在網路信息內容生態方面,徵求意見稿提出,演算法推薦服務提供者應當堅持主流價值導向,優化演算法推薦服務機制,積極傳播正能量,促進演算法應用向上向善。

強調要「建立完善人工干預和用戶自主選擇機制」,也就是說,不能依賴演算法進行內容推薦,要增加人工識別及篩選的過程,在首頁首屏、熱搜、精選、榜單類、彈窗等重點環節積極呈現符合主流價值導向的信息內容。

這意味著,在壓實互聯網信息服務平台主體責任方面,除了要求對謠言及其他不法信息進行治理,演算法決策的合規化也是一個重要抓手。

在平台演算法推薦服務過程中,依據何種演算法和邏輯使用數據,將成為平台演算法規制的重要內容。徵求意見稿對演算法推薦服務提供者在演算法規則及公示方面都提出了要求。

2021年9月,國家互聯網信息辦公室印發《關於加強互聯網信息服務演算法綜合治理的指導意見》,提出要用三年左右時間,逐步建立治理機制健全、監管體系完善、演算法生態規范的演算法安全綜合治理格局。

在健全演算法安全治理機制方面,《意見》提出要致力於打造形成政府監管、企業履責、行業自律、 社會 監督的演算法安全多元共治局面。尤其是要強化平台企業主體責任,明確提出,企業應強化責任意識,對演算法應用產生的結果負主體責任,並建立演算法安全責任制度和 科技 倫理審查制度。

在促進演算法生態規范發展方面,《意見》則提出要推動演算法公開透明,督促企業及時、合理、有效地公開演算法基本原理、優化目標、決策標准等信息,做好演算法結果解釋,暢通投訴通道。

《平台治理2.0》,於鳳霞 著

電子工業出版社,2022年4月出版

近年來數字經濟增加值在我國GDP中的佔比不斷提升,但相對經濟總量而言還是偏低;新業態新模式發展過程中也出現了新的問題和挑戰。因此,在推動和規范數字經濟發展的同時,需要重構治理體系,進一步突出競爭政策基礎地位,並構建起全方位、多層次、立體化的治理體系。本書圍繞平台治理,分析我國在數字治理、反壟斷等方面的 探索 ,平台經濟在發展過程中的挑戰和可能的應對之策。

Ⅱ 區塊鏈技術的六大核心演算法

區塊鏈技術的六大核心演算法
區塊鏈核心演算法一:拜占庭協定
拜占庭的故事大概是這么說的:拜占庭帝國擁有巨大的財富,周圍10個鄰邦垂誕已久,但拜占庭高牆聳立,固若金湯,沒有一個單獨的鄰邦能夠成功入侵。任何單個鄰邦入侵的都會失敗,同時也有可能自身被其他9個鄰邦入侵。拜占庭帝國防禦能力如此之強,至少要有十個鄰邦中的一半以上同時進攻,才有可能攻破。然而,如果其中的一個或者幾個鄰邦本身答應好一起進攻,但實際過程出現背叛,那麼入侵者可能都會被殲滅。於是每一方都小心行事,不敢輕易相信鄰國。這就是拜占庭將軍問題。
在這個分布式網路里:每個將軍都有一份實時與其他將軍同步的消息賬本。賬本里有每個將軍的簽名都是可以驗證身份的。如果有哪些消息不一致,可以知道消息不一致的是哪些將軍。盡管有消息不一致的,只要超過半數同意進攻,少數服從多數,共識達成。
由此,在一個分布式的系統中,盡管有壞人,壞人可以做任意事情(不受protocol限制),比如不響應、發送錯誤信息、對不同節點發送不同決定、不同錯誤節點聯合起來干壞事等等。但是,只要大多數人是好人,就完全有可能去中心化地實現共識
區塊鏈核心演算法二:非對稱加密技術
在上述拜占庭協定中,如果10個將軍中的幾個同時發起消息,勢必會造成系統的混亂,造成各說各的攻擊時間方案,行動難以一致。誰都可以發起進攻的信息,但由誰來發出呢?其實這只要加入一個成本就可以了,即:一段時間內只有一個節點可以傳播信息。當某個節點發出統一進攻的消息後,各個節點收到發起者的消息必須簽名蓋章,確認各自的身份。
在如今看來,非對稱加密技術完全可以解決這個簽名問題。非對稱加密演算法的加密和解密使用不同的兩個密鑰.這兩個密鑰就是我們經常聽到的」公鑰」和」私鑰」。公鑰和私鑰一般成對出現, 如果消息使用公鑰加密,那麼需要該公鑰對應的私鑰才能解密; 同樣,如果消息使用私鑰加密,那麼需要該私鑰對應的公鑰才能解密。
區塊鏈核心演算法三:容錯問題
我們假設在此網路中,消息可能會丟失、損壞、延遲、重復發送,並且接受的順序與發送的順序不一致。此外,節點的行為可以是任意的:可以隨時加入、退出網路,可以丟棄消息、偽造消息、停止工作等,還可能發生各種人為或非人為的故障。我們的演算法對由共識節點組成的共識系統,提供的容錯能力,這種容錯能力同時包含安全性和可用性,並適用於任何網路環境。
區塊鏈核心演算法四:Paxos 演算法(一致性演算法)
Paxos演算法解決的問題是一個分布式系統如何就某個值(決議)達成一致。一個典型的場景是,在一個分布式資料庫系統中,如果各節點的初始狀態一致,每個節點都執行相同的操作序列,那麼他們最後能得到一個一致的狀態。為保證每個節點執行相同的命令序列,需要在每一條指令上執行一個「一致性演算法」以保證每個節點看到的指令一致。一個通用的一致性演算法可以應用在許多場景中,是分布式計算中的重要問題。節點通信存在兩種模型:共享內存和消息傳遞。Paxos演算法就是一種基於消息傳遞模型的一致性演算法。
區塊鏈核心演算法五:共識機制
區塊鏈共識演算法主要是工作量證明和權益證明。拿比特幣來說,其實從技術角度來看可以把PoW看做重復使用的Hashcash,生成工作量證明在概率上來說是一個隨機的過程。開采新的機密貨幣,生成區塊時,必須得到所有參與者的同意,那礦工必須得到區塊中所有數據的PoW工作證明。與此同時礦工還要時時觀察調整這項工作的難度,因為對網路要求是平均每10分鍾生成一個區塊。
區塊鏈核心演算法六:分布式存儲
分布式存儲是一種數據存儲技術,通過網路使用每台機器上的磁碟空間,並將這些分散的存儲資源構成一個虛擬的存儲設備,數據分散的存儲在網路中的各個角落。所以,分布式存儲技術並不是每台電腦都存放完整的數據,而是把數據切割後存放在不同的電腦里。就像存放100個雞蛋,不是放在同一個籃子里,而是分開放在不同的地方,加起來的總和是100個。

Ⅲ 大數據常用的各種演算法

我們經常談到的所謂的​​ 數據挖掘 是通過大量的數據集進行排序,自動化識別趨勢和模式並且建立相關性的過程。那現在市面的數據公司都是通過各種各樣的途徑來收集海量的信息,這些信息來自於網站、公司應用、社交媒體、移動設備和不斷增長的物聯網。

比如我們現在每天都在使用的搜索引擎。在自然語言處理領域,有一種非常流行的演算法模型,叫做詞袋模型,即把一段文字看成一袋水果,這個模型就是要算出這袋水果里,有幾個蘋果、幾個香蕉和幾個梨。搜索引擎會把這些數字記下來,如果你想要蘋果,它就會把有蘋果的這些袋子給你。

當我們在網上買東西或是看電影時,網站會推薦一些可能符合我們偏好的商品或是電影,這個推薦有時候還挺准。事實上,這背後的演算法,是在數你喜歡的電影和其他人喜歡的電影有多少個是一樣的,如果你們同時喜歡的電影超過一定個數,就把其他人喜歡、但你還沒看過的電影推薦給你。 搜索引擎和推薦系統 在實際生產環境中還要做很多額外的工作,但是從本質上來說,它們都是在數數。

當數據量比較小的時候,可以通過人工查閱數據。而到了大數據時代,幾百TB甚至上PB的數據在分析師或者老闆的報告中,就只是幾個數字結論而已。 在數數的過程中,數據中存在的信息也隨之被丟棄,留下的那幾個數字所能代表的信息價值,不抵其真實價值之萬一。 過去十年,許多公司花了大價錢,用上了物聯網和雲計算,收集了大量的數據,但是到頭來卻發現得到的收益並沒有想像中那麼多。

所以說我們現在正處於「 數字化一切 」的時代。人們的所有行為,都將以某種數字化手段轉換成數據並保存下來。每到新年,各大網站、App就會給用戶推送上一年的回顧報告,比如支付寶會告訴用戶在過去一年裡花了多少錢、在淘寶上買了多少東西、去什麼地方吃過飯、花費金額超過了百分之多少的小夥伴;航旅縱橫會告訴用戶去年做了多少次飛機、總飛行里程是多少、去的最多的城市是哪裡;同樣的,最後讓用戶知道他的行程超過了多少小夥伴。 這些報告看起來非常酷炫,又冠以「大數據」之名,讓用戶以為是多麼了不起的技術。

實際上,企業對於數據的使用和分析,並不比我們每年收到的年度報告更復雜。已經有30多年歷史的商業智能,看起來非常酷炫,其本質依然是數數,並把數出來的結果畫成圖給管理者看。只是在不同的行業、場景下,同樣的數字和圖表會有不同的名字。即使是最近幾年炙手可熱的大數據處理技術,也不過是可以數更多的數,並且數的更快一些而已。

在大數據處理過程中會用到那些演算法呢?

1、A* 搜索演算法——圖形搜索演算法,從給定起點到給定終點計算出路徑。其中使用了一種啟發式的估算,為每個節點估算通過該節點的較佳路徑,並以之為各個地點排定次序。演算法以得到的次序訪問這些節點。因此,A*搜索演算法是較佳優先搜索的範例。

2、集束搜索(又名定向搜索,Beam Search)——較佳優先搜索演算法的優化。使用啟發式函數評估它檢查的每個節點的能力。不過,集束搜索只能在每個深度中發現最前面的m個最符合條件的節點,m是固定數字——集束的寬度。

3、二分查找(Binary Search)——在線性數組中找特定值的演算法,每個步驟去掉一半不符合要求的數據。

4、分支界定演算法(Branch and Bound)——在多種最優化問題中尋找特定最優化解決方案的演算法,特別是針對離散、組合的最優化。

5、Buchberger演算法——一種數學演算法,可將其視為針對單變數較大公約數求解的歐幾里得演算法和線性系統中高斯消元法的泛化。

6、數據壓縮——採取特定編碼方案,使用更少的位元組數(或是其他信息承載單元)對信息編碼的過程,又叫來源編碼。

7、Diffie-Hellman密鑰交換演算法——一種加密協議,允許雙方在事先不了解對方的情況下,在不安全的通信信道中,共同建立共享密鑰。該密鑰以後可與一個對稱密碼一起,加密後續通訊。

8、Dijkstra演算法——針對沒有負值權重邊的有向圖,計算其中的單一起點最短演算法。

9、離散微分演算法(Discrete differentiation)。

10、動態規劃演算法(Dynamic Programming)——展示互相覆蓋的子問題和最優子架構演算法

11、歐幾里得演算法(Euclidean algorithm)——計算兩個整數的較大公約數。最古老的演算法之一,出現在公元前300前歐幾里得的《幾何原本》。

12、期望-較大演算法(Expectation-maximization algorithm,又名EM-Training)——在統計計算中,期望-較大演算法在概率模型中尋找可能性較大的參數估算值,其中模型依賴於未發現的潛在變數。EM在兩個步驟中交替計算,第一步是計算期望,利用對隱藏變數的現有估計值,計算其較大可能估計值;第二步是較大化,較大化在第一步上求得的較大可能值來計算參數的值。

13、快速傅里葉變換(Fast Fourier transform,FFT)——計算離散的傅里葉變換(DFT)及其反轉。該演算法應用范圍很廣,從數字信號處理到解決偏微分方程,到快速計算大整數乘積。

14、梯度下降(Gradient descent)——一種數學上的最優化演算法。

15、哈希演算法(Hashing)。

16、堆排序(Heaps)。

17、Karatsuba乘法——需要完成上千位整數的乘法的系統中使用,比如計算機代數系統和大數程序庫,如果使用長乘法,速度太慢。該演算法發現於1962年。

18、LLL演算法(Lenstra-Lenstra-Lovasz lattice rection)——以格規約(lattice)基數為輸入,輸出短正交向量基數。LLL演算法在以下公共密鑰加密方法中有大量使用:背包加密系統(knapsack)、有特定設置的RSA加密等等。

19、較大流量演算法(Maximum flow)——該演算法試圖從一個流量網路中找到較大的流。它優勢被定義為找到這樣一個流的值。較大流問題可以看作更復雜的網路流問題的特定情況。較大流與網路中的界面有關,這就是較大流-最小截定理(Max-flow min-cut theorem)。Ford-Fulkerson 能找到一個流網路中的較大流。

20、合並排序(Merge Sort)。

21、牛頓法(Newton's method)——求非線性方程(組)零點的一種重要的迭代法。

22、Q-learning學習演算法——這是一種通過學習動作值函數(action-value function)完成的強化學習演算法,函數採取在給定狀態的給定動作,並計算出期望的效用價值,在此後遵循固定的策略。Q-leanring的優勢是,在不需要環境模型的情況下,可以對比可採納行動的期望效用。

23、兩次篩法(Quadratic Sieve)——現代整數因子分解演算法,在實踐中,是目前已知第二快的此類演算法(僅次於數域篩法Number Field Sieve)。對於110位以下的十位整數,它仍是最快的,而且都認為它比數域篩法更簡單。

24、RANSAC——是「RANdom SAmple Consensus」的縮寫。該演算法根據一系列觀察得到的數據,數據中包含異常值,估算一個數學模型的參數值。其基本假設是:數據包含非異化值,也就是能夠通過某些模型參數解釋的值,異化值就是那些不符合模型的數據點。

25、RSA——公鑰加密演算法。較早的適用於以簽名作為加密的演算法。RSA在電商行業中仍大規模使用,大家也相信它有足夠安全長度的公鑰。

26、Schönhage-Strassen演算法——在數學中,Schönhage-Strassen演算法是用來完成大整數的乘法的快速漸近演算法。其演算法復雜度為:O(N log(N) log(log(N))),該演算法使用了傅里葉變換。

27、單純型演算法(Simplex Algorithm)——在數學的優化理論中,單純型演算法是常用的技術,用來找到線性規劃問題的數值解。線性規劃問題包括在一組實變數上的一系列線性不等式組,以及一個等待較大化(或最小化)的固定線性函數。

28、奇異值分解(Singular value decomposition,簡稱SVD)——在線性代數中,SVD是重要的實數或復數矩陣的分解方法,在信號處理和統計中有多種應用,比如計算矩陣的偽逆矩陣(以求解最小二乘法問題)、解決超定線性系統(overdetermined linear systems)、矩陣逼近、數值天氣預報等等。

29、求解線性方程組(Solving a system of linear equations)——線性方程組是數學中最古老的問題,它們有很多應用,比如在數字信號處理、線性規劃中的估算和預測、數值分析中的非線性問題逼近等等。求解線性方程組,可以使用高斯—約當消去法(Gauss-Jordan elimination),或是柯列斯基分解( Cholesky decomposition)。

30、Strukturtensor演算法——應用於模式識別領域,為所有像素找出一種計算方法,看看該像素是否處於同質區域( homogenous region),看看它是否屬於邊緣,還是是一個頂點。

31、合並查找演算法(Union-find)——給定一組元素,該演算法常常用來把這些元素分為多個分離的、彼此不重合的組。不相交集(disjoint-set)的數據結構可以跟蹤這樣的切分方法。合並查找演算法可以在此種數據結構上完成兩個有用的操作:

查找:判斷某特定元素屬於哪個組。

合並:聯合或合並兩個組為一個組。

32、維特比演算法(Viterbi algorithm)——尋找隱藏狀態最有可能序列的動態規劃演算法,這種序列被稱為維特比路徑,其結果是一系列可以觀察到的事件,特別是在隱藏的Markov模型中。

Ⅳ 變頻調速SVPWM技術的原理、演算法與應用的目錄

電氣自動化新技術叢書序言
5屆電氣自動化新技術叢書編輯委員會的話
前言
第1章 變頻調速與SVPWM技術
1.1 變頻調速概述
1.1.1 變頻調速系統
1.1.2 變頻器
1.1.3 電力電子電器件
1.2 變頻器諧波的影響與對策
1.2.1 輸入側諧波的影響與對策
1.2.2 輸出側諧波的影響及對策
1.3 SPWM技術
1.3.1 調?的原理和分類
1.3.2 SPWM波形成的方法
1.3.3 SPWM的優點與缺點
1.3.4 SPWM的優化
1.4 變頻調速系統的控制
1.4.1 開環控制
1.4.2 閉環控制
1.5 SVPWM技術
1.5.1概述
1.5.2 SVPWM技術的原理與分類
1.5.3 SVPWM技術的優點與展望
參考文獻
第2章 兩電子SVPWM?術
2.1 兩電平逆變器
2.2 兩電乎逆變器合成電壓矢量與磁鏈的空間分布
2.2.1 逆變器輸出電壓空間矢量的空間分布
2.2.2 電壓矢量與磁鏈矢量軌跡
2.3 SVPWM的調制模式和演算法
2.3.1 多個電壓矢量連續切換的SVPWM模式
2.3.2 矢量合成法的SVPWM模式
2.4 對稱調制模式和演算法
2.4.1 基本原理
2.4.2 實施演算法
2.4.3 對稱調制模式與SPWM的比較
2.4.4 對稱調制模式的特點和優點
2.4.5 對稱調制模式的推廣
2.5 兩電平SVPWM的新演算法
2.5.1 隨機控制演算法
2.5.2 免疫演算法
2.5.3 反向傳播神經網路演算法
2.6 兩電平三維空間電壓矢量SVPWM控制
2.6.1 三相四橋臂逆變器
2.6.2 三相四橋臂逆變器的電壓空間矢量
2.6.3 三相四橋臂逆變器的電壓空間矢量控制
參考文獻
第3章 兩電平SVPWM技術的應用
3.1 兩電平SVPWM技術在矢量變換控制中的應用
3.1.1 矢量變換控制的基本原理
3.1.2 SVPWM矢量控制系統的構成與控制原理
3.1.3 矢量變換控制的特點
3.2 SVPWM在直接轉矩控制系統中的應用
3.2.1 直接轉矩控制的基本原理
3.2.2 直接轉矩控制系統的構成與控制原理
3.2.3 電壓矢量與少的關系
3.2.4 採用電壓矢量選擇表的直接轉矩控制系統
3.2.5 直接轉矩控制的數字化
3.2.6 直接轉矩控制的特點與存在的問題
3.3 直接轉矩控制的改進方案
3.3.1 模糊控制的直接轉矩控制
3.3.2 預測轉矩的直接轉矩控制
3.4 採用諧振極軟開關逆變器的直接轉矩控制
3.4.1 RPZVT逆變器的構成及工作原理
3.4.2 控制系統的構成
3.4.3 控制原理
3.4.4模擬及實驗結果
3.5 PWM整流器的控制
3.5.1 PWM整流器
第4章三電平SVPWM技術
第5章三電平SVPWM技術的應用
第6章多電平SVPWM技術及其應用
第7章SVPWM技術工程應用實例

Ⅳ 演算法工程師的項目落地能力指什麼

1、深刻理解業務,能根據業務需求調整實現方案的能力
就拿茶具的例子說,客戶更關注不良品不能漏,寧可殺錯,不可放過,所以這時候我們就得把業務朝著不良品檢出率方向去優化;
2、結合業務需求的熟練工程實現能力
我們拿到一個項目需求以後,大腦中得立馬有一個框架,這個項目輸入輸出是什麼?得用到哪幾個模型?適合什麼樣的業務框架?開發需要多久?調優需要多久?能達到什麼樣的指標?然後按照自己的規劃進行開發調優。
3、對數據敏感,有較強的數據處理與數據維護管理能力
演算法工程師一定要對數據敏感,看一眼數據就能知道這些數據能支持什麼樣的任務?有沒有坑?數據該怎麼標注與維護高效省成本?
4、對新技術的求知慾與探索學習能力
目前人工智慧技術剛興起,技術和演算法迭代很快,所以對演算法工程師追新技術,新解決方案的能力也有要求,不能落後太久。比如現在有個推理性能的瓶頸,攻關了很久沒有突破,但是可能就已經有開源的方案了,而這就需要我們經常查資料,看論文了。
5、各部門的溝通合作能力
這是個通用能力,演算法工程師當然也需要,就像這個茶具項目中的一樣,演算法工程師接到不合理的需求一定要及時溝通,並用自己的專業知識,給出更合理的解決方案,各部門一起為項目落地努力。

Ⅵ 採用的新技術和新方法

在本書的研究實例中採用一系列新方法,主要包括:①運用遺傳演算法和神經網路技術進行儲層參數的橫向預測;②運用分形幾何學研究裂縫平面分布規律;③運用灰色系統理論進行未測試層段的聚類分析;④運用灰色模式識別技術進行多參數的儲層橫向預測;⑤嘗試運用導電效率進行儲層類型判別。

本書具有以下特色:

(1)地質與物探的緊密結合。地質資料、測井資料和地震資料在對油藏的表現能力方面存在著精度和覆蓋能力上的差別,運用岩心資料與測井資料建立二者之間的數學關系,可以完成儲層參數的測井評價,用測井來約束地震資料,可以將儲層參數准確地擴展為三維場,達到井間預測的目的。

(2)多種數學方法的運用。儲層研究的最終目的是達到對儲層特徵及其三維分布規律的認識,定量化描述過程中儲層特徵是以特徵參數的形式來體現和進行信息傳輸的,各種參數之間的匹配也是基於數值運算來完成的,數學方法在這些過程中起著「橋梁」的重要作用。可以說,沒有近代數學的發展,儲層研究只能停留在對儲層基本地質特徵的「就事論事」式的文字性描述的水平,而不可能達到真正的預測。本書中充分體現現代儲層研究的定量化、信息化特色,通過獲取大量的儲層參數,運用各種數學方法(包括數理統計學、地質統計學、非線性數學)對這些數字化信息進行處理,最終通過這些特徵參數的空間分布規律來描述和預測儲層,指導油氣的勘探和開發。

(3)理論與生產實際相結合。研究實例中運用傳統儲層研究方法技術的同時,盡可能多的使用新方法、新技術、新理論,但並不以方法的先進與否來評價其相對優劣,而是同研究實例義和庄奧陶系油氣藏實際相結合,每種方法的運算結果都要同油藏實際進行對比,進行誤差分析,達到限定誤差的方法或誤差最小的方法所得的結果才被允許進入下一流程,以保證儲層研究的最終精度。所以,研究中不僅僅是對多種儲層研究方法技術的一次練兵,其結果也可以用來指導奧陶系油氣藏的勘探開發。同時,研究中對多種新方法的運用,對具有相似地質特徵的碳酸鹽岩裂縫性儲層的描述具有較大的借鑒意義。

(4)體現儲層研究的層次性。儲層研究的技術路線是有一定規則的。本書中研究的技術路線有一定的特色,在點—面—體的主路線指引下,穿插有多種次級技術路線,如地質模型—數學模型—預測模型的由定性到定量的技術路線,測井解釋中的常規數學方法—非線性數學方法,地震參數橫向預測中的常規單地震參數預測—反演單地震參數預測—多地震參數綜合預測,以及支持主路線的岩心—測井—地震的研究順序等。

Ⅶ H.264演算法的簡介

新型的H.264/ MPEG-4 AVC視頻壓縮標准獲得ISO/IEC以及ITU-T認證(ISO/IEC 14496-10), 同以往許多視頻標准相比,此標准又上一個台階。新型的H.264/MPEG-4AVC標准產生更高質量的畫面效果, 而且大大降低了比特率, , 比H.263, MPEG-2還要低50%以上,這樣就降低了帶寬或存儲成本, 從而這種新型視頻應用技術得到廣泛應用。H.264/MPEG-4 AVC 被認為是過去10年視頻壓縮領域最傑出的成就, 它已經在高速發展的視頻應用技術中找到了自己的方向。這種編解碼產生了高質量的圖像,比H.263+和MPEG-4 ASP更低的比特率, 是當前最有效的D1視頻壓縮解決方案。
H.264是在MPEG-4技術的基礎之上建立起來的,其編解碼流程主要包括5個部分:幀間和幀內預測(Estimation)、變換(Transform)和反變換、量化(Quantization)和反量化、環路濾波(Loop Filter)、熵編碼(Entropy Coding)。
H.264/MPEG-4 AVC(H.264)是1995年自MPEG-2視頻壓縮標准發布以後的最新、最有前途的視頻壓縮標准。通過該標准,在同等圖象質量下的壓縮效率比以前的H.263和Mpeg-2標准提高了2倍以上,因此,H.264被普遍認為是最有影響力的行業標准。
各個廠家都會針對自己的硬體和軟體平台,對H.264演算法進行研究,優化。本文介紹北京拓撲威視新技術有限公司在DM642平台上的H.264演算法。
北京拓撲威視公司的TVI-264是高度優化的視頻編解碼器, 可運行於德州儀器TMS320DM64xTM。TVI-264的設計達到了視頻效果高質量,節約成本的要求, 廣泛應用於視頻相關產品,如:IP 可視電話和視頻監控照相機這些要求低延時的產品應用,視頻會議, 遠程教育系統以及其他視頻應用產品最佳的選擇。TVI-264編解碼器可運行於德州儀器TMS320CM64xTM 和TMS320DM64XTM。另外, 也可應用於H.264碼流主機為基礎的回放, 並保存原始數據。

Ⅷ 量子遺傳演算法的國內外研究現狀

當前科學技術正進入多學科互相交叉、互相滲透、互相影響的時代,生命科學與工程科學的交叉、滲透和相互促進是其中一個典型例子,也是近代科學技術發展的一個顯著特點。遺傳演算法的蓬勃發展正體現了科學發展的這一特點和趨勢。
製造機器智能一直是人類的夢想,人們為此付出了巨大的努力。人工智慧技術的出現,就是人們得到的成果。但是,近年來,隨著人工智慧應用領域的不斷拓廣,傳統的基於符號處理機制的人工智慧方法在知識表示、處理模式信息及解決組合爆炸等方面所碰到的問題已變得越來越突出,這些困難甚至使某些學者對強人工智慧提出了強烈批判,對人工智慧的可能性提出了質疑。
眾所周知,在人工智慧領域中,有不少問題需要在復雜而龐大的搜索空間中尋找最優解或准優解。像貨朗擔問題和規劃問題等組合優化問題就是典型的例子。在求解此類問題時,若不能利用問題的固有知識來縮小搜索空間則會產生搜索的組合爆炸。因此,研究能在搜索過程中自動獲得和積累有關搜索空間的知識,並能自適應地控制搜索過程,從而得到最優解或准有解的通用搜索演算法一直是令人矚目的課題。遺傳演算法就是在這種背景下產生並經實踐證明特別有效的演算法。
遺傳演算法(Genetic Algorithm, GA)是近年來迅速發展起來的一種全新的隨機搜索與優化演算法,其基本思想是基於Darw in的進化論和Mendel的遺傳學說。該演算法由密執安大學教授Holland及其學生於1975年創建。此後,遺傳演算法的研究引起了國內外學者的關注。自1985年以來.國際上已召開了多次遺傳演算法的學術會議和研討會.國際遺傳演算法學會組織召開的ICGA( International Conference on Genetic Algorithms)會議和FOGA( Workshop on Foundation of Genetic Algorithms)會議。為研究和應用遺傳演算法提供了國際交流的機會。
作為一種通用的問題求解方法,遺傳演算法採用簡單的編碼技術來表示各種復雜的結構並通過對一組編碼表示進行簡單的遺傳操作和優勝劣汰的自然選擇來指導學習和確定搜索的方向。
近年來,遺傳演算法已被成功地應用於下業、經濟答理、交通運輸、工業設計等不同領域.解決了許多問題。例如,可靠性優化、流水車間調度、作業車間調度、機器調度、設備布局設計、圖像處理以及數據挖掘等。本文將從遺傳演算法的理論和技術兩方而概述目前的研究現狀。描述遺傳演算法的主要特點、基木原理以及各種改進演算法,介紹遺傳演算法的程序設計。
遺傳程序設計是借鑒生物界的自然選擇和遺傳機制,在遺傳演算法的基礎上發展起來的搜索演算法,它己成為進化計算的一個新分支。在標準的遺傳演算法中,由定長字元串(問題的可行解)組成的群體藉助於復制、交叉、變異等遺傳操作不斷進化找到問題的最優解或次優解。遺傳程序設計運用遺傳演算法的思想,常採用樹的結構來表示計算機程序,從而解決問題。對於許多問題,包括人工智慧和機器學習上的問題都可看作是需要發現一個計算機程序,即對特定輸入產生特定輸出的程序,形式化為程序歸納,那麼遺傳程序設計提供了實現程序歸納的方法。
把遺傳演算法和計算機程序結合起來的思想出現在遺傳演算法中,Holland把產生式語言和遺傳演算法結合起來實現分類系統,還有一些遺傳演算法應用領域的研究者將類似於遺傳演算法的遺傳操作施加於樹結構的程序上。
近年來,遺傳程序設計運用遺傳演算法的思想自動生成計算機程序解決了許多問題,如預測、分類、符號回歸和圖像處理等,作為一種新技術它己經與遺傳演算法並駕齊驅。 1996年,舉行了第1次遺傳程序設計國際會議,該領域己引起越來越多的相關學者們的興趣。
1967年,Holland的學生J.D.Bagley在博士論文中首次提出「遺傳演算法(Genetic Algorithms)」一詞。此後,Holland指導學生完成了多篇有關遺傳演算法研究的論文。1971年,R.B.Hollstien在他的博士論文中首次把遺傳演算法用於函數優化。1975年是遺傳演算法研究歷史上十分重要的一年。這一年Holland出版了他的著名專著《自然系統和人工系統的自適應》(Adaptation in Natural and Artificial Systems),這是第一本系統論述遺傳演算法的專著,因此有人把1975年作為遺傳演算法的誕生年。Holland在該書中系統地闡述了遺傳演算法的基本理論和方法,並提出了對遺傳演算法的理論研究和發展極其重要的模式理論(schema theory)。該理論首次確認了結構重組遺傳操作對於獲得隱並行性的重要性。同年,K.A.De Jong完成了他的博士論文《一類遺傳自適應系統的行為分析》(An Analysis of the Behavior of a Class of Genetic Adaptive System)。該論文所做的研究工作,可看作是遺傳演算法發展進程中的一個里程碑,這是因為,他把Holland的模式理論與他的計算實驗結合起來。盡管De Jong和Hollstien 一樣主要側重於函數優化的應用研究,但他將選擇、交叉和變異操作進一步完善和系統化,同時又提出了諸如代溝(generation gap)等新的遺傳操作技術。可以認為,De Jong的研究工作為遺傳演算法及其應用打下了堅實的基礎,他所得出的許多結論,迄今仍具有普遍的指導意義。
進入八十年代,遺傳演算法迎來了興盛發展時期,無論是理論研究還是應用研究都成了十分熱門的課題。1985年,在美國召開了第一屆遺傳演算法國際會議(International Conference on Genetic Algorithms ,ICGA),並且成立國際遺傳演算法學會(International Society of Genetic Algorithms ,ISGA),以後每兩年舉行一次。
1989年,Holland的學生D.E.Goldberg出版了專著《搜索、優化和機器學習中的遺傳演算法》(Genetic Algorithms in Search , Optimization, and Machine Learning)。該書總結了遺傳演算法研究的主要成果,對遺傳演算法及其應用作了全面而系統的論述。同年,美國斯坦福大學的Koza基於自然選擇原則創造性地提出了用層次化的計算機程序來表達問題的遺傳程序設計( genetic programming, GP)方法,成功地解決了許多問題。
在歐洲,從1990年開始每隔一年舉辦一次Parallel Problem Solving from Nature 學術會議,其中遺傳演算法是會議主要內容之一。此外,以遺傳演算法的理論基礎為中心的學術會議還有Foundations of Genetic Algorithms,該會也是從1990年開始隔年召開一次。這些國際會議論文,集中反映了遺傳演算法近些年來的最新發展和動向。
1991年,L.Davis編輯出版了《遺傳演算法手冊》(Handbook of Genetic Algorithms),其中包括了遺傳演算法在工程技術和社會生活中的大量應用實例。
1992年,Koza發表了他的專著《遺傳程序設計:基於自然選擇法則的計算機程序設計》」。1994年,他又出版了《遺傳程序設計,第二冊:可重用程序的自動發現》深化了遺傳程序設計的研究,使程序設計自動化展現了新局面。有關遺傳演算法的學術論文也不斷在《Artificial Intelligence》、《Machine Learning》、《Information science》、《Parallel Computing》、《Genetic Programming and Evoluable Machines》\《IEEE Transactions on Neural Networks》,《IEEE Transactions on Signal Processing》等雜志上發表。1993年,MIT出版社創刊了新雜志《Evolutionary Computation》。1997年,IEEE又創刊了《Transactions on Evolutionary Computation》。《Advanced Computational Intelligence》雜志即將發刊,由模糊集合創始人L.A.Zadeh教授為名譽主編。目前,關於遺傳演算法研究的熱潮仍在持續,越來越多的從事不同領域的研究人員已經或正在置身於有關遺傳演算法的研究或應用之中。

Ⅸ 人工智慧具有什麼推動信息技術與傳統產業深度融合

一是構建創新載體,組建智能感測器等,加強人工智慧共性技術研發;二是推動改革創新,支持上海浦東新區、北京、成都等八個地方探索產業發展新路徑、新舉措;三是促進融合智能發展,在製造業、交通、醫療教育等行業,成功部署一批智能化解決方案,有效促進產業轉型升級;四是培育領軍企業,在全國率先探索新興旗幟,圍繞人工智慧鞏固提升產業創新能力,競爭產生出一批優秀的技術產品。
一是堅持創新驅動,加快突破創新核心技術,加強人工智慧相關基礎理論、關鍵技術研究,積極探索新領域、新技術、新演算法,加強人工智慧新技術的研究,打造共性技術平台,促進創新成果的產業化。在人工智慧領域實現更多的技術創新突破,支持人工智慧產業行穩致遠;
二是把握我國經濟結構優化調整,以實體經濟、智能化需求為導向,深入挖掘製造、交通等領域,通過示範引領發揮並放大人工智慧技術的效應,形成技術和產業的良性循環;
三是堅持改革探索,打造良好的產業發展生態。人工智慧的迭代更新速度與傳統行業有質的區別,必須深入分析制約人工智慧發展的深層次制度要求,通過不斷深化改革,破除束縛人工智慧發展的體制機制障礙,在政策、機制、資金,模式創新積極探索實踐,打好組合拳;
四是堅持開放合作,集聚智慧。人工智慧發展要堅持更深程度、更廣范圍的合作,有效集聚全球創新資源,加強人工智慧相關基礎理論、關鍵技術研究,積極開展治理合作,與全球各國共同探索人工智慧治理和監管模式,持續提升有關演算法、規則、數據的使用,以及安全保障等治理能力。

熱點內容
副卡服務密碼是多少位 發布:2025-09-17 08:45:44 瀏覽:435
白條密碼是什麼情況 發布:2025-09-17 08:43:01 瀏覽:316
高中信息演算法與程序 發布:2025-09-17 08:41:34 瀏覽:23
伺服器禁止設置幾個ip 發布:2025-09-17 08:41:26 瀏覽:501
側限壓縮儀 發布:2025-09-17 08:41:24 瀏覽:171
php登陸系統 發布:2025-09-17 08:35:55 瀏覽:417
wincc全局腳本中加減運算 發布:2025-09-17 08:05:48 瀏覽:335
如何將離線緩存轉至qq文件視頻 發布:2025-09-17 07:55:45 瀏覽:302
石油石化存儲 發布:2025-09-17 07:50:38 瀏覽:483
java冪 發布:2025-09-17 07:50:38 瀏覽:259