什麼熵密碼

Ⅰ 什麼是熵編碼

中文名稱：熵編碼
英文名稱：entropy coding
定義：編碼過程中按熵原理不丟失任何信息的編碼。
數據壓縮技術的理論基礎就是資訊理論。資訊理論中的信源編碼理論解決的主要問題：（1）數據壓縮的理論極限（2）數據壓縮的基本途徑。根據資訊理論的原理，可以找到最佳數據壓縮編碼的方法，數據壓縮的理論極限是信息熵。如果要求編碼過程中不丟失信息量，即要求保存信息熵，這種信息保持編碼叫熵編碼，是根據消息出現概率的分布特性而進行的，是無損數據壓縮編碼。
在視頻編碼中，熵編碼把一系列用來表示視頻序列的元素符號轉變為一個用來傳輸或是存儲的壓縮碼流.輸入的符號可能包括量化的變換系數(像上面所說的運行級或零樹),運動向量(對於每個運動補償塊的向量值x和y),標記(在序列中用來表示重同步位的點),頭(宏塊頭,圖象頭,序列的頭等)以及附加信息(對於正確解碼來說不重要的信息).

Ⅱ 數學中「熵」的概念是怎麼定義的

博弈聖經著作人對納什的嘲諷

博弈聖經著作人的經典名句；0、1、二維平均，稱平衡，0、1、2、三維平均，稱均衡。

在0、1、二維記錄的系統中，0、1、這兩種輸贏粒子，必需構成博弈進程中的基本單元，馮·諾伊曼發現，有一個「極小極大定理」存在其中，（極小極大定理，就是要麼極端的輸、要麼極端的贏），從長遠來看，兩種粒子出現的一次平均、是一次平衡，多次平均、就是多次平衡，裡面並不存在兩種粒子扯平的趨勢。兩種粒子的未來、不受過去所發生的、任何粒子事件的影響。0、1、兩種粒子趨於平衡的預期，已經被極小極大定理徹底否決。

在0、1、二維粒子隨機走動的系統中，只存在平均、不存在平均律，也就是不存在三維均衡。博弈聖經著作人的經典名句；策略，就不存在0、1、二維系統中。納什均衡提出時，當場就遭到馮·諾依曼的貶低、嘲笑和斷然否定。

談到「納什均衡」，有位記者請納什用通俗的語言來解釋他的理論。納什說；「『納什均衡』並不高深，它就像中國人發明的一種、三個人玩的撲克游戲，「納什均衡」就是一個簡單的三人博弈游戲」。中國有那麼多人玩撲克，又玩了那麼多年，納什還提醒了中國人半個多世紀，納什均衡並不高深，中國人竟沒有一個人發現三個人玩的撲克游戲中、還有一個『均衡占優理論』。人們不禁要問；納什他自己玩過幾次三人撲克游戲？他和誰玩的？他是怎麼發現的均衡？均衡理論又是怎麼單方占優的？在他所有的文章中，為什麼沒有對中國的撲克游戲展開敘述。一副撲克三個人玩，一個人18張牌，在連續記錄的0、1、2、三維系統中，18張牌只能記錄成、18個紅藍小點而已，它是怎麼個均衡法呢？我打一個比喻，納什讓工人用磚給他鋪一個場地，他只給了18塊磚......這是不是太令人費解了。2017年，美國東部時間1月30日，CMU開發的機器程序與四名職業玩家、約戰匹茲堡大賭場，並在持續20天的比賽時間中，每天每人1500次押注，20天一人共押30000次，四人共玩了12萬次表示均衡方可分出輸贏。18個紅藍小點咋均衡呢？納什均衡是什麼呢？正常人不知道，只有神經病才知道。

他在60多年的時間里，沒有人見過他、用中國的撲克表演過什麼是、非合作納什均衡，什麼是納什均衡占優策略，他既沒有實際表演，也沒有給出明確的理論說明，這令關注納什占優策略的人，大為失望。

博弈聖經著作人的經典名句；科學家在納什均衡理論中、尚未發現博弈占優策略的任何跡象。

博弈聖經著作人的經典名句；策略，來自0、1、2、三維結構的自然屬性。人們對世界的看法分為粒子、私湍、實體，簡稱為「粒湍體」，它們屬於博弈文化，每人都擁有獨一無二的博弈文化主題。它們的標題名稱；「粒湍體博文代碼」。

例如；四兩撥千斤，主題；⑧1000-4668091=3047.6000，（+-×÷）的精確運算。

例如；四兩撥五百斤，主題；⑧500-4687910=1436.8000，（+-×÷）的精確運算。

例如；四兩撥五百斤，主題；⑦500-4577909=1347.9500，（+-×÷）的精確運算。

它們是博弈取勝、計算單方占優策略的標准模型。如果博弈取勝的計算方法，屬於「博文學家」的個人智能；假如他讓每一個人的手指上都充滿這種人工智慧，點擊計算機鍵盤，體驗神學、科學、博學，觀賞人與自然博弈的神通，就可以做到「一人、一指、一鍵，贏天下」。

在納什的語文學中，就沒有出現過一次0、1、2、三維均衡的概念，納什均衡哪裡來。

博弈聖經著作人的經典名句；納什均衡理論沒有任何明確的說法，納什均衡是美國偽造的產物，傳到了世界各地，當然也傳遍了中國。「納什均衡」的本質，是對中國人的智商，對發現、發明、創造精神的一種羞辱。

博弈聖經著作人的經典名句；二維平衡是指生物的競爭行為，三維均衡是指自然的優劣特性。

博弈聖經著作人的經典名句；揭開納什均衡的畫皮，露出真相。【如果納什均衡是以納什的名字、命名的一個博弈論術語；假如我把納什名字去掉、只剩下均衡一詞、均衡也就是純凈的博弈論術語；倘若所有博弈論的文章中、都把納什名字去掉只剩下均衡；再讀一篇篇博弈論文章、也都是圍繞著均衡一詞展開的敘述；發現通篇文章邏輯不通、詞意變異、不知所雲；只要是屬於納什均衡的理論文章、去掉納什名字之後、納什的鬼魅就出現了；通篇文章，捕風捉影、張冠李戴、以訛傳訛，添油加醋又像是瘋言瘋語，更不能被常人所理解。】

博弈聖經著作人的經典名句；納什-是納什，均衡-是均衡。納什均衡二者相提並論、就是；驢唇馬嘴。

博弈聖經著作人的經典名句；「納什均衡」 之所以鬼魅，納什自己不知道什麼是納什均衡，追隨他的門外漢，都假裝懂得納什均衡。「納什均衡」把所有的門徒變成了精神病、變成了不懂裝懂；任何人談到納什均衡，就像掉進了魔鬼坑，開口就是自問自答、自說自話、反復無常、自己感到莫名其妙時，還會自圓其說。博弈聖經著作人的經典名句；納什均衡是一份內容不明的謎語，它似乎和任何可理解的邏輯語言都對不上。博弈聖經著作人把「納什均衡」戲稱為「傻吊的博弈圖騰」。

博弈聖經著作人的經典名句；如果說納什均衡是一份學術遺產，那就是學術中、獨一份的滑稽遺產。納什均衡是什麼，納什自己不知道，中國的傻吊全都知道……。

博弈聖經著作人的經典名句；「納什均衡成了中國的一個宗教，追隨他的門徒；有無知的青年、有無畏的傻吊、還有無恥的教授。」

博弈聖經著作人的經典名句；中國的傻吊談博弈，必談納什均衡。

博弈聖經著作人的經典名句；中國人醒來吧，應該捫心自問；「納什均衡」既然像是中國人發明的三人撲克游戲，它的游戲規則是什麼？游戲理論又是什麼？中國人從三人撲克游戲中、也可以說從「納什均衡」中、到底學到了什麼？納什演示「納什均衡」用的數學符號，用的游戲規則、進行了毫無意義的重組。納什是被媒體炒作、捧殺、逼得騎虎難下，他在紙上寫寫畫畫、作出的符號游戲、是無可奈何時的一個姿態。按照博弈聖經著作人對虛擬經濟的解釋，虛擬經濟使用的是、單純一性的物品，（也許是因為諾貝爾經濟學獎錯發給了納什，他又不肯退回獎金的緣故。）納什均衡的行為姿態，不是演示博弈論術語，他演示的納什均衡、如同藝人玩猴。更為滑稽的是；納什讓人們明白了，滑稽的世界大師、滑稽的精美絕倫、滑稽的經典課程、滑稽的納什均衡，變成了滑稽的虛擬經濟。

博弈聖經著作人給虛擬經濟下了一個難以啟齒的定義；猶如看魔術大師讓一群狗爭奪一塊骨頭，讓眾人押注的賭博游戲。【通俗的解釋虛擬經濟是由單純一性的一個物品(字畫或古董)、單純一性的一個姿態（逞能擺架子，裝大官、充大款）、單純一性的一個玩物（藝人玩猴）、統稱為虛擬經濟。】納什單純一性的一個姿態（在紙上寫寫畫畫的那些數字元號），演示從沒人看懂過的納什均衡，如同藝人玩猴，它符合虛擬經濟的定義。

納什在20多歲時患上了，妄想型精神分裂症。在他想像的世界裡，全是魔鬼、武士和納粹，他覺得自己一直生活在別人的威脅下。他擔心自己，隨時會被其他人殺害，他對世界毀滅和自己的死亡有深深的恐懼。

一天早晨，納什拿著一份《紐約時報》走進辦公室，對著空氣說，報紙頭版左邊的文章里、包含著一條來自另一個星球的數字信息，只有他能破解。並且認為自己、是政府對抗蘇聯的間諜，他整天在數字中尋找拯救美國的密碼，他的幻覺也日益嚴重。

最終納什的家人和朋友、決定將他送進醫院治療，在醫院他認為醫生是蘇聯人、要追殺他。經醫生診斷，他得的「妄想型精神分裂症」也更加嚴重。一個被「妄想型精神分裂症」傷害的大腦、一個胡言亂語的精神病人、妄想出來的「納什均衡」博弈占優理論，你們認為可信嗎？

博弈聖經著作人的經典名句；【「納什均衡」一詞，像是宗教的「聖言」，追隨它的門徒，各自像精神病人一樣、在納什均衡中尋找理由，都想找到合理的理由解釋「納什均衡」，其結果把納什均衡變成了博弈宗教、納什變成了教主，門徒解釋納什均衡的瘋言瘋語，其實就是胡說八道。】

博弈聖經著作人的經典名句；如果中國的教授抄襲「納什均衡」作為標題，捕風捉影、以訛傳訛的炒作，是為了編書、售書、掙錢，假如讀者想通過「納什均衡」想占優、想贏錢，就應該先查查納什60年以來、講過一句「贏錢」嗎，他贏過一次嗎？因為沒有在賭場中驗證，他受到了愛因斯坦的冷遇。【納什既然是個數學家，他就應該把占優策略給出一個、數字量化的數學公式、或者是一個數學模板，讓所有的人都能成功模仿，也就是說，無論是傻吊或天才操作它，都是一樣的贏。】

科學的有效性，就應該像打電話一樣，只要給出一個電話號碼，無論是傻吊或天才有序的按下按鍵，都是一樣的打通電話。

科學的操作性，就應該像用計算器、加減乘除一樣，無論是傻吊或天才、無論時間或地點、只要計算同一道題，有序的按下按鍵，都會得出一模一樣的計算結果。

博弈聖經著作人的經典名句；科學家的博弈功能，是讓其傻吊與天才同等水平。人們等到納什車禍身亡、也沒有人等到納什的「非合作博弈占優策略」，歷史證明他就沒有、所謂的占優策略。

博弈聖經著作人的經典名句；

——策略，是一個0、1、2、三維的文化私湍；

——策略，是在個體性質、私湍結構、實體特性的，三個分形中蠕動；

——策略，是博弈哲學、對粒子行為論的三維思考；

——策略，是私湍邊際效應的運算、也是私湍邊際常數1.007813短暫的顯現；

——策略，是私湍邊際常數、在飛秒瞬間擱淺凝固時，也就是占優策略（一個小目標）的終結。

美國學術傳媒瘋狂炒作，把納什說成天才，吹捧了半個多世紀的納什均衡，什麼子博弈精煉納什均衡，什麼子博弈完美納什均衡，什麼非合作博弈策略、什麼博弈佔有策略，全世界經過半個多世紀的尋找、驗證、竟然沒有一個人找到贏的策略。「納什均衡」它會是什麼？它像UFO一樣詭異、令人百思不解。「納什均衡」的鬼魅讓人想入非非，層出不窮的解釋讓人匪夷所思。納什均衡荒唐的理論屬性、確定了它是學術界丑聞的特徵。納什天才的「納什均衡」，一定會淪為世界的一大笑柄。

1958年，從《財富》雜志、對納什的炒作，把納什評為新一代天才數學家中、最出色的人物之後，納什就迅速贏得了榮耀。他到處講學、演說，與各國大牌數學家會面，事業如日中天。

博弈聖經著作人的經典名句；電影《美麗心靈》用構思、杜撰的藝術形式、編造了納什戲劇性的一生，「納什均衡」像西方宗教的「經文」一樣，演變成了博弈宗教傳奇。諾貝爾經濟學獎意外地、砸到納什頭上的那種巧合，給了納什幸運的一生、羞羞答答的一生、不願見人的一生、學術欺騙的一生、也是他難堪的一生。

博弈聖經著作人的經典名句；納什均衡是半個世紀前，一個「驢唇不對馬嘴」的概念，納什之所以一直沉默，是因為他沒法說，他不敢說，他到死都不會說。【來源:美國資訊網；麻省理工福布斯納什-著名大學名人-正文-時間:2013-12-02，從博弈聖經著作人對納什的嘲諷，到納什2015年5月23號出車禍死亡，中間有一年半時間他沒有作出回應。】

博弈聖經著作人的經典名句；納什均衡，是黑暗中的教唆、無知中的誤判、獵奇中的雜耍。

博弈聖經著作人的經典名句；幾個（因為博弈論）獲得諾貝爾經濟學獎的得主、管理股票的炒股公司，因虧空、也關門大吉了。

瑞典皇家科學院、諾貝爾經濟學獎委員會委員，斯塔爾說；納什均衡是一個博弈取勝的幻想，他自己也不知道怎麼均衡、不知道怎麼單方占優、不知道怎麼取勝。因此，納什在世期間不會向世人做出博弈如何取勝的解釋，所以他一直保持沉默。斯塔爾還說；我們今天，既然把納什均衡帶到公眾面前，可以斷定，未來一定會出現博弈的取勝理論，大家擔心納什均衡可能一敗塗地，若干年後將變成一大丑聞。

來源:美國資訊網；麻省理工福布斯納什-著名大學名人-正文-時間:2013-12-02

博弈聖經著作人對納什的嘲諷

......。

納什均衡 捕風捉影 以訛傳訛 是什麼玩意兒

博弈聖經著作人笑談博弈論，人們在尋找一粒爆香的黃豆時，還不如老鼠能選擇最近的路程。

《博弈聖經》中《人類未知的藍色檔案》一文給出了博弈論的定義：「我們把動物利用大自然移動的癮魂，在決策人期待的空間里，形成三維均衡的語文學理論，稱為博弈論。」

博弈聖經著作人說；博弈論是青年人的毒品，是無知者的興奮劑，是沉默者的搖頭丸。

博弈聖經著作人對博弈、宗教、偉人，有過美妙的闡述

博弈聖經著作人說；博弈，是人與宇宙的宗教。博弈的使命是探索自然界里和思維世界裡，所顯示出來的崇高、庄嚴、不可思議的秩序。人們對宇宙，實體、知識、未知的神秘，以及對個體，性質、經驗、已知的恐懼——產生了宗教。人們認識到，有些為我們所不能洞察的東西存在其中，感覺到有一種最原始的形式、最深奧的理性、最燦爛的壯美、所產生的博弈情感，構成了真正的宗教感情。沒有宗教、沒有信仰、沒有博弈感情，就不會出現時代偉人。

博弈論就是 張冠李戴 捕風捉影 以訛傳訛

【典故】諷刺博弈論的最高博弈水平；

有人問博弈聖經著作人，什麼是博弈論。

他回答說；博弈論就是，一問、二答、三無知。

也就是說；問者無知、回答者無知、聽者更無知。

有人追問，到目前為止，那麼多博弈論圖書，那麼多作者，他們的最高博弈水平是什麼？博弈聖經著作人一聽就笑了；目前他們的最高博弈水平，就是想賣給你一本書，就想贏你一本書錢。

博弈聖經著作人通俗的談菜鳥與金鳥

一個人想變得偉大，從一個菜鳥變成一個金鳥，就要利用國家實體特性造個金鳥籠。日後，就可以在媒體的報道中、繪聲繪色地描述那個金鳥籠；他是某某大學院校、某某著名教授、某某首席科學家、某某諾貝爾獎得主、甚至某某政府官員，他就自然的鑽進了金鳥籠。

博弈論理論，是停滯不前的理論，它是太過於急躁、太過於草率的理論。由於博弈論新奇、古怪、原始，一個「囚徒困境」的三維謎團像似神話，人們又錯誤的認為博弈論能夠取勝，因此受到了人們盲目的吹捧和瘋狂的參與。人們把博弈取勝的慾望作為動力，博弈競爭的慾望在遠古就出現了，一個人有了慾望，就要有實現慾望的對象和博弈對局的背景，加上自己行為的結果，才能取得想要的東西。慾望的天性就是進行交往，建立行為二特性對局，就是博弈的合作。

《博弈聖經》贏的定義；贏不是大小、不是多少、不是均衡平衡、不是戰略戰術，而是在未來國正論的0、1、2，三維隨機狀態中，一粒期望的粒子（常數0.007813，也是私湍邊際效應的一個小目標）優先達成。

贏也不是福，輸也不是罪，輸贏與均衡屬於第三空地論的內容。

但明眼的人都能看得出，所謂那些自稱的博弈專家抄來的無效理論、編成的一本本博弈論，就是張冠李戴、捕風捉影、以訛傳訛，不管他從外國哪個地方抄來的，不管他抄了多少、編了多少本書、多少篇文章，究其低劣的學術品質，他仍然是一個菜鳥。

假如博弈論大師，走出那個金鳥籠，再靠講課賺大錢，靠賣書賺小錢，靠博弈取勝策略賺不到一毛錢，他就是騙子，也許是一個罪犯。

更為諷刺的是，一本本博弈論著作，古老的內容千篇一律，裡面沒有幾句精彩的話，沒有幾個經典的詞，更沒有定理、定律、定義和法則。至今一個個博弈論專家、矛盾論專家、概率論專家和外行知道得一樣多。

以往經濟學家為了降低風險，建議投資多元化，「不要把雞蛋放在一個籃子里」，這種分散投資的經濟思想，實在是經濟學家對博弈取勝的無奈。《博弈聖經》在453節有一段風趣的表述：「我們根本不能完全理解大自然，或許人們不如老鼠在尋找食物時能選擇最近的路程，那是大自然的拓撲幾何圖像的捷徑。」

看看權威媒體上發表的理論文章，標題或者落款，都是什麼什麼單位（一個金鳥籠）、某某某人的大名（一個金鳥），即使有一個金鳥籠做背書、做包裝，再看他那排列整齊錯落有致的垃圾文章，如果只看外觀不讀內容，真像是一篇好文章出籠了，假如讀者直接讀內容，就會得出結論；理論文章就是破碎的八卦，假如他再發一篇文章，又是卜上一卦？文章的內容就是拼湊的垃圾、金鳥籠就是忽悠人、金鳥其實就是一個菜鳥。中國新領導人形容過「籠子政治」的概念，因此中國就是一個籠子政治，金鳥籠里豢養了很多菜鳥，（政治菜鳥、經濟菜鳥、學術菜鳥、司法菜鳥、還有博弈論菜鳥等）。他們的罪惡，給中國百姓製造了無數的冤假錯案和人間悲劇。（受害者等待機會，等新領導人依法治國的社會穩定了、等忠誠合格的人到位了、等到司法環境改善了，就開始用罪惡者的犯罪事實、向最高司法機關舉報他，國家只要用法律的尺度、度量他，他一定是個罪犯。）

中國百姓很善良，面對、遍地強盜；面對、遍地流氓；面對、中共暴力機器；面對、公檢法菜鳥的黑惡勢力；面對、學術痞子的打壓；都先忍耐著，別上訪告狀、上訪就會傾家盪產。期盼著中國特色社會主義之後、中國實體社會的黎明……。博弈聖經著作人的經典名句；中國實體社會主義的民主與自由——民主是罪惡者的墳墓、自由是中國夢的故鄉。

新領導人面臨著，歷代罪惡造成的、各種人間悲劇；中國特色社會主義製造的、冤民遍地；冤民到聯合國上訪、演繹了中國特色社會主義的國際景觀；至今還遺留幾個、無人觸碰的雷區；新領導人開始了真正的國家思考，開始了全面依法治國的「謹慎變革」。所以新領導人說；把權力關進籠子里，就是先把菜鳥的權力關進籠子里……。

……。

......。

Ⅲ 熵能結晶的密碼

5281403567

Ⅳ 深度學習中的熵模型到底是啥

熵(Entropy)最初是來自熱力學的一個概念，注意火字旁。本文談論的熵是指信息熵，是香農(Claude Shannon)[1]借鑒熱力學熵的公式定義的對信息的度量。組成客觀世界的三大基本要素：物質、能量、信息。Without materials nothing exists. Without energy nothing happens. Without information nothing makes sense. 通信系統中有三項性能指標：傳輸的有效性、傳輸的可靠性、傳輸的安全性。前兩項屬於資訊理論的范疇，香農是資訊理論的創始人；第三項屬於密碼學范疇，香農讓密碼學成為一門科學。題圖[2]是香農的頭像，頂禮膜拜。

信息熵[3]
事件集合 \[{X}\] 中的事件 \[{x=a\mathop{{}}\nolimits_{{i}}}\] 的自信息定義為： \[{I\mathop{{}}\nolimits_{{X}}{ \left( {a\mathop{{}}\nolimits_{{i}}} \right) }=-logP\mathop{{}}\nolimits_{{X}}{ \left( {a\mathop{{}}\nolimits_{{i}}} \right) }}\] ，簡記為： \[{I{ \left( {x} \right) }=-logp{ \left( {x} \right) }}\] 。要求： \[{a\mathop{{}}\nolimits_{{i}} \in A,{\mathop{ \sum }\limits_{{i=1}}^{{n}}{P\mathop{{}}\nolimits_{{X}}{ \left( {a\mathop{{}}\nolimits_{{i}}} \right) }=1,0 \le P\mathop{{}}\nolimits_{{X}}{ \left( {a\mathop{{}}\nolimits_{{i}}} \right) } \le 1}}}\] ,即 \[{0 \le p{ \left( {x} \right) } \le 1}\] ；對數的底大於1，工程上常以2為底，自信息的單位則為bit。

自信息有兩個方面的含義：

事件發生前，表示事件發生的不確定性。概率小的事件不易發生，其不確定性較大。
事件發生後，表示事件所包含的信息量。概率小的事件不僅難於預測，而且發生後所提供的信息量也大。
離散隨機變數\[{X}\] 的熵定義為自信息的期望，是對其概率分布的度量，記為 \[{H{ \left( {X} \right) }}\]

\[{H{ \left( {X} \right) }=\mathop{{E}}\limits_{{p{ \left( {x} \right) }}}{ \left[ {I{ \left( {x} \right) }} \right] }=-{\mathop{ \sum }\limits_{{x}}{p{ \left( {x} \right) }logp{ \left( {x} \right) }}}}\]

當熵為0時， \[{p{ \left( {x} \right) }}\] 必然為0，表示不確定性為0，或提供的信息量為0。比如，我們可以說中國男足奪得世界盃冠軍的熵為0。

信息散度(相對熵)
交叉熵

Ⅳ encoding是什麼意思

encoding 報錯
英 [ɪn'kəʊdɪŋ] 美 [ɪn'kodɪŋ] 跟讀 口語練習

n. [計] 編碼
v. [計] 編碼（encode的ing形式）
網路釋義 專業釋義 英英釋義
編碼
消息編碼
字集碼
字元編碼
短語
character encoding 字元編碼 ; 字元編碼 ; 特徵編碼 ; 字元碼
delta encoding 差分編碼 ; 增量編碼
entropy encoding 熵編碼法 ; 熵編碼 ; 一致性編碼法
更多網路短語
柯林斯英漢雙解大詞典 21世紀大英漢詞典
encode /ɪnˈkəʊd/ (encoding,encoded,encodes)
1.V-T If you encode a message or some information, you put it into a code or express it in a different form or system of language. 將…寫為密碼
例：
The two parties encode confidential data in a form that is not directly readable by the other party.
雙方把機密數據寫成一種不能被對方直接讀懂的密碼。

Ⅵ 如何計算密碼所攜帶的信息熵

可加性與強可加性（涉及到了兩個變數！）H（XY）為兩個隨機變數的聯合熵。可加性：H（XY）等於 X的無條件熵，加上已知 X 時 Y的條件概率的熵的平均值，即條件熵。對於 X 與 Y 獨立的情況有：（強可加性）資訊理論基礎2011年3月教材和參考書傅祖芸編著《資訊理論－基礎理論與應用》，電子工業出版社，2006第二版. 孟慶生《資訊理論》，西安交通大學，1986。（數學家寫的研究生教材，含編碼和密碼）朱雪龍《應用資訊理論基礎》，清華大學出版社,2000。（研究生教材，面向電子類，含編碼方法。王育民、梁傳甲《信息與編碼理論》，西電教材。 （內容深入，推導過程少）沈連豐、葉芝惠編著《資訊理論與編碼》東南大學碩士教材，科學出版社，2004，（面向通信專業）。周蔭清主編《信息理論基礎》北航出版社，2006（簡潔，面向電子類）T. M. Cover & J. A. Thomas , Elements of Information Theory ，Addison-Wesley Pub, 1990, 清華影印。R. J. McEliece《The Theory of Information and Coding》第二版，電子工業出版社，2003。（內容簡練，編碼方面較全） * J.H.Van Lint 《Introction to coding theory》 GTM 86, Springer-Verlag, 1998. * Roman 《Coding and information theory》, GTM 134，新的教材：在廣義資訊理論、網路資訊理論方面的內容有所增加。第一講 1-1 資訊理論的主要內容 1-2 信息的度量－信息熵 1-3 信息熵的性質 信息熵 1－1. 資訊理論的主要內容 香農資訊理論最初是為了解決通信問題而提出的。通信的重要意義是勿庸置疑的。類傳遞思想、表達情感，就需要相互交流。人類的勞動、生產、政治、文化、日常生活等都離不開通信。人類利用眼、耳、鼻、舌、身等五種感覺器官來感受外界的信息，形成一個信息流通的體系。通信方式的不斷提高，代表了人類文明和科技水平的不斷提高。通信的根本任務：將一地點的消息可靠地、有效地傳送到另一地點。信源干擾源信道信宿通信系統的基本模型：為了使消息可靠地、有效地傳送到信宿，就需要對信源的消息進行處理；信源編碼：實現有效性；信道編碼：實現可靠性；密碼：實現保密性及認證性；有沒有可靠的、有效的處理方法？如何進行編碼？香農資訊理論奠定了通信的理論基礎。信息是消息的不確定性度量。某消息出現的概率大，它的信息量就小，相反某消息出現的概率小，則它的信息量就大。通信的關鍵是信息的傳輸問題。 信源，信源，編碼信宿，信道，信道編碼，信道解碼，信源解碼加密鑰，加密解密鑰，解密 干擾源提出的背景：在香農資訊理論出現以前，沒有系統的通信理論。是香農，開創了資訊理論的研究，奠定了一般性通信 理論的基礎。對數字通信技術的形成有很大貢獻。（不論什麼樣的干擾信道，抓住了本質問題Shannon, 1916－2001)「A Mathematical Theory of Communication 」「 Communication Theory of Secrecy System 」 About Claude Elwood Shannon: 1916年生於 Gaylord, MI 的一個小鎮。母親是一個語言教師和中學校長，父親是一個商人。 16歲高中畢業，進入密西根大學。1936年獲得電子工程和數學雙學士學位。隨後進入 MIT，作為研究生和研究人員。

Ⅶ 密碼學中香農理論熵H(X/Y)怎樣理解

H(X|Y)表示條件自信息量I(X|Y)的概率加權平均，也就是說隨機變數X在隨機變數Y的條件下的條件熵

Ⅷ 密碼分為哪三種

密碼大體上分為三類，涉及的知識點主要是資訊理論和數論

第一類：公開密鑰演算法：RSA

第二類：對稱演算法：AES，DES。Hitag2

第三類：單項序列演算法：MD5

而對稱演算法又可以分為分組加密和序列加密兩種

分組加密：AES，DES

序列加密：Hitag2，Keeloq

序列加密通常是硬體實現，因為每次加密1bit，對於硬體來說用移位寄存器來實現是很容易的，但對於最小存儲單位是1Byte（8bit）的上位機來說，頻繁的位操作並不方便。

加密演算法的理論基礎基本上來自於數論，數論主要是討論整形，基本上就是關於素數的研究，RSA的加密難度依據就是，兩個大素數的因式分解，但目前無法證明是否有方法能快速的因式分解兩個超大素數，所以也無法證明此演算法絕對安全，但同理無法證明它不安全。目前2048位的RSA公認是安全的。

資訊理論在本質上基本和密碼學等價，信息熵也影響一組加密數據其安全性，和其被攻破的難度。所以如何降低冗餘，隱藏明文也是密碼學必須考慮的問題。

Ⅸ 關於密碼學的問題

混沌流密碼研究
胡漢平1 董占球2
（華中科技大學圖像識別與人工智慧研究所/圖像信息處理與智能控制教育部重點實驗室
中國科學院研究生院，）

摘要：在數字化混沌系統和基於混沌同步的保密通信系統的研究中存在一些亟待解決的重要問題：數字化混沌的特性退化，混沌時間序列分析對混沌系統安全性的威脅等，已嚴重影響著混沌流密碼系統的實用化進程。為此，提出了通過變換的誤差補償方法克服數字混沌的特性退化問題；構建混沌編碼模型完成對混沌序列的編碼、采樣，由此得到滿足均勻、獨立分布的驅動序列；引入非線性變換，以抵抗對混沌流密碼系統安全性的威脅。

關鍵詞：混沌流密碼系統；特性退化；非線性變換；混沌時間序列分析

1. 引言
隨著以計算機技術和網路通信技術為代表的信息技術的不斷發展和迅速普及，通信保密問題日益突出。信息安全問題已經成為阻礙經濟持續穩定發展和威脅國家安全的一個重要問題。眾所周知，密碼是信息安全的核心，設計具有自主知識產權的新型高性能的密碼體制是目前最亟待解決的重要問題。
混沌是確定性系統中的一種貌似隨機的運動。混沌系統都具有如下基本特性：確定性、有界性、對初始條件的敏感性、拓撲傳遞性和混合性、寬頻性、快速衰減的自相關性、長期不可預測性和偽隨機性[1]，正是因為混沌系統所具有的這些基本特性恰好能夠滿足保密通信及密碼學的基本要求：混沌動力學方程的確定性保證了通信雙方在收發過程或加解密過程中的可靠性；混沌軌道的發散特性及對初始條件的敏感性正好滿足Shannon提出的密碼系統設計的第一個基本原則――擴散原則；混沌吸引子的拓撲傳遞性與混合性，以及對系統參數的敏感性正好滿足Shannon提出的密碼系統設計的第二個基本原則――混淆原則；混沌輸出信號的寬頻功率譜和快速衰減的自相關特性是對抗頻譜分析和相關分析的有利保障，而混沌行為的長期不可預測性是混沌保密通信安全性的根本保障等。因此，自1989年R.Mathews, D.Wheeler, L.M.Pecora和Carroll等人首次把混沌理論使用到序列密碼及保密通信理論以來，數字化混沌密碼系統和基於混沌同步的保密通信系統的研究已引起了相關學者的高度關注[2]。雖然這些年的研究取得了許多可喜的進展，但仍存在一些重要的基本問題尚待解決。

1.1 數字混沌的特性退化問題
在數字化的混沌密碼系統的研究方向上，國內外學者已經提出了一些比較好的數字混沌密碼系統及其相應的密碼分析方法：文獻[3]提出基於帳篷映射的加解密演算法；文獻[4]1998年Fridrich通過定義一種改進的二維螺旋或方形混沌映射來構造一種新的密碼演算法；文獻[5,6]提出把混沌吸引域劃分為不同的子域，每一子域與明文一一對應，把混沌軌道進入明文所對應的混沌吸引域子域的迭代次數作為其密文；在文獻[7]中，作者把一個位元組的不同比特與不同的混沌吸引子聯系起來實現加/解密；文獻[8]較為詳細地討論了通過混沌構造S盒來設計分組密碼演算法的方法；文獻[9,10]給出了混沌偽隨機數產生的產生方法；英國的SafeChaos公司將混沌用於公鑰密碼體制，推出了CHAOS+Public Key (v4.23)系統[11]；等等。但是，這些數字混沌系統一般都是在計算機或其它有限精度的器件上實現的，由此可以將混沌序列生成器歸結為有限自動機來描述，在這種條件下所生成的混沌序列會出現特性退化：短周期、強相關以及小線性復雜度等[12-15]，即數字混沌系統與理想的實值混沌系統在動力學特性上存在相當大的差異。它所帶來的混沌密碼系統安全的不穩定性是困擾混沌密碼系統進入實用的重要原因[16]。盡管有人指出增加精度可以減小這一問題所造成的後果，但其代價顯然是非常大的。

1.2 對混沌流密碼系統的相空間重構分析
目前，對混沌保密通信系統的分析工作才剛剛起步，主要方法有：統計分析（如周期及概率分布分析和相關分析等）、頻譜分析（包括傅立葉變換和小波變換等）和混沌時間序列分析[17]。前兩者都是傳統的信號分析手段，在此就不再贅述，而混沌時間序列是近20年來發展的一門紮根於非線性動力學和數值計算的新興學科方向。
從時間序列出發研究混沌系統，始於Packard等人於1980年提出的相空間重構（Phase Space Reconstruction）理論。眾所周知，對於決定混沌系統長期演化的任一變數的時間演化，均包含了混沌系統所有變數長期演化的信息（亦稱為全息性），這是由混沌系統的非線性特點決定的，這也是混沌系統難以分解和分析的主要原因。因此，理論上可以通過決定混沌系統長期演化的任一單變數的時間序列來研究混沌系統的動力學行為，這就是混沌時間序列分析的基本思想。
混沌時間序列分析的目的是通過對混沌系統產生的時間序列進行相空間重構分析，利用數值計算估計出混沌系統的宏觀特徵量，從而為進一步的非線性預測[18]（包括基於神經網路或模糊理論的預測模型）提供模型參數，這基本上也就是目前對混沌保密通信系統進行分析或評價的主要思路。描述混沌吸引子的宏觀特徵量主要有：Lyapunov指數（系統的特徵指數）、Kolmogorov熵（動力系統的混沌水平）和關聯維（系統復雜度的估計）等[17]。而這些混沌特徵量的估計和Poincare截面法都是以相空間重構以及F.Takens的嵌入定理為基礎的，由此可見相空間重構理論在混沌時間序列分析中的重大意義。

1.3 對混沌流密碼系統的符號動力學分析
我們在以往的實驗分析工作中都是針對混沌密碼系統的統計學特性進行研究的，如周期性、平衡性、線性相關性、線性復雜度、混淆和擴散特性等，即使涉及到非線性也是從混沌時間序列分析（如相圖分析或分數維估計等）的角度出發進行研究的。然而，符號動力學分析表明，混沌密碼系統的非線性動力學分析同樣非常主要，基於實用符號動力學的分析可能會很快暴露出混沌編碼模型的動力學特性。基於Gray碼序數和單峰映射的符號動力學之間的關系，文獻[20]提出了一種不依賴單峰映射的初始條件而直接從單峰映射產生的二值符號序列來進行參數估計的方法。分析結果表明，基於一般混沌編碼模型的密碼系統並不如人們想像的那麼安全，通過對其產生的一段符號序列進行分析，甚至能以較高的精度很快的估計出其根密鑰（系統參數或初始條件）。
上述結論雖然是針對以單峰映射為主的混沌編碼模型進行的分析，但是，混沌流密碼方案的安全性不應該取決於其中採用的混沌系統，而應該取決於方案本身，而且單峰映射的低計算復雜度對於實際應用仍是非常有吸引力的。因此，我們認為，如果希望利用混沌編碼模型來設計更為安全的密碼系統，必須在混沌編碼模型產生的符號序列作為偽隨機序列輸出（如用作密鑰流或擴頻碼）之前引入某種擾亂策略，這種擾亂策略實質上相當於密碼系統中的非線性變換。
該非線性變換不應影響混沌系統本身的特性，因為向混沌系統的內部注入擾動會將原自治混沌系統變為了非自治混沌系統，但當自治混沌系統變為非自治混沌系統之後，這些良好特性可能會隨之發生較大的變化，且不為設計者所控制。這樣有可能引入原本沒有的安全隱患，甚至會為分析者大開方便之門。
上述非線性變換還應該能被混沌編碼模型產生的符號序列所改變。否則，分析者很容易通過輸出的偽隨機序列恢復出原符號序列，並利用符號動力學分析方法估計出混沌編碼模型的系統參數和初始條件。因此，非線性變換的構造就成了設計高安全性數字混沌密碼系統的關鍵之一。

2. 混沌流密碼系統的總體方案
為克服上述問題，我們提出了如下的混沌流密碼系統的總體方案，如圖1所示：

在該方案中，首先利用一個混沌映射f產生混沌序列xi，再通過編碼C產生符號序列ai，將所得符號序列作為驅動序列ai通過一個動態變化的置換Bi以得到密鑰流ki，然後據此對置換進行動態變換T。最後，將密鑰流（即密鑰序列）與明文信息流異或即可產生相應的密文輸出（即輸出部分）。圖1中的初始化過程包括對混沌系統的初始條件、迭代次數，用於組合編碼的順序表以及非線性變換進行初始化，初始化過程實質上是對工作密鑰的輸入。
在圖1所示的混沌編碼模型中，我們對實數模式下的混沌系統的輸出進行了編碼、采樣。以Logistic為例，首先，以有限群論為基本原理對驅動序列進行非線性變換，然後，根據有限群上的隨機行走理論，使非線性變換被混沌編碼模型產生的驅動序列所改變。可以從理論上證明，我們對非線性變換採用的變換操作是對稱群的一個生成系，所以，這里所使用的非線性變換的狀態空間足夠大（一共有256！種）。

3. 克服數字混沌特性退化的方法
增加精度可以在某些方面減小有限精度所造成的影響，但效果與其實現的代價相比顯然是不適宜的。為此，周紅等人在文獻[22]中提出將m序列的輸出值作為擾動加到數字混沌映射系統中，用於擴展數字混沌序列的周期；王宏霞等人在文獻[23]中提出用LFSR的輸出值控制數字混沌序列輸出，從而改善混沌序列的性質；李匯州等人在文獻[24]中提出用雙解析度的方法解決離散混沌映射系統的滿映射問題。上述方法又帶來新的問題：使用m序列和LFSR方法，混沌序列的性質由外加的m序列的性質決定；使用雙解析度時，由於輸入的解析度高於輸出的解析度，其效果與實現的代價相比仍然沒有得到明顯的改善。
為此，我們提出了一種基於Lyapunov數的變參數補償方法。由於Lyapunov數是混沌映射在迭代點處斜率絕對值的幾何平均值，所以，可以將它與中值定理結合對數字混沌進行補償。以一維混沌映射為例，該補償方法的迭代式為：
（1）
式中， 為Lyapunov數，ki是可變參數。
參數ki的選擇需要滿足下面幾個條件：
（1）ki的選取應使混沌的迭代在有限精度下達到滿映射；
（2）ki的選取應使混沌序列的分布近似地等於實值混沌的分布；
（3）ki的選取應使混沌序列的周期盡可能的長。
根據上述幾個條件，我們已經選取了合適的80個參數，並且以Logistic為例對該變參數補償方法輸出的混沌序列進行了分析。在精度為32位的條件下，我們計算了混沌序列的周期，其結果如下：

除周期外，我們還對復雜度、相關性和序列分布進行了檢測。從結果可知，該變參數補償方法，使得在不降低混沌的復雜度基礎上，增長其周期，減弱相關性，使其逼近實值混沌系統。該方法不僅非常明顯地減小了有限精度所造成的影響，使數字混沌序列的密度分布逼近實值混沌序列的理論密度分布，改善數字混沌偽隨機序列的密碼學性質，而且極大地降低實現其方法的代價。

4. 非線性變換
為克服符號動力學分析對混沌密碼系統的威脅，我們根據有限群上的隨機行走理論提出了一種非線性變換方法，並對引入了非線性變換的混沌密碼系統進行了符號動力學分析，分析結果表明，引入了非線性變換的模型相對一般混沌編碼模型而言，在符號動力學分析下具有較高的安全性。以二區間劃分的模型為例，我們選用Logistic映射作為圖1中的混沌映射f，並根據符號動力學分析中的Gray碼序數[20,21]定義二進制碼序數，見2式。
（2）
二值符號序列S的二進制碼序數W(S)∈(0, 1)。注意，這里的Wr(xi)並不是單值的，因為同樣的狀態xi可能對應不同的置換Bi。

圖2 在2區間劃分下產生的二值符號序列的Wr(xi)分析

圖2中的Wr(xi)為參數r控制下從當前狀態xi出發產生的二值符號序列的二進制碼序數。圖2（a）是未進行非線性變換時的情形，可以看出，其它三種進行非線性變換時的情形都較圖2（a）中的分形結構更為復雜。由此可見，引入了非線性變換的混沌模型相對一般混沌編碼模型而言，在符號動力學分析下具有較高的安全性。

5. 混沌流密碼系統的理論分析和數值分析結果
5.1 理論分析結果
密鑰流的性質直接關繫到整個流密碼系統的安全性，是一個極為重要的指標。我們對密鑰流的均勻、獨立分布性質和密鑰流的周期性質給出了證明，其結果如下：
（1）密鑰留在0,1,…,255上均勻分布。
（2）密鑰流各元素之間相互獨立。
（3）密鑰流出現周期的概率趨向於零。
（4）有關密鑰流性質的證明過程並不涉及改變非線性變換的具體操作，也不涉及具體的驅動序列產生演算法，僅僅要求驅動序列服從獨立、均勻分布，並且驅動序列和非線性變換之間滿足一定的條件，這為該密碼系統，特別是系統驅動部分的設計和改進留下餘地。
總之，該密碼系統可擴展，可改進，性能良好且穩定。

5.2 數值分析結果
目前，基本密碼分析原理有：代替和線性逼近、分別征服攻擊、統計分析等，為了阻止基於這些基本原理的密碼分析，人們對密碼流生成器提出了下列設計准則：周期准則、線性復雜度准則、統計准則、混淆准則、擴散准則和函數非線性准則。
我們主要根據以上准則，對本密碼系統的密鑰流性質進行保密性分析，以證明其安全性。分析表明：混沌流密碼系統符合所有的安全性設計准則，產生的密鑰序列具有串分布均勻、隨機統計特性良好、相鄰密鑰相關性小、周期長、線性復雜度高、混淆擴散性好、相空間無結構出現等特點；該密碼系統的工作密鑰空間巨大，足以抵抗窮舉密鑰攻擊。並且，由於我們採用了非線性變換，所以該密碼系統可以抵抗符號動力學分析。

6. 應用情況簡介
該混沌流密碼系統既有效的降低了計算復雜度，又極大的提高了密碼的安全強度，從而為混沌密碼學及其實現技術的研究提供了一條新的途徑。該系統已於2002年10月30日獲得一項發明專利：「一種用於信息安全的加解密系統」（00131287.1），並於2005年4月獲得國家密碼管理局的批准，命名為「SSF46」演算法，現已納入國家商用密碼管理。該演算法保密性強，加解密速度快，適合於流媒體加密，可在銀行、證券、網路通信、電信、移動通信等需要保密的領域和行業得到推廣。該加密演算法被應用在基於手機令牌的身份認證系統中，並且我們正在與華為公司合作將加密演算法應用於3G的安全通信之中。