什么熵密码

Ⅰ 什么是熵编码

中文名称：熵编码
英文名称：entropy coding
定义：编码过程中按熵原理不丢失任何信息的编码。
数据压缩技术的理论基础就是信息论。信息论中的信源编码理论解决的主要问题：（1）数据压缩的理论极限（2）数据压缩的基本途径。根据信息论的原理，可以找到最佳数据压缩编码的方法，数据压缩的理论极限是信息熵。如果要求编码过程中不丢失信息量，即要求保存信息熵，这种信息保持编码叫熵编码，是根据消息出现概率的分布特性而进行的，是无损数据压缩编码。
在视频编码中，熵编码把一系列用来表示视频序列的元素符号转变为一个用来传输或是存储的压缩码流.输入的符号可能包括量化的变换系数(像上面所说的运行级或零树),运动向量(对于每个运动补偿块的向量值x和y),标记(在序列中用来表示重同步位的点),头(宏块头,图象头,序列的头等)以及附加信息(对于正确解码来说不重要的信息).

Ⅱ 数学中“熵”的概念是怎么定义的

博弈圣经着作人对纳什的嘲讽

博弈圣经着作人的经典名句；0、1、二维平均，称平衡，0、1、2、三维平均，称均衡。

在0、1、二维记录的系统中，0、1、这两种输赢粒子，必需构成博弈进程中的基本单元，冯·诺伊曼发现，有一个“极小极大定理”存在其中，（极小极大定理，就是要么极端的输、要么极端的赢），从长远来看，两种粒子出现的一次平均、是一次平衡，多次平均、就是多次平衡，里面并不存在两种粒子扯平的趋势。两种粒子的未来、不受过去所发生的、任何粒子事件的影响。0、1、两种粒子趋于平衡的预期，已经被极小极大定理彻底否决。

在0、1、二维粒子随机走动的系统中，只存在平均、不存在平均律，也就是不存在三维均衡。博弈圣经着作人的经典名句；策略，就不存在0、1、二维系统中。纳什均衡提出时，当场就遭到冯·诺依曼的贬低、嘲笑和断然否定。

谈到“纳什均衡”，有位记者请纳什用通俗的语言来解释他的理论。纳什说；“‘纳什均衡’并不高深，它就像中国人发明的一种、三个人玩的扑克游戏，“纳什均衡”就是一个简单的三人博弈游戏”。中国有那么多人玩扑克，又玩了那么多年，纳什还提醒了中国人半个多世纪，纳什均衡并不高深，中国人竟没有一个人发现三个人玩的扑克游戏中、还有一个‘均衡占优理论’。人们不禁要问；纳什他自己玩过几次三人扑克游戏？他和谁玩的？他是怎么发现的均衡？均衡理论又是怎么单方占优的？在他所有的文章中，为什么没有对中国的扑克游戏展开叙述。一副扑克三个人玩，一个人18张牌，在连续记录的0、1、2、三维系统中，18张牌只能记录成、18个红蓝小点而已，它是怎么个均衡法呢？我打一个比喻，纳什让工人用砖给他铺一个场地，他只给了18块砖......这是不是太令人费解了。2017年，美国东部时间1月30日，CMU开发的机器程序与四名职业玩家、约战匹兹堡大赌场，并在持续20天的比赛时间中，每天每人1500次押注，20天一人共押30000次，四人共玩了12万次表示均衡方可分出输赢。18个红蓝小点咋均衡呢？纳什均衡是什么呢？正常人不知道，只有神经病才知道。

他在60多年的时间里，没有人见过他、用中国的扑克表演过什么是、非合作纳什均衡，什么是纳什均衡占优策略，他既没有实际表演，也没有给出明确的理论说明，这令关注纳什占优策略的人，大为失望。

博弈圣经着作人的经典名句；科学家在纳什均衡理论中、尚未发现博弈占优策略的任何迹象。

博弈圣经着作人的经典名句；策略，来自0、1、2、三维结构的自然属性。人们对世界的看法分为粒子、私湍、实体，简称为“粒湍体”，它们属于博弈文化，每人都拥有独一无二的博弈文化主题。它们的标题名称；“粒湍体博文代码”。

例如；四两拨千斤，主题；⑧1000-4668091=3047.6000，（+-×÷）的精确运算。

例如；四两拨五百斤，主题；⑧500-4687910=1436.8000，（+-×÷）的精确运算。

例如；四两拨五百斤，主题；⑦500-4577909=1347.9500，（+-×÷）的精确运算。

它们是博弈取胜、计算单方占优策略的标准模型。如果博弈取胜的计算方法，属于“博文学家”的个人智能；假如他让每一个人的手指上都充满这种人工智能，点击计算机键盘，体验神学、科学、博学，观赏人与自然博弈的神通，就可以做到“一人、一指、一键，赢天下”。

在纳什的语文学中，就没有出现过一次0、1、2、三维均衡的概念，纳什均衡哪里来。

博弈圣经着作人的经典名句；纳什均衡理论没有任何明确的说法，纳什均衡是美国伪造的产物，传到了世界各地，当然也传遍了中国。“纳什均衡”的本质，是对中国人的智商，对发现、发明、创造精神的一种羞辱。

博弈圣经着作人的经典名句；二维平衡是指生物的竞争行为，三维均衡是指自然的优劣特性。

博弈圣经着作人的经典名句；揭开纳什均衡的画皮，露出真相。【如果纳什均衡是以纳什的名字、命名的一个博弈论术语；假如我把纳什名字去掉、只剩下均衡一词、均衡也就是纯净的博弈论术语；倘若所有博弈论的文章中、都把纳什名字去掉只剩下均衡；再读一篇篇博弈论文章、也都是围绕着均衡一词展开的叙述；发现通篇文章逻辑不通、词意变异、不知所云；只要是属于纳什均衡的理论文章、去掉纳什名字之后、纳什的鬼魅就出现了；通篇文章，捕风捉影、张冠李戴、以讹传讹，添油加醋又像是疯言疯语，更不能被常人所理解。】

博弈圣经着作人的经典名句；纳什-是纳什，均衡-是均衡。纳什均衡二者相提并论、就是；驴唇马嘴。

博弈圣经着作人的经典名句；“纳什均衡” 之所以鬼魅，纳什自己不知道什么是纳什均衡，追随他的门外汉，都假装懂得纳什均衡。“纳什均衡”把所有的门徒变成了精神病、变成了不懂装懂；任何人谈到纳什均衡，就像掉进了魔鬼坑，开口就是自问自答、自说自话、反复无常、自己感到莫名其妙时，还会自圆其说。博弈圣经着作人的经典名句；纳什均衡是一份内容不明的谜语，它似乎和任何可理解的逻辑语言都对不上。博弈圣经着作人把“纳什均衡”戏称为“傻吊的博弈图腾”。

博弈圣经着作人的经典名句；如果说纳什均衡是一份学术遗产，那就是学术中、独一份的滑稽遗产。纳什均衡是什么，纳什自己不知道，中国的傻吊全都知道……。

博弈圣经着作人的经典名句；“纳什均衡成了中国的一个宗教，追随他的门徒；有无知的青年、有无畏的傻吊、还有无耻的教授。”

博弈圣经着作人的经典名句；中国的傻吊谈博弈，必谈纳什均衡。

博弈圣经着作人的经典名句；中国人醒来吧，应该扪心自问；“纳什均衡”既然像是中国人发明的三人扑克游戏，它的游戏规则是什么？游戏理论又是什么？中国人从三人扑克游戏中、也可以说从“纳什均衡”中、到底学到了什么？纳什演示“纳什均衡”用的数学符号，用的游戏规则、进行了毫无意义的重组。纳什是被媒体炒作、捧杀、逼得骑虎难下，他在纸上写写画画、作出的符号游戏、是无可奈何时的一个姿态。按照博弈圣经着作人对虚拟经济的解释，虚拟经济使用的是、单纯一性的物品，（也许是因为诺贝尔经济学奖错发给了纳什，他又不肯退回奖金的缘故。）纳什均衡的行为姿态，不是演示博弈论术语，他演示的纳什均衡、如同艺人玩猴。更为滑稽的是；纳什让人们明白了，滑稽的世界大师、滑稽的精美绝伦、滑稽的经典课程、滑稽的纳什均衡，变成了滑稽的虚拟经济。

博弈圣经着作人给虚拟经济下了一个难以启齿的定义；犹如看魔术大师让一群狗争夺一块骨头，让众人押注的赌博游戏。【通俗的解释虚拟经济是由单纯一性的一个物品(字画或古董)、单纯一性的一个姿态（逞能摆架子，装大官、充大款）、单纯一性的一个玩物（艺人玩猴）、统称为虚拟经济。】纳什单纯一性的一个姿态（在纸上写写画画的那些数字符号），演示从没人看懂过的纳什均衡，如同艺人玩猴，它符合虚拟经济的定义。

纳什在20多岁时患上了，妄想型精神分裂症。在他想象的世界里，全是魔鬼、武士和纳粹，他觉得自己一直生活在别人的威胁下。他担心自己，随时会被其他人杀害，他对世界毁灭和自己的死亡有深深的恐惧。

一天早晨，纳什拿着一份《纽约时报》走进办公室，对着空气说，报纸头版左边的文章里、包含着一条来自另一个星球的数字信息，只有他能破解。并且认为自己、是政府对抗苏联的间谍，他整天在数字中寻找拯救美国的密码，他的幻觉也日益严重。

最终纳什的家人和朋友、决定将他送进医院治疗，在医院他认为医生是苏联人、要追杀他。经医生诊断，他得的“妄想型精神分裂症”也更加严重。一个被“妄想型精神分裂症”伤害的大脑、一个胡言乱语的精神病人、妄想出来的“纳什均衡”博弈占优理论，你们认为可信吗？

博弈圣经着作人的经典名句；【“纳什均衡”一词，像是宗教的“圣言”，追随它的门徒，各自像精神病人一样、在纳什均衡中寻找理由，都想找到合理的理由解释“纳什均衡”，其结果把纳什均衡变成了博弈宗教、纳什变成了教主，门徒解释纳什均衡的疯言疯语，其实就是胡说八道。】

博弈圣经着作人的经典名句；如果中国的教授抄袭“纳什均衡”作为标题，捕风捉影、以讹传讹的炒作，是为了编书、售书、挣钱，假如读者想通过“纳什均衡”想占优、想赢钱，就应该先查查纳什60年以来、讲过一句“赢钱”吗，他赢过一次吗？因为没有在赌场中验证，他受到了爱因斯坦的冷遇。【纳什既然是个数学家，他就应该把占优策略给出一个、数字量化的数学公式、或者是一个数学模板，让所有的人都能成功模仿，也就是说，无论是傻吊或天才操作它，都是一样的赢。】

科学的有效性，就应该像打电话一样，只要给出一个电话号码，无论是傻吊或天才有序的按下按键，都是一样的打通电话。

科学的操作性，就应该像用计算器、加减乘除一样，无论是傻吊或天才、无论时间或地点、只要计算同一道题，有序的按下按键，都会得出一模一样的计算结果。

博弈圣经着作人的经典名句；科学家的博弈功能，是让其傻吊与天才同等水平。人们等到纳什车祸身亡、也没有人等到纳什的“非合作博弈占优策略”，历史证明他就没有、所谓的占优策略。

博弈圣经着作人的经典名句；

——策略，是一个0、1、2、三维的文化私湍；

——策略，是在个体性质、私湍结构、实体特性的，三个分形中蠕动；

——策略，是博弈哲学、对粒子行为论的三维思考；

——策略，是私湍边际效应的运算、也是私湍边际常数1.007813短暂的显现；

——策略，是私湍边际常数、在飞秒瞬间搁浅凝固时，也就是占优策略（一个小目标）的终结。

美国学术传媒疯狂炒作，把纳什说成天才，吹捧了半个多世纪的纳什均衡，什么子博弈精炼纳什均衡，什么子博弈完美纳什均衡，什么非合作博弈策略、什么博弈占有策略，全世界经过半个多世纪的寻找、验证、竟然没有一个人找到赢的策略。“纳什均衡”它会是什么？它像UFO一样诡异、令人百思不解。“纳什均衡”的鬼魅让人想入非非，层出不穷的解释让人匪夷所思。纳什均衡荒唐的理论属性、确定了它是学术界丑闻的特征。纳什天才的“纳什均衡”，一定会沦为世界的一大笑柄。

1958年，从《财富》杂志、对纳什的炒作，把纳什评为新一代天才数学家中、最出色的人物之后，纳什就迅速赢得了荣耀。他到处讲学、演说，与各国大牌数学家会面，事业如日中天。

博弈圣经着作人的经典名句；电影《美丽心灵》用构思、杜撰的艺术形式、编造了纳什戏剧性的一生，“纳什均衡”像西方宗教的“经文”一样，演变成了博弈宗教传奇。诺贝尔经济学奖意外地、砸到纳什头上的那种巧合，给了纳什幸运的一生、羞羞答答的一生、不愿见人的一生、学术欺骗的一生、也是他难堪的一生。

博弈圣经着作人的经典名句；纳什均衡是半个世纪前，一个“驴唇不对马嘴”的概念，纳什之所以一直沉默，是因为他没法说，他不敢说，他到死都不会说。【来源:美国资讯网；麻省理工福布斯纳什-着名大学名人-正文-时间:2013-12-02，从博弈圣经着作人对纳什的嘲讽，到纳什2015年5月23号出车祸死亡，中间有一年半时间他没有作出回应。】

博弈圣经着作人的经典名句；纳什均衡，是黑暗中的教唆、无知中的误判、猎奇中的杂耍。

博弈圣经着作人的经典名句；几个（因为博弈论）获得诺贝尔经济学奖的得主、管理股票的炒股公司，因亏空、也关门大吉了。

瑞典皇家科学院、诺贝尔经济学奖委员会委员，斯塔尔说；纳什均衡是一个博弈取胜的幻想，他自己也不知道怎么均衡、不知道怎么单方占优、不知道怎么取胜。因此，纳什在世期间不会向世人做出博弈如何取胜的解释，所以他一直保持沉默。斯塔尔还说；我们今天，既然把纳什均衡带到公众面前，可以断定，未来一定会出现博弈的取胜理论，大家担心纳什均衡可能一败涂地，若干年后将变成一大丑闻。

来源:美国资讯网；麻省理工福布斯纳什-着名大学名人-正文-时间:2013-12-02

博弈圣经着作人对纳什的嘲讽

......。

纳什均衡 捕风捉影 以讹传讹 是什么玩意儿

博弈圣经着作人笑谈博弈论，人们在寻找一粒爆香的黄豆时，还不如老鼠能选择最近的路程。

《博弈圣经》中《人类未知的蓝色档案》一文给出了博弈论的定义：“我们把动物利用大自然移动的瘾魂，在决策人期待的空间里，形成三维均衡的语文学理论，称为博弈论。”

博弈圣经着作人说；博弈论是青年人的毒品，是无知者的兴奋剂，是沉默者的摇头丸。

博弈圣经着作人对博弈、宗教、伟人，有过美妙的阐述

博弈圣经着作人说；博弈，是人与宇宙的宗教。博弈的使命是探索自然界里和思维世界里，所显示出来的崇高、庄严、不可思议的秩序。人们对宇宙，实体、知识、未知的神秘，以及对个体，性质、经验、已知的恐惧——产生了宗教。人们认识到，有些为我们所不能洞察的东西存在其中，感觉到有一种最原始的形式、最深奥的理性、最灿烂的壮美、所产生的博弈情感，构成了真正的宗教感情。没有宗教、没有信仰、没有博弈感情，就不会出现时代伟人。

博弈论就是 张冠李戴 捕风捉影 以讹传讹

【典故】讽刺博弈论的最高博弈水平；

有人问博弈圣经着作人，什么是博弈论。

他回答说；博弈论就是，一问、二答、三无知。

也就是说；问者无知、回答者无知、听者更无知。

有人追问，到目前为止，那么多博弈论图书，那么多作者，他们的最高博弈水平是什么？博弈圣经着作人一听就笑了；目前他们的最高博弈水平，就是想卖给你一本书，就想赢你一本书钱。

博弈圣经着作人通俗的谈菜鸟与金鸟

一个人想变得伟大，从一个菜鸟变成一个金鸟，就要利用国家实体特性造个金鸟笼。日后，就可以在媒体的报道中、绘声绘色地描述那个金鸟笼；他是某某大学院校、某某着名教授、某某首席科学家、某某诺贝尔奖得主、甚至某某政府官员，他就自然的钻进了金鸟笼。

博弈论理论，是停滞不前的理论，它是太过于急躁、太过于草率的理论。由于博弈论新奇、古怪、原始，一个“囚徒困境”的三维谜团像似神话，人们又错误的认为博弈论能够取胜，因此受到了人们盲目的吹捧和疯狂的参与。人们把博弈取胜的欲望作为动力，博弈竞争的欲望在远古就出现了，一个人有了欲望，就要有实现欲望的对象和博弈对局的背景，加上自己行为的结果，才能取得想要的东西。欲望的天性就是进行交往，建立行为二特性对局，就是博弈的合作。

《博弈圣经》赢的定义；赢不是大小、不是多少、不是均衡平衡、不是战略战术，而是在未来国正论的0、1、2，三维随机状态中，一粒期望的粒子（常数0.007813，也是私湍边际效应的一个小目标）优先达成。

赢也不是福，输也不是罪，输赢与均衡属于第三空地论的内容。

但明眼的人都能看得出，所谓那些自称的博弈专家抄来的无效理论、编成的一本本博弈论，就是张冠李戴、捕风捉影、以讹传讹，不管他从外国哪个地方抄来的，不管他抄了多少、编了多少本书、多少篇文章，究其低劣的学术品质，他仍然是一个菜鸟。

假如博弈论大师，走出那个金鸟笼，再靠讲课赚大钱，靠卖书赚小钱，靠博弈取胜策略赚不到一毛钱，他就是骗子，也许是一个罪犯。

更为讽刺的是，一本本博弈论着作，古老的内容千篇一律，里面没有几句精彩的话，没有几个经典的词，更没有定理、定律、定义和法则。至今一个个博弈论专家、矛盾论专家、概率论专家和外行知道得一样多。

以往经济学家为了降低风险，建议投资多元化，“不要把鸡蛋放在一个篮子里”，这种分散投资的经济思想，实在是经济学家对博弈取胜的无奈。《博弈圣经》在453节有一段风趣的表述：“我们根本不能完全理解大自然，或许人们不如老鼠在寻找食物时能选择最近的路程，那是大自然的拓扑几何图像的捷径。”

看看权威媒体上发表的理论文章，标题或者落款，都是什么什么单位（一个金鸟笼）、某某某人的大名（一个金鸟），即使有一个金鸟笼做背书、做包装，再看他那排列整齐错落有致的垃圾文章，如果只看外观不读内容，真像是一篇好文章出笼了，假如读者直接读内容，就会得出结论；理论文章就是破碎的八卦，假如他再发一篇文章，又是卜上一卦？文章的内容就是拼凑的垃圾、金鸟笼就是忽悠人、金鸟其实就是一个菜鸟。中国新领导人形容过“笼子政治”的概念，因此中国就是一个笼子政治，金鸟笼里豢养了很多菜鸟，（政治菜鸟、经济菜鸟、学术菜鸟、司法菜鸟、还有博弈论菜鸟等）。他们的罪恶，给中国百姓制造了无数的冤假错案和人间悲剧。（受害者等待机会，等新领导人依法治国的社会稳定了、等忠诚合格的人到位了、等到司法环境改善了，就开始用罪恶者的犯罪事实、向最高司法机关举报他，国家只要用法律的尺度、度量他，他一定是个罪犯。）

中国百姓很善良，面对、遍地强盗；面对、遍地流氓；面对、中共暴力机器；面对、公检法菜鸟的黑恶势力；面对、学术痞子的打压；都先忍耐着，别上访告状、上访就会倾家荡产。期盼着中国特色社会主义之后、中国实体社会的黎明……。博弈圣经着作人的经典名句；中国实体社会主义的民主与自由——民主是罪恶者的坟墓、自由是中国梦的故乡。

新领导人面临着，历代罪恶造成的、各种人间悲剧；中国特色社会主义制造的、冤民遍地；冤民到联合国上访、演绎了中国特色社会主义的国际景观；至今还遗留几个、无人触碰的雷区；新领导人开始了真正的国家思考，开始了全面依法治国的“谨慎变革”。所以新领导人说；把权力关进笼子里，就是先把菜鸟的权力关进笼子里……。

……。

......。

Ⅲ 熵能结晶的密码

5281403567

Ⅳ 深度学习中的熵模型到底是啥

熵(Entropy)最初是来自热力学的一个概念，注意火字旁。本文谈论的熵是指信息熵，是香农(Claude Shannon)[1]借鉴热力学熵的公式定义的对信息的度量。组成客观世界的三大基本要素：物质、能量、信息。Without materials nothing exists. Without energy nothing happens. Without information nothing makes sense. 通信系统中有三项性能指标：传输的有效性、传输的可靠性、传输的安全性。前两项属于信息论的范畴，香农是信息论的创始人；第三项属于密码学范畴，香农让密码学成为一门科学。题图[2]是香农的头像，顶礼膜拜。

信息熵[3]
事件集合 \[{X}\] 中的事件 \[{x=a\mathop{{}}\nolimits_{{i}}}\] 的自信息定义为： \[{I\mathop{{}}\nolimits_{{X}}{ \left( {a\mathop{{}}\nolimits_{{i}}} \right) }=-logP\mathop{{}}\nolimits_{{X}}{ \left( {a\mathop{{}}\nolimits_{{i}}} \right) }}\] ，简记为： \[{I{ \left( {x} \right) }=-logp{ \left( {x} \right) }}\] 。要求： \[{a\mathop{{}}\nolimits_{{i}} \in A,{\mathop{ \sum }\limits_{{i=1}}^{{n}}{P\mathop{{}}\nolimits_{{X}}{ \left( {a\mathop{{}}\nolimits_{{i}}} \right) }=1,0 \le P\mathop{{}}\nolimits_{{X}}{ \left( {a\mathop{{}}\nolimits_{{i}}} \right) } \le 1}}}\] ,即 \[{0 \le p{ \left( {x} \right) } \le 1}\] ；对数的底大于1，工程上常以2为底，自信息的单位则为bit。

自信息有两个方面的含义：

事件发生前，表示事件发生的不确定性。概率小的事件不易发生，其不确定性较大。
事件发生后，表示事件所包含的信息量。概率小的事件不仅难于预测，而且发生后所提供的信息量也大。
离散随机变量\[{X}\] 的熵定义为自信息的期望，是对其概率分布的度量，记为 \[{H{ \left( {X} \right) }}\]

\[{H{ \left( {X} \right) }=\mathop{{E}}\limits_{{p{ \left( {x} \right) }}}{ \left[ {I{ \left( {x} \right) }} \right] }=-{\mathop{ \sum }\limits_{{x}}{p{ \left( {x} \right) }logp{ \left( {x} \right) }}}}\]

当熵为0时， \[{p{ \left( {x} \right) }}\] 必然为0，表示不确定性为0，或提供的信息量为0。比如，我们可以说中国男足夺得世界杯冠军的熵为0。

信息散度(相对熵)
交叉熵

Ⅳ encoding是什么意思

encoding 报错
英 [ɪn'kəʊdɪŋ] 美 [ɪn'kodɪŋ] 跟读 口语练习

n. [计] 编码
v. [计] 编码（encode的ing形式）
网络释义 专业释义 英英释义
编码
消息编码
字集码
字符编码
短语
character encoding 字符编码 ; 字符编码 ; 特征编码 ; 字符码
delta encoding 差分编码 ; 增量编码
entropy encoding 熵编码法 ; 熵编码 ; 一致性编码法
更多网络短语
柯林斯英汉双解大词典 21世纪大英汉词典
encode /ɪnˈkəʊd/ (encoding,encoded,encodes)
1.V-T If you encode a message or some information, you put it into a code or express it in a different form or system of language. 将…写为密码
例：
The two parties encode confidential data in a form that is not directly readable by the other party.
双方把机密数据写成一种不能被对方直接读懂的密码。

Ⅵ 如何计算密码所携带的信息熵

可加性与强可加性（涉及到了两个变量！）H（XY）为两个随机变量的联合熵。可加性：H（XY）等于 X的无条件熵，加上已知 X 时 Y的条件概率的熵的平均值，即条件熵。对于 X 与 Y 独立的情况有：（强可加性）信息论基础2011年3月教材和参考书傅祖芸编着《信息论－基础理论与应用》，电子工业出版社，2006第二版. 孟庆生《信息论》，西安交通大学，1986。（数学家写的研究生教材，含编码和密码）朱雪龙《应用信息论基础》，清华大学出版社,2000。（研究生教材，面向电子类，含编码方法。王育民、梁传甲《信息与编码理论》，西电教材。 （内容深入，推导过程少）沈连丰、叶芝惠编着《信息论与编码》东南大学硕士教材，科学出版社，2004，（面向通信专业）。周荫清主编《信息理论基础》北航出版社，2006（简洁，面向电子类）T. M. Cover & J. A. Thomas , Elements of Information Theory ，Addison-Wesley Pub, 1990, 清华影印。R. J. McEliece《The Theory of Information and Coding》第二版，电子工业出版社，2003。（内容简练，编码方面较全） * J.H.Van Lint 《Introction to coding theory》 GTM 86, Springer-Verlag, 1998. * Roman 《Coding and information theory》, GTM 134，新的教材：在广义信息论、网络信息论方面的内容有所增加。第一讲 1-1 信息论的主要内容 1-2 信息的度量－信息熵 1-3 信息熵的性质 信息熵 1－1. 信息论的主要内容 香农信息论最初是为了解决通信问题而提出的。通信的重要意义是勿庸置疑的。类传递思想、表达情感，就需要相互交流。人类的劳动、生产、政治、文化、日常生活等都离不开通信。人类利用眼、耳、鼻、舌、身等五种感觉器官来感受外界的信息，形成一个信息流通的体系。通信方式的不断提高，代表了人类文明和科技水平的不断提高。通信的根本任务：将一地点的消息可靠地、有效地传送到另一地点。信源干扰源信道信宿通信系统的基本模型：为了使消息可靠地、有效地传送到信宿，就需要对信源的消息进行处理；信源编码：实现有效性；信道编码：实现可靠性；密码：实现保密性及认证性；有没有可靠的、有效的处理方法？如何进行编码？香农信息论奠定了通信的理论基础。信息是消息的不确定性度量。某消息出现的概率大，它的信息量就小，相反某消息出现的概率小，则它的信息量就大。通信的关键是信息的传输问题。 信源，信源，编码信宿，信道，信道编码，信道译码，信源译码加密钥，加密解密钥，解密 干扰源提出的背景：在香农信息论出现以前，没有系统的通信理论。是香农，开创了信息论的研究，奠定了一般性通信 理论的基础。对数字通信技术的形成有很大贡献。（不论什么样的干扰信道，抓住了本质问题Shannon, 1916－2001)“A Mathematical Theory of Communication ”“ Communication Theory of Secrecy System ” About Claude Elwood Shannon: 1916年生于 Gaylord, MI 的一个小镇。母亲是一个语言教师和中学校长，父亲是一个商人。 16岁高中毕业，进入密西根大学。1936年获得电子工程和数学双学士学位。随后进入 MIT，作为研究生和研究人员。

Ⅶ 密码学中香农理论熵H(X/Y)怎样理解

H(X|Y)表示条件自信息量I(X|Y)的概率加权平均，也就是说随机变量X在随机变量Y的条件下的条件熵

Ⅷ 密码分为哪三种

密码大体上分为三类，涉及的知识点主要是信息论和数论

第一类：公开密钥算法：RSA

第二类：对称算法：AES，DES。Hitag2

第三类：单项序列算法：MD5

而对称算法又可以分为分组加密和序列加密两种

分组加密：AES，DES

序列加密：Hitag2，Keeloq

序列加密通常是硬件实现，因为每次加密1bit，对于硬件来说用移位寄存器来实现是很容易的，但对于最小存储单位是1Byte（8bit）的上位机来说，频繁的位操作并不方便。

加密算法的理论基础基本上来自于数论，数论主要是讨论整形，基本上就是关于素数的研究，RSA的加密难度依据就是，两个大素数的因式分解，但目前无法证明是否有方法能快速的因式分解两个超大素数，所以也无法证明此算法绝对安全，但同理无法证明它不安全。目前2048位的RSA公认是安全的。

信息论在本质上基本和密码学等价，信息熵也影响一组加密数据其安全性，和其被攻破的难度。所以如何降低冗余，隐藏明文也是密码学必须考虑的问题。

Ⅸ 关于密码学的问题

混沌流密码研究
胡汉平1 董占球2
（华中科技大学图像识别与人工智能研究所/图像信息处理与智能控制教育部重点实验室
中国科学院研究生院，）

摘要：在数字化混沌系统和基于混沌同步的保密通信系统的研究中存在一些亟待解决的重要问题：数字化混沌的特性退化，混沌时间序列分析对混沌系统安全性的威胁等，已严重影响着混沌流密码系统的实用化进程。为此，提出了通过变换的误差补偿方法克服数字混沌的特性退化问题；构建混沌编码模型完成对混沌序列的编码、采样，由此得到满足均匀、独立分布的驱动序列；引入非线性变换，以抵抗对混沌流密码系统安全性的威胁。

关键词：混沌流密码系统；特性退化；非线性变换；混沌时间序列分析

1. 引言
随着以计算机技术和网络通信技术为代表的信息技术的不断发展和迅速普及，通信保密问题日益突出。信息安全问题已经成为阻碍经济持续稳定发展和威胁国家安全的一个重要问题。众所周知，密码是信息安全的核心，设计具有自主知识产权的新型高性能的密码体制是目前最亟待解决的重要问题。
混沌是确定性系统中的一种貌似随机的运动。混沌系统都具有如下基本特性：确定性、有界性、对初始条件的敏感性、拓扑传递性和混合性、宽带性、快速衰减的自相关性、长期不可预测性和伪随机性[1]，正是因为混沌系统所具有的这些基本特性恰好能够满足保密通信及密码学的基本要求：混沌动力学方程的确定性保证了通信双方在收发过程或加解密过程中的可靠性；混沌轨道的发散特性及对初始条件的敏感性正好满足Shannon提出的密码系统设计的第一个基本原则――扩散原则；混沌吸引子的拓扑传递性与混合性，以及对系统参数的敏感性正好满足Shannon提出的密码系统设计的第二个基本原则――混淆原则；混沌输出信号的宽带功率谱和快速衰减的自相关特性是对抗频谱分析和相关分析的有利保障，而混沌行为的长期不可预测性是混沌保密通信安全性的根本保障等。因此，自1989年R.Mathews, D.Wheeler, L.M.Pecora和Carroll等人首次把混沌理论使用到序列密码及保密通信理论以来，数字化混沌密码系统和基于混沌同步的保密通信系统的研究已引起了相关学者的高度关注[2]。虽然这些年的研究取得了许多可喜的进展，但仍存在一些重要的基本问题尚待解决。

1.1 数字混沌的特性退化问题
在数字化的混沌密码系统的研究方向上，国内外学者已经提出了一些比较好的数字混沌密码系统及其相应的密码分析方法：文献[3]提出基于帐篷映射的加解密算法；文献[4]1998年Fridrich通过定义一种改进的二维螺旋或方形混沌映射来构造一种新的密码算法；文献[5,6]提出把混沌吸引域划分为不同的子域，每一子域与明文一一对应，把混沌轨道进入明文所对应的混沌吸引域子域的迭代次数作为其密文；在文献[7]中，作者把一个字节的不同比特与不同的混沌吸引子联系起来实现加/解密；文献[8]较为详细地讨论了通过混沌构造S盒来设计分组密码算法的方法；文献[9,10]给出了混沌伪随机数产生的产生方法；英国的SafeChaos公司将混沌用于公钥密码体制，推出了CHAOS+Public Key (v4.23)系统[11]；等等。但是，这些数字混沌系统一般都是在计算机或其它有限精度的器件上实现的，由此可以将混沌序列生成器归结为有限自动机来描述，在这种条件下所生成的混沌序列会出现特性退化：短周期、强相关以及小线性复杂度等[12-15]，即数字混沌系统与理想的实值混沌系统在动力学特性上存在相当大的差异。它所带来的混沌密码系统安全的不稳定性是困扰混沌密码系统进入实用的重要原因[16]。尽管有人指出增加精度可以减小这一问题所造成的后果，但其代价显然是非常大的。

1.2 对混沌流密码系统的相空间重构分析
目前，对混沌保密通信系统的分析工作才刚刚起步，主要方法有：统计分析（如周期及概率分布分析和相关分析等）、频谱分析（包括傅立叶变换和小波变换等）和混沌时间序列分析[17]。前两者都是传统的信号分析手段，在此就不再赘述，而混沌时间序列是近20年来发展的一门扎根于非线性动力学和数值计算的新兴学科方向。
从时间序列出发研究混沌系统，始于Packard等人于1980年提出的相空间重构（Phase Space Reconstruction）理论。众所周知，对于决定混沌系统长期演化的任一变量的时间演化，均包含了混沌系统所有变量长期演化的信息（亦称为全息性），这是由混沌系统的非线性特点决定的，这也是混沌系统难以分解和分析的主要原因。因此，理论上可以通过决定混沌系统长期演化的任一单变量的时间序列来研究混沌系统的动力学行为，这就是混沌时间序列分析的基本思想。
混沌时间序列分析的目的是通过对混沌系统产生的时间序列进行相空间重构分析，利用数值计算估计出混沌系统的宏观特征量，从而为进一步的非线性预测[18]（包括基于神经网络或模糊理论的预测模型）提供模型参数，这基本上也就是目前对混沌保密通信系统进行分析或评价的主要思路。描述混沌吸引子的宏观特征量主要有：Lyapunov指数（系统的特征指数）、Kolmogorov熵（动力系统的混沌水平）和关联维（系统复杂度的估计）等[17]。而这些混沌特征量的估计和Poincare截面法都是以相空间重构以及F.Takens的嵌入定理为基础的，由此可见相空间重构理论在混沌时间序列分析中的重大意义。

1.3 对混沌流密码系统的符号动力学分析
我们在以往的实验分析工作中都是针对混沌密码系统的统计学特性进行研究的，如周期性、平衡性、线性相关性、线性复杂度、混淆和扩散特性等，即使涉及到非线性也是从混沌时间序列分析（如相图分析或分数维估计等）的角度出发进行研究的。然而，符号动力学分析表明，混沌密码系统的非线性动力学分析同样非常主要，基于实用符号动力学的分析可能会很快暴露出混沌编码模型的动力学特性。基于Gray码序数和单峰映射的符号动力学之间的关系，文献[20]提出了一种不依赖单峰映射的初始条件而直接从单峰映射产生的二值符号序列来进行参数估计的方法。分析结果表明，基于一般混沌编码模型的密码系统并不如人们想象的那么安全，通过对其产生的一段符号序列进行分析，甚至能以较高的精度很快的估计出其根密钥（系统参数或初始条件）。
上述结论虽然是针对以单峰映射为主的混沌编码模型进行的分析，但是，混沌流密码方案的安全性不应该取决于其中采用的混沌系统，而应该取决于方案本身，而且单峰映射的低计算复杂度对于实际应用仍是非常有吸引力的。因此，我们认为，如果希望利用混沌编码模型来设计更为安全的密码系统，必须在混沌编码模型产生的符号序列作为伪随机序列输出（如用作密钥流或扩频码）之前引入某种扰乱策略，这种扰乱策略实质上相当于密码系统中的非线性变换。
该非线性变换不应影响混沌系统本身的特性，因为向混沌系统的内部注入扰动会将原自治混沌系统变为了非自治混沌系统，但当自治混沌系统变为非自治混沌系统之后，这些良好特性可能会随之发生较大的变化，且不为设计者所控制。这样有可能引入原本没有的安全隐患，甚至会为分析者大开方便之门。
上述非线性变换还应该能被混沌编码模型产生的符号序列所改变。否则，分析者很容易通过输出的伪随机序列恢复出原符号序列，并利用符号动力学分析方法估计出混沌编码模型的系统参数和初始条件。因此，非线性变换的构造就成了设计高安全性数字混沌密码系统的关键之一。

2. 混沌流密码系统的总体方案
为克服上述问题，我们提出了如下的混沌流密码系统的总体方案，如图1所示：

在该方案中，首先利用一个混沌映射f产生混沌序列xi，再通过编码C产生符号序列ai，将所得符号序列作为驱动序列ai通过一个动态变化的置换Bi以得到密钥流ki，然后据此对置换进行动态变换T。最后，将密钥流（即密钥序列）与明文信息流异或即可产生相应的密文输出（即输出部分）。图1中的初始化过程包括对混沌系统的初始条件、迭代次数，用于组合编码的顺序表以及非线性变换进行初始化，初始化过程实质上是对工作密钥的输入。
在图1所示的混沌编码模型中，我们对实数模式下的混沌系统的输出进行了编码、采样。以Logistic为例，首先，以有限群论为基本原理对驱动序列进行非线性变换，然后，根据有限群上的随机行走理论，使非线性变换被混沌编码模型产生的驱动序列所改变。可以从理论上证明，我们对非线性变换采用的变换操作是对称群的一个生成系，所以，这里所使用的非线性变换的状态空间足够大（一共有256！种）。

3. 克服数字混沌特性退化的方法
增加精度可以在某些方面减小有限精度所造成的影响，但效果与其实现的代价相比显然是不适宜的。为此，周红等人在文献[22]中提出将m序列的输出值作为扰动加到数字混沌映射系统中，用于扩展数字混沌序列的周期；王宏霞等人在文献[23]中提出用LFSR的输出值控制数字混沌序列输出，从而改善混沌序列的性质；李汇州等人在文献[24]中提出用双分辨率的方法解决离散混沌映射系统的满映射问题。上述方法又带来新的问题：使用m序列和LFSR方法，混沌序列的性质由外加的m序列的性质决定；使用双分辨率时，由于输入的分辨率高于输出的分辨率，其效果与实现的代价相比仍然没有得到明显的改善。
为此，我们提出了一种基于Lyapunov数的变参数补偿方法。由于Lyapunov数是混沌映射在迭代点处斜率绝对值的几何平均值，所以，可以将它与中值定理结合对数字混沌进行补偿。以一维混沌映射为例，该补偿方法的迭代式为：
（1）
式中， 为Lyapunov数，ki是可变参数。
参数ki的选择需要满足下面几个条件：
（1）ki的选取应使混沌的迭代在有限精度下达到满映射；
（2）ki的选取应使混沌序列的分布近似地等于实值混沌的分布；
（3）ki的选取应使混沌序列的周期尽可能的长。
根据上述几个条件，我们已经选取了合适的80个参数，并且以Logistic为例对该变参数补偿方法输出的混沌序列进行了分析。在精度为32位的条件下，我们计算了混沌序列的周期，其结果如下：

除周期外，我们还对复杂度、相关性和序列分布进行了检测。从结果可知，该变参数补偿方法，使得在不降低混沌的复杂度基础上，增长其周期，减弱相关性，使其逼近实值混沌系统。该方法不仅非常明显地减小了有限精度所造成的影响，使数字混沌序列的密度分布逼近实值混沌序列的理论密度分布，改善数字混沌伪随机序列的密码学性质，而且极大地降低实现其方法的代价。

4. 非线性变换
为克服符号动力学分析对混沌密码系统的威胁，我们根据有限群上的随机行走理论提出了一种非线性变换方法，并对引入了非线性变换的混沌密码系统进行了符号动力学分析，分析结果表明，引入了非线性变换的模型相对一般混沌编码模型而言，在符号动力学分析下具有较高的安全性。以二区间划分的模型为例，我们选用Logistic映射作为图1中的混沌映射f，并根据符号动力学分析中的Gray码序数[20,21]定义二进制码序数，见2式。
（2）
二值符号序列S的二进制码序数W(S)∈(0, 1)。注意，这里的Wr(xi)并不是单值的，因为同样的状态xi可能对应不同的置换Bi。

图2 在2区间划分下产生的二值符号序列的Wr(xi)分析

图2中的Wr(xi)为参数r控制下从当前状态xi出发产生的二值符号序列的二进制码序数。图2（a）是未进行非线性变换时的情形，可以看出，其它三种进行非线性变换时的情形都较图2（a）中的分形结构更为复杂。由此可见，引入了非线性变换的混沌模型相对一般混沌编码模型而言，在符号动力学分析下具有较高的安全性。

5. 混沌流密码系统的理论分析和数值分析结果
5.1 理论分析结果
密钥流的性质直接关系到整个流密码系统的安全性，是一个极为重要的指标。我们对密钥流的均匀、独立分布性质和密钥流的周期性质给出了证明，其结果如下：
（1）密钥留在0,1,…,255上均匀分布。
（2）密钥流各元素之间相互独立。
（3）密钥流出现周期的概率趋向于零。
（4）有关密钥流性质的证明过程并不涉及改变非线性变换的具体操作，也不涉及具体的驱动序列产生算法，仅仅要求驱动序列服从独立、均匀分布，并且驱动序列和非线性变换之间满足一定的条件，这为该密码系统，特别是系统驱动部分的设计和改进留下余地。
总之，该密码系统可扩展，可改进，性能良好且稳定。

5.2 数值分析结果
目前，基本密码分析原理有：代替和线性逼近、分别征服攻击、统计分析等，为了阻止基于这些基本原理的密码分析，人们对密码流生成器提出了下列设计准则：周期准则、线性复杂度准则、统计准则、混淆准则、扩散准则和函数非线性准则。
我们主要根据以上准则，对本密码系统的密钥流性质进行保密性分析，以证明其安全性。分析表明：混沌流密码系统符合所有的安全性设计准则，产生的密钥序列具有串分布均匀、随机统计特性良好、相邻密钥相关性小、周期长、线性复杂度高、混淆扩散性好、相空间无结构出现等特点；该密码系统的工作密钥空间巨大，足以抵抗穷举密钥攻击。并且，由于我们采用了非线性变换，所以该密码系统可以抵抗符号动力学分析。

6. 应用情况简介
该混沌流密码系统既有效的降低了计算复杂度，又极大的提高了密码的安全强度，从而为混沌密码学及其实现技术的研究提供了一条新的途径。该系统已于2002年10月30日获得一项发明专利：“一种用于信息安全的加解密系统”（00131287.1），并于2005年4月获得国家密码管理局的批准，命名为“SSF46”算法，现已纳入国家商用密码管理。该算法保密性强，加解密速度快，适合于流媒体加密，可在银行、证券、网络通信、电信、移动通信等需要保密的领域和行业得到推广。该加密算法被应用在基于手机令牌的身份认证系统中，并且我们正在与华为公司合作将加密算法应用于3G的安全通信之中。