ippg算法

1. 什么是区块链技术区块链技术的核心构成是什么

从技术的角度，架构的角度，用通俗的语言来跟大家讲讲，我对区块链的一些理解。

究竟啥是区块链？Block chain，一句话来说，区块链是一个存储系统，存储系统更细一点，区块链是一个没有管理员，每个节点都拥有全部数据的分布式存储系统。

那常见的存储系统，是什么样子的呢？

首先看一下如何保证高可用？

普通的存储系统通常是用“冗余”的方式来解决高可用问题的。图上图所示如果能够把数据复制成几份，冗余到多个地方，就能够保证高可用。一个地方的数据挂了，另外的地方还存有数据，例如MySQL的主从集群就是这个原理，磁盘的RAID也是这个原理。

这个地方需要强调的两点是：数据冗余，往往会引发一致性的问题

1、例如MySQL的主从集群中中其实读写会有延时的，它其实就是有一个短的时间内读写不一致。这个是数据冗余，带来的一个副作用。

2、第二个点是数据冗余往往会降低写入的效率，因为数据同步也是需要消耗资源的。你看单点写入，如果加了两个从库之后，其实写入的效率会受影响。普通的存储系统，就是采用冗余的方式，保证数据的高可用的。

那么第二个问题，普通的存储系统，能否多点写入呢？

答案是可以的，比如说以这个图为例：

其实MySQL的话可以做一个双主的主从同步，双主的主从同步，两个节点，同时可以写入。如果要做多机房多活的数据中心，其实多机房多活也是进行数据同步的。这里要强调的是多点写入，往往会引发写写冲突的一致性问题，以MySQl为例，假设有一个表的属性是自增ID，那么现在数据库中的数据是1234，那么其中一个节点写入，插入了一条数据，那它可能变成5了，然后这5条数据，向另外一个主节点进行数据同步，同步完成之前，如果另外一个写入节点，也插入了一条数据，也生成了一条这个自增id为5的数据。那么，生成之后，往另外一个节点同步，然后同步数据到达之后会与本地的这两条5冲突，就会同步失败，会引发写写的一致性冲突问题。这个多点写入的话都会出现这个问题。

多点写入，如何保证一致？

维新“天鹅大咖课”给你更多的技术干活

2. 用TCP/IP协议组态工业以太网,到底用哪一种CP343-1(共有三种)好呢

1.6GK7343-1CX00-0XE0CP343-1LEAN固定MAC地址，支持S5（最大8个连接）、S7（最大4个连接）、TCP/IP、UDP、PG（最大4个连接）通讯，总共最大12个连接。2.6GK7343-1EX11-0XE0CP343-1可变MAC地址，支持ISO、S5（最大16个连接）、S7（最大16个连接）、TCP/IP、UDP、PG（最大16个连接）通讯，总共最大32个连接。3.6GK7343-1EX20-0XE0CP343-1固定MAC地址，支持S5（最大16个连接）、S7（最大16个连接）、TCP/IP、UDP、PG（最大16个连接）通讯，总共最大48个连接。

3. 浅谈策略梯度（PG）算法

Policy Optimization（策略优化）是强化学习中的一大类算法，其基本思路区别于Value-based的算法。因此，很多教科书都将model-free RL分成两大类，Policy Optimization和Value-based。本系列博客将会参考OpenAI发布的入门教程 Spinning Up [1] ，Spinning Up系列是入门Policy Optimization的非常好的教材，特别适合初学者。Policy Gradient（策略梯度，简称PG）算法是策略优化中的核心概念，本章我们就将从最简单的PG推导开始，一步步揭开策略优化算法的神秘面纱。

如果用一句话来表达 策略梯度 的直观解释，那就是“如果动作使得最终回报变大，那么增加这个动作出现的概率，反之，减少这个动作出现的概率”。这句话表达了两个含义：

本节我们将一步步推导出策略梯度的基础公式，这一小节非常重要，理解了推导过程，就基本上理解了策略梯度的核心思想。所以，一定要耐心的把这一小节的内容全部看懂，最好能够达到自行推导的地步。

我们用参数化的神经网络表示我们的策略 ，那我们的目标，就可以表示为调整 ，使得 期望回报 最大，用公式表示：

在公式(1)中， 表示从开始到结束的一条完整路径。通常，对于最大化问题，我们可以使用梯度上升算法来找到最大值。

为了能够一步步得到最优参数，我们需要得到 ，然后利用梯度上升算法即可，核心思想就是这么简单。

关键是求取最终的 回报函数 关于 的梯度，这个就是 策略梯度 （policy gradient），通过优化策略梯度来求解RL问题的算法就叫做 策略梯度算法 ，我们常见的PPO，TRPO都是属于策略梯度算法。下面我们的目标就是把公式（2）逐步展开，公式（2）中最核心的部分就是 ，这也是这篇博客最核心的地方。





在以上的推导中，用到了log求导技巧： 关于 的导数是 。因此，我们可以得到以下的公式：

所以，才有公式（5）到公式（6），接下来我们把公式（7）进一步展开，主要是把 展开。先来看看

加入log，化乘法为加法：

计算log函数的梯度，并且约去一些常量：


因此，结合公式（7）和公式（9），我们得到了最终的表达式

公式（10）就是PG算法的核心表达式了，从这个公式中可以看出，我们要求取的策略梯度其实是一个期望，具体工程实现可以采用蒙特卡罗的思想来求取期望，也就是采样求均值来近似表示期望。我们收集一系列的 ,其中每一条轨迹都是由agent采用策略 与环境交互采样得到的，那策略梯度可以表示为：

其中， 表示采样的轨迹的数量。现在，我们完成了详细的策略梯度的推导过程，长舒一口气，接下来的工作就比较轻松了，就是在公式（10）的基础上修修改改了。

再进行简单修改之前，我们再总结一下公式（10），毕竟这个公式是PG算法最核心的公式：

我们继续观察公式（10），对于公式中的 ，表示整个轨迹的回报，其实并不合理。对于一条轨迹中的所有动作，均采用相同的回报，就相当于对于轨迹中的每一个动作都赋予相同的权重。显然，动作序列中的动作有好有坏，都采取相同的回报，无法达到奖惩的目的，那我们该怎么表示 “某个状态下，执行某个动作” 的回报呢？

一种比较直观思路是，当前的动作将会影响后续的状态，并且获得即时奖励（reward），那么我们只需要使用 折扣累计回报 来表示当前动作的回报就行了，用公式表示为：

这在spinning up中叫做reward to go，所以，公式（10）可以表示为：

当然，使用reward to go的权重分配还是相当初级，我们可以使用更加高级的权重分配方式，进一步减少回报分配的方差，限于篇幅原因，我们后续再聊。

本章我们花了大量的篇幅推导了策略梯度（PG）的核心公式，得到了关键表达式（10），理解该公式对于我们后续理解整个PG算法族非常有帮助，希望大家能够认真的理解这一公式推导过程。

我们是行者AI，我们在“AI＋游戏”中不断前行。

如果你也对游戏感兴趣，对AI充满好奇，就快来加入我们吧~

4. 西门子PLC如何通过网线设置IP

1、首先打开电脑上的网络共享中心。

5. 西门子200的PLC的以太网模块如何给它设定地址。可以直接通过网线进行设定么

在硬件组态界面里就可以设置其地址。
或者启动在线查找，然后看找到的物理地址跟你要设定的那个模块地址是否一致。
如果一致，就可以把你想要的IP地址赋给该模块。主意：该IP地址必须跟PG的IP地址在同一网段。

6. pgp以及gnupg中使用了哪些加密算法，以及此加密软件的特点

这个我不清楚。
加密软件，我使用的是文件夹加密超级大师。
文件夹加密超级大师支持所有windows系统，可以加密文件夹，加密文件，保护磁盘和数据粉碎，使用起来非常方便。

7. PgDip是什么

PgDip:Postgraate Diploma。

研究生学习阶段叫做Postgraate,它包括硕士阶段和 博士阶段两个阶段,与之相对应是Undergraate(本科阶段),PgDip可以等同于国内的硕士研究生毕业(但没有硕士学位)，您也可以理解为硕士预科。

注意：

研究生主要分为硕士研究生及博士研究生，按学位类型分为学术型研究生及专业型研究生两种。普通高等教育统招研究生包含全日制研究生和非全日制研究生，是通过全国硕士研究生和博士研究生统一招生考试或推免、申请考核来进行招生。

在职人员读研在2017年以前主要是指在职研究生，主要通过十月联考、同等学力申硕等方式进行招生。

从2017年起，传统在职研究生取消，在全日制研究生教育基础上设立非全日制研究生 ，非全日制研究生与全日制研究生一同参加12月底的全国硕士研究生统一招生考试（全国统考），划定相同录取分数线。

实行相同培养毕业标准，毕业时同样获得普通高等教育学历证书及学位证书双证，两者仅学习形式不同，学历类型均为普通高等教育（统招学历），两者学历证及学位证证书具有同等法律地位和相同效力。