可以做一个single policy的版本么

[heyfavour]

不使用double policy的请看下，你的代码可以收敛么？我听别人说直接使用tanh再distribution 后sample会影响熵的计算，不知道为什么，可以问下么

[gouxiangchen]

你好，

你说的是 PPO 吗？ PPO 如果只用一个 policy ，就没办法一次更新K轮参数，每次只能更新一次，那是不是就退化成普通的 AC 算法了呢？单个 policy 的代码你可以参考一下这个仓库里的 a2c.py

你说的熵问题我不太明白，PPO 的实践版本用 clip 替代了相对熵的计算，实际实现过程中已不涉熵的计算。（不过可能是我实现的有问题，这个 PPO 代码的效果并不好，仅供参考

[heyfavour]

A2C和PPO还是有差别的吧，PPO是稳定的A2C，我看了很多的代码都是一个actor，我还以为你借鉴了Double DQN,TD3你试试使用single policy能否收敛

[gouxiangchen]

你好，

能否提供一个单actor的PPO代码给我参考一下。

根据PPO的论文，PPO clip 版本的目标函数是：

参考（https://arxiv.org/abs/1707.06347v2）

目标函数中是有两个policy的，old policy 负责经验数据的采集，来更新online policy，每一轮更新完后old policy和online policy同步。

另外，可参考另一位大佬的PPO代码，同样是old policy 和 online policy 两个并行。（https://github.com/nikhilbarhate99/PPO-PyTorch）

我之前的回答意思是，如果想要让PPO只有一个policy，那么就会按照A2C的方式来实现。PPO中引入两个policy的原因并不是和double dqn、TD3一样为了降低偏差（只有一个policy也能工作），而是本身算法的原理就需要两个policy，单个policy就不是PPO了。

[heyfavour]

，那么就会按照A2C的方式来实现。PPO中引入两个policy的原因并不是和double dqn、TD3一样为了降低偏差（只有一个policy也能工作），而是本身算法的原理就需要两个policy，单个policy就不是P

我看代码是用他们采集了一批数据，然后保存一开始的dist，这样每次变动都是新的dist和旧得dist去比较，每个epoch多次min_batch 更新比较得方式来更新，我不知道这样对不对，但是我们看多star很高的PPO都是这么写得
https://github.com/andri27-ts/Reinforcement-Learning/blob/master/Week5/PPO.py
https://github.com/AI4Finance-LLC/ElegantRL/blob/master/eRL_demo_SingleFilePPO.py

[heyfavour]

你好，

能否提供一个单actor的PPO代码给我参考一下。

根据PPO的论文，PPO clip 版本的目标函数是：

参考（https://arxiv.org/abs/1707.06347v2）

目标函数中是有两个policy的，old policy 负责经验数据的采集，来更新online policy，每一轮更新完后old policy和online policy同步。

另外，可参考另一位大佬的PPO代码，同样是old policy 和 online policy 两个并行。（https://github.com/nikhilbarhate99/PPO-PyTorch）

我之前的回答意思是，如果想要让PPO只有一个policy，那么就会按照A2C的方式来实现。PPO中引入两个policy的原因并不是和double dqn、TD3一样为了降低偏差（只有一个policy也能工作），而是本身算法的原理就需要两个policy，单个policy就不是PPO了。

另外我理解的PPO本身就是A2C的变种，对收敛的大小进行了限定使得模型更加稳定，所以我觉得单actor没什么问题啊

[gouxiangchen]

，那么就会按照A2C的方式来实现。PPO中引入两个policy的原因并不是和double dqn、TD3一样为了降低偏差（只有一个policy也能工作），而是本身算法的原理就需要两个policy，单个policy就不是P

我看代码是用他们采集了一批数据，然后保存一开始的dist，这样每次变动都是新的dist和旧得dist去比较，每个epoch多次min_batch 更新比较得方式来更新，我不知道这样对不对，但是我们看多star很高的PPO都是这么写得
https://github.com/andri27-ts/Reinforcement-Learning/blob/master/Week5/PPO.py
https://github.com/AI4Finance-LLC/ElegantRL/blob/master/eRL_demo_SingleFilePPO.py

你说的保存 dist 是网络参数吧？那就是隐含存在另一个 policy。PPO 作为策略梯度类的算法，确实可以说是 A2C 的变种，但根据他的公式，总是或显式或隐式地存在新旧两个 policy。单个 actor 也没问题，只是在更新之前需要计算出“更新之前”的 policy prob （\pi_{old}）。两个 actor 则是显式地写出了 old policy，事实上效果是一样的，显式的更容易理解吧。