关于 LitePPO 的相关配置

[annn521]

在 https://alibaba.github.io/ROLL/docs/User%20Guides/Algorithms/LitePPO 中提到 LitePPO 的相关配置，其中

adv_estimator: "gae"
num_return_sequences_in_group: 1

LitePPO 采样按组求均值以及按 batch 归一化的方式，所以为什么优势计算方法是 gae 而不是 grpo 呢，以及为什么每个 prompt 仅仅一个 response.

[PanAndy]

对reward的处理方式, 按组求均值以及按 batch 归一化，在adv_estimator之前reward_postprocess中计算的，代码见：https://github.com/alibaba/ROLL/blob/1f9d2171ebd7b78dfa42cf10efd7c3e964a25332/roll/pipeline/rlvr/rlvr_pipeline.py#L637C64-L637C82

num_return_sequences_in_group: 1， 可以根据需要set。

[annn521]

感谢解答。