PPO full parameters

[Anonymousplendid]

为了训练全量的模型，我们查看并修改了代码，并没有发现PPO部分有明显的逻辑限制。LoRA具体的限制在于1.手动限制2.使用actor，critic时保存的是LoRA，直接换LoRA而不是换模型。我们目前只找到了这两处限制，训练代码是可以跑通的，但是训练曲线有一些问题，其他issue下有讨论。LoRA还有什么其他的PPO中的限制吗？

[hiyouga]

全量时候有没有传入 ref_model？

[TyrionZK]

1、"为了训练全量的模型，我们查看并修改了代码，并没有发现PPO部分有明显的逻辑限制。"不知道楼主修改了哪里呢？@Anonymousplendid

2、我发现CustomPPOTrainer初始化函数中有异常，“PPOTrainer is incompatible with DeepSpeed.”但还没搞清楚哪里不兼容了。@hiyouga 可以给解释一下吗

[Anonymousplendid]

全量时候有没有传入 ref_model？

没有传入refmodel，我查了一下ref的创建过程，似乎没什么问题？

[Anonymousplendid]

1、"为了训练全量的模型，我们查看并修改了代码，并没有发现PPO部分有明显的逻辑限制。"不知道楼主修改了哪里呢？@Anonymousplendid

2、我发现CustomPPOTrainer初始化函数中有异常，“PPOTrainer is incompatible with DeepSpeed.”但还没搞清楚哪里不兼容了。@hiyouga 可以给解释一下吗

原题中已经写明

[Anonymousplendid]

发现了新的问题，rm部分似乎没有特别大的问题。ppo部分accelerate不支持多模型zero3，会报错weight must be 2-D.