微调后没起作用

[MrLuer]

hi，我用默认的lora微调脚本微调2400step后，使用gui部署。向他提问“你是谁”，回答是清华大学的聊天机器人。而使用仓库预训练的lora模型则回答是嬛嬛。这看上去是训练没起到作用？

[navono]

我也遇到了同样的问题。
我用的是西游记的文本。

[YANGCHEN205]

hi，我用默认的lora微调脚本微调2400step后，使用gui部署。向他提问“你是谁”，回答是清华大学的聊天机器人。而使用仓库预训练的lora模型则回答是嬛嬛。这看上去是训练没起到作用？

你好，1的问题解决了，我也遇到了这种问题，chatglm1的效果比2要好一点

[brucewayne798]

我也遇到了同样的问题。 我用的是西游记的文本。

里面的数据集我觉得是有问题。西游记的文本有很多剧情提取，有的output都不是孙悟空的回答，这样练出来不会有太大作用，甚至会让模型变呆，很多通用能力会变得很差。你可以试下他们在openlab上部署的服务，回答效果我觉得不太行。所以需要在数据集上动动心思。