将RWKV World/World-CHN系列模型由原生pth转为HF格式,并进行基于peft库的Lora增量微调+Alpaca全量微调。
环境:WIN10+Torch1.31+Cuda11.6
注意:peft需要0.2版本,或使用RingPeft库 https://github.com/StarRing2022/ChatGPTX-Uni
代码说明:
convert_rwkv_checkpoint_to_hf.py:RWKV的原生pth格式转为HF格式
generate_hf.py:使用HF的RWKV模型架设服务
hello_hf.py:测试HF的RWKV模型
cover_alpaca2jsonl.py:将json数据集转为jsonl数据集
tokenize_dataset_rowsjsonl.py:对jsonl数据集转为transfomers的datasets文件夹
finetunejsonl_hf.py:利用Peft库对RWKV HF模型进行Lora微调,在datasets文件夹上
alpacatrain.py:使用test.json的alpaca全量微调模型
alpacatest.py:测试alpaca全量微调模型
RWKV-4-Word模型(World-CHN可直接参照)转换范例:
https://huggingface.co/StarRing2022/RWKV-4-World-1.5B
https://huggingface.co/StarRing2022/RWKV-4-World-3B
https://huggingface.co/StarRing2022/RWKV-4-World-7B
一个基于RWKV-4-World-1.5B的Lora增量微调范例(2条数据,100个epoch,仅测试):
HF开源地址:
https://huggingface.co/StarRing2022/RWKV-4-World-1.5B-Lora
一个基于RWKV-4-World-1.5B的Alpaca全量微调范例(2条数据,1个epoch,仅测试):
HF开源地址:
https://huggingface.co/StarRing2022/RWKV-4-World-1.5B-Alpaca