Skip to content

Zeyi-Lin/LLM-Finetune

Repository files navigation

LLM Finetune

实验细节看:swanlab swanlab

准备工作

安装环境:pip install -r requirements.txt

文本分类任务-数据集下载:在huangjintao/zh_cls_fudan-news下载train.jsonltest.jsonl到根目录下。

命名实体识别任务-数据集下载:在qgyd2021/chinese_ner_sft下载ccfbdci.jsonl到根目录下。

训练

模型 任务 运行命令 Notebook 文章
Qwen2-1.5b 指令微调-文本分类 python train_qwen2.py Jupyter Notebook 知乎
Qwen2-1.5b 指令微调-命名实体识别 python train_qwen2_ner.py Jupyter Notebook 知乎
GLM4-9b 指令微调-文本分类 python train_glm4.py Jupyter Notebook 知乎
GLM4-9b 指令微调-命名实体识别 python train_glm4_ner.py Jupyter Notebook 知乎

推理

Qwen2系列:

python predict_qwen2.py

GLM4系列:

python predict_glm4.py

引用工具

  • SwanLab:AI训练记录、分析与可视化工具

About

大语言模型微调,Qwen2、GLM4指令微调

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published