父子文档检索问答系统,基于LLM和向量检索。
主要使用:Langchain+fastapi+qwen2-7b+faiss
- vllm_fastapi.py: 部署qwen2-7b模型
- sample_chat.py: langchain调用qwen2-72b模型
- vector_save.py: 通过Langchain的父子文档切片器,将文档切片并保存到faiss中。
- retrival_industry.py: 检索文档,拼接Ref并调用微调后的qwen2-7b模型进行问答。
- BCErerank.py: 源代码与pylance不兼容出错,更换本地文件。
- eval.py: 评估模型效果:ROUGE和BLEU。
需要根据自己的模型与数据,进行调整
python vllm_fastapi.py
python sample_chat.py
python vector_save.py
python retrival_industry.py
python eval.py