详细描述请参见 知乎：chatglm2-2b+sdxl1.0+langchain打造私有AIGC（六）-完结[https://zhuanlan.zhihu.com/p/669430175]

1.开源版本的LLM，是基于ChatGLM2-6B-INT4（运行时显存暂用：约6G）的量化模型进行开发的，因为考虑到大多数人的显卡并没有支持全量模型的能力。如果你的显卡够好，请自己替换成全量模型，甚至32K模型（我开发的时候使用的32K模型ChatGLM2-2B-32K，运行时显存占用：13G）

2.如果不使用ChatGLM2-6B-INT4的量化模型，可能会导致应用内的提示词与模型不能完美契合的情况，尤其是在Agent模块，让LLM判断使用哪些工具的场景。遇到这种情况，请自行修改提示词

3.开源仓库中只包含应用源码，不包含LLM，Embedding，SDXL的模型文件，如有需要模型文件的朋友可以留言，我私发，也可以自行去huggingface下载

应用分为3个模块

在这个模块里主要有三个功能，一是对话功能，二是上传文本文件进行向量化的功能，三是上传自定义工具功能 1.1、对话功能

在文本框输入信息，点击【发送信息】按钮实现与AI对话

1.2、上传文本文件功能

在页面最右边，拖入事先处理好的文本文件（建议是txt文件），设置好参数，点击【处理文件】。便可将文档中的内容进行向量化处理（向量化后的文档，目前需配合工具使用，可自己修改源码直接使用）

1.3、上传自定义工具

在页面输入框的下方，有一个【工具】的下拉框，还有一个【上传工具】的上传组件，将工具拖入到上传组件中，点击【加载工具】，便可将工具植入到应用中，在下来框中出现对应选项。（工具其实就是.py文件，自己可以参照源码，写一个自己的.py文件，上传之后就可以应用便会加载你的.py文件）

模块思路：在这个页面，如果【工具】下拉框选择了一个或多个工具，当点击【发送消息】后，应用会先让LLM判断是否有合适的工具来处理用户输入，如果判断出没有合适的工具则会让LLM直接回答用户的输入，如果有合适的工具，则会调用对应的工具

工具思路：1/根据用户输入信息在工具中提取关键词，2/根据关键词到向量数据库查找对应文档，3/根据对应文档内容让LLM生成目标内容

如果对以上内容不能理解，请翻阅我之前的文章，里面有介绍整个应用的流程

【清除历史会话】：应用中的每次非工具调用情况下的问答，都是将整个历史对话记录当成输入上下文，传给LLM模型，因为LLM模型的token限制，有时候会导致索引报错，所以有此功能

【重新加载LLM模型】：因为显存有限，一台电脑中最好只加载一个模型，当使用SDXL模型生成图片的时候，应用会自动卸载掉之前加载的LLM模型（LLM模型在应用启动时自动加载），所以设置了重新加载LLM模型功能

在【图片描述】输入图片描述，务必用【】将描述内容括起来（一条描述内容用一个【】），如果你不喜欢使用【】请自行在源码中修改

在图片描述的上方，有个风格选择下拉框（chatglm2-2b+sdxl1.0+langchain打造私有AIGC（五））。

旁边还有一个多选的下拉框，用于选择加载哪些loRA模型。对于如何将lora模型嵌入到应用中，这个功能我会在下个版本中添加，目前可以手动加模型放置到本地电脑的某个磁盘文件夹下，再到应用中修改两处配置文件即可，下面讲解代码结构的时候会讲到

点击【生成】按钮后，应用默认会为每一条描述内容，生成2张图片

1、界面左侧上传原始图片，2、在界面左下方选择图片风格，3、界面右下角输入关键字，4、点击生成图片

应用默认是为每一张原始图生成4张最终图，特别强调一下，此模块主要是在修改图片的风格，对于在图片内容的修改目前并不能实现

在这个模块里面，描述内容可以不用加【】

图生图的具体效果：

[chatglm2-2b+sdxl1.0+langchain打造私有AIGC（一）] (https://zhuanlan.zhihu.com/p/665933712)

BASE_CONFIG = { # 将需要进行向量化的文件上传到这个地址 "upload_file_base_path": "D:\EasyGC\application\utils\spider_resource\upload", # LLM大模型文件地址 "llm_model_path": "D:\ChatGLM2-6B\chatglm2-6b-model-int4", # chroma_db向量数据库文件存放地址 "chromadb_path": "D:\ChatGLM2-6B\knowledge_center\chroma_db", # 向量化模型文件存放地址 "embedding_model_path": "D:\Text2Vec", # refiner模型文件地址 "sdxl_refiner_path": "D:\ChatGLM2-6B\stable-diffusion-xl-refiner-1.0", # base模型文件地址 "sdxl_base_path": "D:\ChatGLM2-6B\stable-diffusion-xl-base-1.0", # sdxl的lora模型文件地址 "sdxl_lora_path": "D:\ChatGLM2-6B\stable-diffusion-xl-base-1.0\lora", # 百度翻译的APPID "baidu_appid": "", # 百度翻译的APPKEY "baidu_app_key": "" } "#base模型相关的vae文件地址" VAE_PATH = f"{BASE_CONFIG['sdxl_base_path']}\vae_fix" "#3图片生成之后的保存地址" BASE_FILE_PATH = "D:\ChatGLM2-6B\knowledge_center"

请根据自己实际情况按注释说明修改配置值