如果您想直接使用,避免二次开发,可以查看下边这个库 https://github.com/coderabbit214/bibliothecarius
go基于向量数据库与GPT3.5的通用本地知识库方案(A universal local knowledge base solution based on vector database and GPT3.5)
- 将本地答案数据集,转为向量存储到向量数据
- 当用户输入查询的问题时,把问题转为向量然后从向量数据库中查询相近的答案topK 这个时候其实就是我们最普遍的问答查询方案,在没有GPT的时候就直接返回相关的答案整个流程就结束了
- 现在有GPT了可以优化回答内容的整体结构,在单纯的搜索场景下其实这个优化没什么意义。但如果在客服等的聊天场景下,引用相关领域内容回复时,这样就会显得不那么的突兀。
sequenceDiagram
participant 用户
participant OpenAI embeddings模型
participant 向量数据库
用户->>+OpenAI embeddings模型: 上传数据
OpenAI embeddings模型->>+向量数据库: 存储向量
sequenceDiagram
participant 用户
participant embeddings计算
participant 向量数据库
participant ChatGPT
用户->>+embeddings计算: 发出请求
embeddings计算->>+向量数据库: 查询
向量数据库-->>-embeddings计算: 返回查询结果
embeddings计算-->>-用户: 返回向量值
用户->>+ChatGPT: 组装问题请求
ChatGPT-->>-用户: 返回答案
./config/config.yaml
server:
port: 9999
openai:
key: xx
qdrant:
host: https://qdrant:6333
collection-name: test
docker-compose up -d
curl --location --request POST 'https://127.0.0.1:9999/data/json' \
--header 'Content-Type: application/json' \
--data-raw '[
{
"title": "普通感冒",
"text": "您会出现喉咙发痒或喉咙痛,流鼻涕,流清澈的稀鼻涕(液体),有时轻度发热"
},
{
"title": "常年过敏",
"text": "症状包括鼻塞或流鼻涕,鼻、口或喉咙发痒,眼睛流泪、发红、发痒、肿胀,打喷嚏。"
}
]'