Skip to content

使用serverless devs将 开源Bert模型 bge-m3 部署到函数计算上

License

Notifications You must be signed in to change notification settings

devsapp/fc-bge-m3-api

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

注:当前项目为 Serverless Devs 应用,由于应用中会存在需要初始化才可运行的变量(例如应用部署地区、函数名等等),所以不推荐直接 Clone 本仓库到本地进行部署或直接复制 s.yaml 使用,强烈推荐通过 s init ${模版名称} 的方法或应用中心进行初始化,详情可参考部署 & 体验

fc3-bg3-m3-api 帮助文档

使用serverless devs将 开源Bert模型 bge-m3 部署到函数计算上

前期准备

使用该项目,您需要有开通以下服务并拥有对应权限:

服务/业务 权限 相关文档
函数计算 创建函数 帮助文档 计费文档

部署 & 体验

案例介绍

本应用旨在帮助开发者实现将BAAI/bge-m3 模型应用部署到阿里云函数计算,该应用可以帮助进行问题的近似比对,应用与RAG场景。

提供了API的访问能力,支持动态更换模型

使用流程

部署成功之后我们访问域名进入 swagger Ui界面

m3

我们可以访问 /compare_sentences 接口进行调试,该接口的参数如下:

{
  "source": "string",
  "compare_to": [
    "string"
  ]
}

其中 source 是字符串类型,表示用来对照的问题, compare_to 是字符串的数组, 该问题相似的问题

比如输入的测试内容:

{
  "source": "什么是函数计算",
  "compare_to": [
    "你好",
    "函数计算是阿里云Serverless计算服务,提供专业的Serverless架构服务托管",
    "今天天气怎么样",
    "函数计算是什么",
    "怎么用函数计算"
  ]
}

最终的答案如下:

{
  "data": [
    0.38152584433555603,
    0.7851519584655762,
    0.36474600434303284,
    0.9892725944519043,
    0.8413630723953247
  ],
  "object": "list"
}

其中,data的结果展示了跟问题的近似值情况, 根据实际的表现也是符合预期

注意事项

开发者社区

您如果有关于错误的反馈或者未来的期待,您可以在 Serverless Devs repo Issues 中进行反馈和交流。如果您想要加入我们的讨论组或者了解 FC 组件的最新动态,您可以通过以下渠道进行:

微信公众号:serverless 微信小助手:xiaojiangwh 钉钉交流群:33947367

About

使用serverless devs将 开源Bert模型 bge-m3 部署到函数计算上

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published