Skip to content
/ Fay Public
forked from xszyou/Fay

Fay是一个完整的开源项目,包含Fay控制器及数字人模型,可灵活组合出不同的应用场景:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯、Her。 开源项目,非产品试用!!!

License

Notifications You must be signed in to change notification settings

deepeye/Fay

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 

Repository files navigation


Fay

Fay开源数字人框架

如果你需要是一个线上线下的销售员,请移步带货完整版

如果你需要的是一个人机交互的数字人助理(当然,你也可以命令它开关设备),请移步 助理完整版

如果你需要是一个可以自主决策、主动联系主人的agent,请移步agent版

框架文档:https://qqk9ntwbcit.feishu.cn/wiki/space/7321626901586411523

“所有产品都值得用数字人从新做一遍”

Fay数字人2024.07.03更新:

🌟Fay-agent版:

1、新增阿里云tts对接;

2、解决tts前面几个字不读的问题;

3、优化agent调用工具时递归的问题;

4、优化历史记录读取、存储问题;

5、增加自定义读取历史记录条数;

6、优化prompt逻辑;

7、优化获取结果时,误报错误问题。

🌟Fay-带货版&助理版:

1、优化授权表存储逻辑;

2、新增阿里云tts对接;

3、解决tts前面几个字不读的问题

4、优化百度情感分析、灵聚授权问题。

Fay数字人2024.06.26更新:

🌟Fay-agent版:

1、新增支持azure tts;

2、tts配置分离;

3、去除农业相关工具;

4、agent逻辑调整;

5、新增可接入moonshot;

6、分离知识库工具,使用需自行在工具内配置。

Fay数字人2024.06.19更新:

🌟Fay-助理版:

  1. 修复langchain安装时默认包版本问题;

2、提供moonshot对接参考。

🌟Fay-带货版:

  1. 优化入场欢迎文案;

  2. 优化闲时文案;

  3. 新增弹幕规范检查;

  4. 新增弹幕违规检查;

  5. 新增本地违禁词配置;

  6. 新增违禁处理方式配置;

  7. 新增弹幕格式过滤;

  8. 优化请求角色定义

🌟b站弹幕监听:

  1. 修复web接口初始化buvid失败的问题;

  2. 移除开放平台模型的UID。

Fay数字人2024.06.12更新:

🌟Fay-agent&助理版&带货版:

优化远程音频连接和数字人连接显示。

🌟Fay-UE5:

  1. 修复消息窗口消息重叠显示问题;

  2. 开放azure api 区域设置。

Fay数字人2024.06.05更新:

🌟Fay-助理版:

1、增加funasr热词识别。

🌟Fay-agent版:

1、新增面板发送消息工具;

2、增加funasr热词识别。

Fay数字人2024.05.22更新:

🌟Fay-带货版:

1、调整gpt代理默认为空。

🌟Fay-agent版:

1、去除语音输出工具,改为语音输出只受“语音合成”按钮影响。

🌟Fay-助理版:

1、调整gpt代理默认为空;

2、去除funasr_wss方法;

3、rasa 支持llma3并优化接口;

4、rasa支持通过vllm部署大模型;

5、支持通过vllm部署的本地模型启动项目;

6、采用fastchat既可以降低显存,又能提升响应速度,支持主流模型部署;

7、修复类 GPT调用失败问题;

8、新增metahuman-stream对接示例 https://qqk9ntwbcit.feishu.cn/wiki/Ik1kwO9X5iilnGkFwRhcnmtvn3e

🌟Fay-UE5:

1、增加文本输入框(与Fay会同步消息),方便网页端和移动端操作。

Fay数字人2024.05.15更新:

🌟Fay-带货版:

1、新增baidu情绪分析秘钥为空时不使用情绪分析;

2、去除讯飞nlp。

🌟Fay-助理版:

1、新增baidu情绪分析秘钥为空时不使用情绪分析。

🌟Fay-UE5:

1、增加语音按钮,方便网页端和移动端操作;

2、修复ue4男模工程。

✨本期推荐学习:

1、metahuman-stream对接Fay:

https://qqk9ntwbcit.feishu.cn/wiki/Ik1kwO9X5iilnGkFwRhcnmtvn3e

Fay数字人2024.05.08更新:

🌟Fay-agent版:

1、配置项新增gpt模型配置、gpt代理默认空;

本期推荐学习:

1、【在Fay接入ufo执行任务】 https://www.bilibili.com/video/BV1rJ4m1P7Ee/

文档:https://qqk9ntwbcit.feishu.cn/wiki/BX2gw9r8JicKLukGbOZcs9YdnGh

Fay数字人2024.04.22更新:

🌟Fay-带货版:

1、使用百度情感分析替换讯飞;

2、优化白屏问题。

🌟Fay-助理版:

1、使用百度情感分析替换讯飞;

2、优化白屏问题。

3、利用vllm对大模型进行加速推理,提升响应时间;

4、修改rasa对接ChatGLM3-6b模型支持,也可以单独接入ChatGLM3-6B,可以让ChatGLM3-6b提供与openai完全一样的接口。

🌟Fay-agent版:

1、优化获取网页内容工具的兼容性问题;

2、新增gpt代理配置;

3、优化白屏问题。

Fay数字人2024.04.15更新:

🌟Fay-agent版:

  1. 前端禁止开启后修改;

  2. 提高funasr的稳定性。

🌟Fay-助理版:

  1. 精简nlp模块;

  2. azure声音模型列表载入方式修改;

  3. 增加自动重新载入知识库;

  4. 提高funasr的稳定性;

  5. 前端禁止开启后修改;

  6. 增加文字回复也可以声音输出。

🌟Fay-带货版:

  1. nlp模块精简;

  2. azure声音模型列表载入方式修改;

  3. 前端禁止开启后修改。

Fay数字人2024.04.08更新:

🌟Fay-agent版:

  1. 优化gpt兼容接口(为ue新工程架构准备)。

🌟Fay-助理版:

  1. *支持azure最新情感音频;

  2. 优化gpt兼容接口(为ue新工程架构准备)。

🌟Fay-带货版:

  1. *支持azure最新情感音频。

✨本期推荐学习:

1、【Fay数字人的ue表情制作-哔哩哔哩】 https://b23.tv/QbOMQQ7

2、【Fay数字人通过RAG方式管理知识库-哔哩哔哩】 https://b23.tv/iTsJPLO

Fay数字人2024.04.01更新:

🌟Fay-agent版:

增加agent工具:连接本地知识库(pdf)查询、获取网页内容;

🌟Fay-助理版:

1、去除已暂停使用的代码

2、新增langchain连接本地知识库(pdf)查询

🌟Fay-带货版:

去除已暂停使用的代码

Fay数字人2024.03.25更新:

🌟Fay-agent版:

1、增加agent工具:python执行器、网页检索器;

🌟bilibili弹幕监听:

1、修复兼容性问题

Fay数字人2024.03.18更新:

🌟Fay-带货版:

1、问答优先级调整

🌟Fay-助理版:

1、问答优先级调整

2、新增接入langchain nlp模块

3、新增输出问题前必须开启服务提醒

🌟Fay-agent版:

1、清除情绪计算的内容;

Fay数字人2024.03.11更新:

🌟Fay-agent版:

1、取消重启重置日程功能;

2、上传主动发送微信消息tool(未引入)。

🌟Fay-ue5:入口

1、发布5.3模型。

✨本期推荐阅读:

1、让agent主动给微信发送消息_哔哩哔哩_bilibili

2、老ue工程补充打断功能_哔哩哔哩_bilibili

Fay数字人2024.03.04更新:

🌟Fay-助理版:

1、去除live2d显示,优化白屏问题;

2、集成funASR最新版本

🌟Fay-agent版:

1、优化prompt;

2、去除llm chain逻辑,减少agent与llm chain切换的token浪费;

3、优化“思考中...”log,方便后续数字人设计更友好的交互逻辑。

4、集成funASR最新版本

Fay数字人2024.02.27更新:

🌟Fay-助理版:

1、新增通义星辰nlp对接。

Fay数字人2024.02.19更新:

🌟Fay-Android连接器:

1、优化通知弹出逻辑。

🌟Fay-agent版:

1、增强funasr稳定性。

Fay数字人2024.02.05更新:

🌟Fay-助理版:

1、新增tts合成开关;

2、调整对话内容存储逻辑;

3、增强funasr稳定性;

4、修复更新情绪有误问题;

5、普通唤醒模式取消唤醒词去除。

🌟Fay-agent版:

1、解决聊天记录存储线程同步问题;

2、✨新增tts合成开关;

3、增强funasr稳定性;

4、增加开启服务提醒;

5、fay.db记录上区分agent还是llm回应;

6、✨更换最新model gpt-4-0125-preview ;

7、✨优化聊天prompt;

8、修复agent meney里的权重fn bug;

9、删除时间查询tool;

10、执行任务触发无需在聊天窗口显示及db中保存;

11、修复删除日程bug;

🌟Fay-带货版:

1、修复版本问题导致的错误;

2、新增微信视频号监听;

3、修复更新情绪有误问题。

✨本期推荐阅读:

1、带货版接入微信视频号:https://qqk9ntwbcit.feishu.cn/wiki/DC4cwhYLoiZt2HkO2CecU3jCnGd

2、Fay数字人NLP的选择:https://qqk9ntwbcit.feishu.cn/wiki/Tz4dw6LMUidnqhkv0cvc4FZCnld

[加油]祝大家工作愉快!&[庆祝]新春快乐!

联系我们,请关注微信公众号 fay数字人

About

Fay是一个完整的开源项目,包含Fay控制器及数字人模型,可灵活组合出不同的应用场景:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯、Her。 开源项目,非产品试用!!!

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published