- 博客(4)
- 收藏
- 关注
RSS订阅原创 基于wasmedge方法使用openbayes部署Yi模型，并调试CLI对话和webui
使用openbayes部署Yi模型，并调试CLI对话和webui，顺带展示了prompt工程
2024-02-07 15:58:56
1448
原创 零一万物Yi大模型vllm推理时Yi-34B或Yi-6bchat重复输出的解决方案
使用vllm推理yi模型的时候，发送消息中需要加入"stop_token_ids": [7]，就可以解决重复刷屏的问题。破案了同志们，用vllm直接推理yi模型确实会重复刷屏，但是用官方给的web_demo推理是没问题的。在使用yi-34B进行问答的时候，出现了模型重复输出内容的情况，如下图所示。在群里等待了几天之后，又有群友反馈出现了这个情况。
2024-02-04 16:44:56
2147
3
原创 tokens关于在输出字符时出现部分乱码
参考：GitHub - someoneAlready/mlx-examples: Examples in the MLX frameworkhttps://www.fileformat.info/info/unicode/char/fffd/index.htm。tokens是大模型输出的基本单位，而不是字符的基本单位。在使用大模型的时候，输出的tokrnizer在解析时就会出现上述的问题。解决方案：修正的代码中是遇到这个字符，就不吐出来，只把token加入待解析的队列，然后等下个token出来后一起解析。
2024-02-04 16:41:38
609
原创 memcached在php下的应用 实验环境部署 郝铠锋
memcached在php下的应用这是一篇论文的实验环境部署说明。作者在这里给出比原先使用yum部署实验环境更加便捷高效的方法。[1]郝铠锋.memcached在PHP下应用研究[J].中国新通信,2018,20(15):89. 实验环境解部署：1.使用vmware 安装 centos7 系统 64位，nat模式连接网络。2.配置好网络后，不要着急安装apache和nginx等服务，如果安装了建议卸载并删除配置文件。如果之前有安装，一定要做这一步。3.安装phpstudy或者宝塔面板 (这里
2020-10-17 00:09:02
157
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人