该存储库包含 Refact WebUI,用于代码模型的微调和自托管,您稍后可以在 Refact 插件内部使用它来完成代码完成和聊天。
- 开源代码模型的微调
- 自托管开源代码模型
- 下载和上传 Lloras
- 在 Refact 插件内使用模型进行代码补全和聊天
- 模型分片
- 在一个 GPU 上托管多个小模型
- 使用 OpenAI 密钥连接 GPT 模型进行聊天
运行自托管服务器的最简单方法是预构建 Docker 映像。
安装具有 NVidia GPU 支持的 Docker。在 Windows 上,您需要首先安装 WSL 2,这是执行此操作的指南。
使用以下命令运行 docker 容器:
docker run -d --rm --gpus all -p 8008:8008 -v refact-perm-storage:/perm_storage -v refact-database:/var/lib/cassandra smallcloud/refact_self_hosting:latest
perm-storage
是安装在容器内部的体积。所有的配置文件、下载的权重和日志都存储在这里。
refact-database
是服务器存储用户统计信息的数据库卷。
要升级 docker,请使用删除它docker kill XXX
(该卷perm-storage
将保留您的数据),运行docker pull smallcloud/refact_self_hosting
并再次运行它。
现在您可以访问http:https://127.0.0.1:8008来查看服务器Web GUI。
Docker 命令超简短回顾
将您自己添加到 docker 组以在没有 sudo 的情况下运行 docker(适用于 Linux):sudo usermod -aG docker {your user}
列出所有容器:
docker ps -a
启动和停止现有容器(停止不会删除它们):
docker start XXX
docker stop XXX
显示来自容器的消息:
docker logs -f XXX
删除容器及其所有数据(卷内的数据除外):
docker rm XXX
查看或删除 docker 卷:
docker volume inspect VVV
docker volume rm VVV
有关不使用 docker 容器的安装,请参阅CONTRIBUTING.md 。
转到插件设置并设置自定义推理 URLhttp:https://127.0.0.1:8008
捷脑公司
设置 > 工具 > Refact.ai > 高级 > 推理 URLVS代码
扩展 > Refact.ai 助手 > 设置 > Infurl模型 | 完成 | 聊天 | 微调 |
---|---|---|---|
重构/1.6B | + | + | |
starcoder/1b/base | + | + | |
starcoder/3b/base | + | + | |
starcoder/7b/base | + | + | |
starcoder/15b/base | + | ||
starcoder/15b/plus | + | ||
向导编码器/15b | + | ||
科德拉马/7b | + | + | |
淀粉at/15b/β | + | ||
向导lm/7b | + | ||
向导lm/13b | + | ||
向导LM/30b | + | ||
美洲驼2/7b | + | ||
美洲驼2/13b | + | ||
deepseek-coder/1.3b/base | + | + | |
deepseek-coder/5.7b/mqa-base | + | + | |
魔法编码器/6.7b | + | ||
米斯特拉尔/7b/指令-v0.1 | + | ||
mixtral/8x7b/instruct-v0.1 | + | ||
deepseek-coder/6.7b/指令 | + | ||
deepseek-编码器/33b/指令 | + |
Refact 可以在 BSD-3-Clause 许可下免费供个人和小型团队使用。如果您想使用 Refact for Enterprise,请联系我们。
你也可以在没有 docker 的情况下安装 refact repo:
pip install .
如果您的 GPU 具有 CUDA 功能 >= 8.0,您还可以安装 flash-attention v2 支持:
FLASH_ATTENTION_FORCE_BUILD=TRUE MAX_JOBS=4 INSTALL_OPTIONAL=TRUE pip install .
问:我可以在 CPU 上运行模型吗?
A:它还不能在CPU上运行,但是肯定可以实现。
- 贡献CONTRIBUTING.md
- GitHub 问题和错误
- 用于社区支持和讨论的社区论坛
- 与社区成员聊天的Discord
- Twitter了解产品新闻和更新