该存储库包含 Refact WebUI，用于代码模型的微调和自托管，您稍后可以在 Refact 插件内部使用它来完成代码完成和聊天。
- 开源代码模型的微调
- 自托管开源代码模型
- 下载和上传 Lloras
- 在 Refact 插件内使用模型进行代码补全和聊天
- 模型分片
- 在一个 GPU 上托管多个小模型
- 使用 OpenAI 和 Anthropic 密钥连接 GPT 模型进行聊天
运行自托管服务器的最简单方法是预构建 Docker 映像。
安装具有 NVidia GPU 支持的 Docker。在 Windows 上，您需要首先安装 WSL 2，这是执行此操作的指南。
使用以下命令运行 docker 容器：
docker run -d --rm --gpus all --shm-size=256m -p 8008:8008 -v refact-perm-storage:/perm_storage smallcloud/refact_self_hosting:latest
perm-storage是安装在容器内部的体积。所有配置文件、下载的权重和日志都存储在这里。
要升级 docker，请使用删除它docker kill XXX（该卷perm-storage将保留您的数据），运行docker pull smallcloud/refact_self_hosting并再次运行它。
现在您可以访问http:https://127.0.0.1:8008来查看服务器Web GUI。
Docker 命令超简短回顾
将您自己添加到 docker 组以在没有 sudo 的情况下运行 docker（适用于 Linux）：sudo usermod -aG docker {your user}
列出所有容器：
docker ps -a
启动和停止现有容器（停止不会删除它们）：
docker start XXX
docker stop XXX
显示来自容器的消息：
docker logs -f XXX
删除容器及其所有数据（卷内的数据除外）：
docker rm XXX
查看或删除 docker 卷：
docker volume inspect VVV
docker volume rm VVV
有关不使用 docker 容器的安装，请参阅CONTRIBUTING.md 。
转到插件设置并设置自定义推理 URLhttp:https://127.0.0.1:8008
捷脑公司
设置 > 工具 > Refact.ai > 高级 > 推理 URLVS代码
扩展 > Refact.ai 助手 > 设置 > Infurl| 模型 | 完成 | 聊天 | 微调 |
|---|---|---|---|
| 重构/1.6B | + | + | |
| starcoder/1b/base | + | + | |
| starcoder/3b/base | + | + | |
| starcoder/7b/base | + | + | |
| starcoder/15b/base | + | ||
| starcoder/15b/plus | + | ||
| starcoder2/3b/基础 | + | + | |
| starcoder2/7b/基础 | + | + | |
| starcoder2/15b/基础 | + | + | |
| 向导编码器/15b | + | ||
| 科德拉马/7b | + | + | |
| 淀粉at/15b/β | + | ||
| 向导lm/7b | + | ||
| 向导lm/13b | + | ||
| 向导LM/30b | + | ||
| 美洲驼2/7b | + | ||
| 美洲驼2/13b | + | ||
| deepseek-coder/1.3b/base | + | + | |
| deepseek-coder/5.7b/mqa-base | + | + | |
| 魔法编码器/6.7b | + | ||
| 米斯特拉尔/7b/指令-v0.1 | + | ||
| mixtral/8x7b/instruct-v0.1 | + | ||
| deepseek-coder/6.7b/指令 | + | ||
| deepseek-编码器/33b/指令 | + | ||
| 稳定/3b/代码 | + |
Refact 可以在 BSD-3-Clause 许可下免费供个人和小型团队使用。如果您想使用 Refact for Enterprise，请联系我们。
你也可以在没有 docker 的情况下安装 refact repo：
pip install .如果您的 GPU 具有 CUDA 功能 >= 8.0，您还可以安装 flash-attention v2 支持：
FLASH_ATTENTION_FORCE_BUILD=TRUE MAX_JOBS=4 INSTALL_OPTIONAL=TRUE pip install .问：我可以在 CPU 上运行模型吗？
A：它还不能在CPU上运行，但是肯定可以实现。
- 贡献CONTRIBUTING.md
- GitHub 问题和错误
- 用于社区支持和讨论的社区论坛
- 与社区成员聊天的Discord
- Twitter了解产品新闻和更新