faster uniem

本项目是在uniem基础上的二次开发，优化了以下工作。极大的提升了训练和推理效率。 完全兼容sentence-transformer模型， 可以简单替换任意现有预训练基模型，比如M3E、bge等

• deepspeed训练加速
• transformers pipeline加速推理
• 根据数据格式自动选择训练策略
• 增加early stopping功能
• lora 微调
• 增加训练脚本和examples
• 实现双塔共享与不共享的自动配置
• 使用deepspeed重写finetune和trainer接口

uniem 项目的目标是创建中文最好的通用文本嵌入模型。

本项目主要包括模型的训练，微调和评测代码，模型与数据集会在 HuggingFace 社区上进行开源。

以下实验全是在单张V100 32G显卡中测试得到。训练速度提升一倍，显存节省24.5%

transformers pipeline 推理速度相较于sentence-transformers原生推理提高了7倍 transformers pipeline + deepspeed 推理提升 18倍

M3E 系列模型完全兼容 sentence-transformers ，你可以通过 替换模型名称 的方式在所有支持 sentence-transformers 的项目中无缝使用 M3E Models，比如 chroma, guidance, semantic-kernel 。

安装

pip install sentence-transformers

使用

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("moka-ai/m3e-base")
embeddings = model.encode(['Hello World!', '你好,世界!'])

uniem 提供了非常易用的 finetune 接口，几行代码，即刻适配！

from datasets import load_dataset

from uniem.finetuner import FineTuner

dataset = load_dataset('shibing624/nli_zh', 'STS-B')
# 指定训练的模型为 m3e-small
finetuner = FineTuner.from_pretrained('moka-ai/m3e-small', dataset=dataset)
finetuner.run(epochs=3)

• 数据集选择，选择开源在 HuggingFace 上的 6 种文本分类数据集，包括新闻、电商评论、股票评论、长文本等
• 评测方式，使用 MTEB 的方式进行评测，报告 Accuracy。

• 数据集选择，使用 T2Ranking 数据集，由于 T2Ranking 的数据集太大，openai 评测起来的时间成本和 api 费用有些高，所以我们只选择了 T2Ranking 中的前 10000 篇文章
• 评测方式，使用 MTEB 的方式进行评测，报告 map@1, map@10, mrr@1, mrr@10, ndcg@1, ndcg@10