MTEB-zh 是一个使用 MTEB 框架评测中文 Embedding 模型的 BenchMark，包含文本分类，文本重排，以及文本检索等任务。

• M3E (m3e-small, m3e-base)
• text2vec
• DMetaSoul
• UER
• ErLangShen
• openai
• minimax
• luotuo

luotuo 和 minimax 都是在实验和测试阶段，因此只是在接口上支持了这两个模型，但并未进行评测。

• 数据集选择，选择开源在 HuggingFace 上的 6 种文本分类数据集，包括新闻、电商评论、股票评论、长文本等
• 评测方式，使用 MTEB 的方式进行评测，报告 Accuracy。

• 数据集选择，使用 T2Ranking 数据集，由于 T2Ranking 的数据集太大，openai 评测起来的时间成本和 api 费用有些高，所以我们只选择了 T2Ranking 中的前 10000 篇文章
• 评测方式，使用 MTEB 的方式进行评测，报告 map@1, map@10, mrr@1, mrr@10, ndcg@1, ndcg@10
• 注意！从实验结果和训练方式来看，除了 M3E 模型和 openai 模型外，其余模型都没有做检索任务的训练，所以结果仅供参考。

TODO

1. 安装依赖

pip install -r requirements.txt

2. 运行评测脚本

python run_mteb_zh.py --model-type <model_type> --model-id <model_id: Optional>

3. 查看帮助

python run_mteb_zh.py --help

评测 M3E-base 模型

python run_mteb_zh.py --model-type sentence_transformer --model-id moka-ai/m3e-base

评测 UER 模型

python run_mteb_zh.py --model-type sentence_transformer --model-id uer/sbert-base-chinese-nli

评测 ErLangShen 模型

python run_mteb_zh.py --model-type erlangshen

如果你想要将自己的模型也加入到支持列表中，可以直接在此项目中提 issue，我们会第一时间支持您的模型。

from mteb import MTEB
from tasks import TNews

class MyModel():
    def encode(self, sentences, batch_size=32, **kwargs):
        """ Returns a list of embeddings for the given sentences.
        Args:
            sentences (`List[str]`): List of sentences to encode
            batch_size (`int`): Batch size for the encoding

        Returns:
            `List[np.ndarray]` or `List[tensor]`: List of embeddings for the given sentences
        """
        pass

model = MyModel()
evaluation = MTEB(tasks=[TNews()])
evaluation.run(model)