Read this in English.
本代码库包含蚂蚁多模态认知团队在AntMMF中集成的多模态方向研究代码。AntMMF多模态框架封装了包括数据集管理、数据处理、训练流程、模型和模块在内的标准多模态功能,同时支持这些组件的自定义扩展。
- 2024.05: M2-Encoder核心网络结构SyCoca被ICML2024接收
- 2024.04: 增强指代理解能力的多模态大模型-Pink被CVPR2024接收,开源对应论文代码: Pink.
- 2024.03: M2-RAAP被SIGIR 2024接收,介绍了将CLIP模型高效拓展为SOTA的视频-文本检索模型的方法
- 2024.02: 开源中英双语多模态CLIP:M2-Encoder, 使用大规模中英文数据进行训练(~60亿图文对)
- 2023.12: 开源以下论文代码 SNP-S3, DMAE, and CNVid-3.5M.
- 2023.06: SNP-S3 被IEEE T-CSVT(Transactions on Circuits and Systems for Video Technology) 2023接收.
- 2023.05: DMAE 被ACM MultiMedia 2023接收.
- 2023.03: CNVid-3.5M 被CVPR 2023接收.
- 数据集
- CNVid-3.5M (CVPR-2023): 中文视频文本预训练数据集。
- 预训练方法及模型
- SNP-S3 (IEEE T-CSVT 2023): 语义增强的视频预训练。
- DMAE (ACM MM-2023): 双模态注意力增强和偏序对比学习的视频文本检索。
- EVE: 高效的零样本视频编辑方法。
- 请按照以下步骤初始化AntMMF运行环境。
# 创建新环境
conda create -n antmmf python=3.8
source activate antmmf
# 克隆项目代码到本地
git clone https://github.com/alipay/Ant-Multi-Modal-Framework
# 安装项目依赖
cd antmmf
pip install -r requirements.txt
如果您觉得AntMMF对您的工作有帮助,请考虑引用:
@misc{qp2023AntMMF,
author = {Qingpei, Guo and Xingning, Dong and Xiaopei, Wan and Xuzheng, Yu and Chen, Jiang and Xiangyuan, Ren and Kiasheng, Yao and Shiyu, Xuan},
title = {AntMMF: Ant Multi-Modal Framework},
howpublished = {\url{https://github.com/alipay/Ant-Multi-Modal-Framework}},
year = {2023}
}
本项目根据Apache 2.0 授权,在正确引用出处的情况下,允许在任何媒介中无限制地使用、分发和复制。
我们的代码基于FAIR mmf,感谢作者的重要开源贡献。
🙋 如需帮助或解决与本代码库相关的问题,请提交issue。
⭐ 我们正在招聘,如果您对我们的工作感兴趣,请通过[email protected]
联系我们。