在2022年5月18日受邀请于复旦大学知识工厂实验室报告中，我首先介绍了“爱情神话”中鞋子品牌的实例，这个实例事实上是我近来一直在思考的， 那就是我们在构建多模态知识图谱的过程中，到底需要抽取什么知识？哪些知识是用户真正感兴趣的？
最初我打算把这个idea交付给自己的学生去写一篇论文发表，然而一个月前我突然萌生了一个想法，那就是这是一个很好的切入点，如果能抛砖引玉，让所有的人都加入到这个论文的创作中，大家一起罗列动机、可能潜在的难点、可能的数据获取方式和数据源、选择何种模型、如何实验，那一定会让这个工作有更多的活力和更有意思。
科研的快乐在于分享和合作。
我希望所有对这件事感兴趣的同学和老师可以加入进来，大家可以随时编辑这个rep，最后我们完成这篇论文后就把数据、源码、论文在这里开放，然后去投稿一篇顶会。同时，希望这个工作可以形成一个工具，让所有多模态感兴趣的同学都可以使用。