受到HuggingLLM项目的启发，本项将介绍以stable-diffusion为代表的视觉生成大模型的原理、使用和应用，降低使用门槛，让更多感兴趣的同学能够无障碍使用SD创造价值。
以stable-diffusion为代表的视觉生成大模型正在深刻改变视觉领域中的上下游任务（包括二维、三维、视频）。且正在改变许多行业，比如绘画、3D建模、影视、游戏等等。我们将借助该项目让更多人了解并使用视觉生成大模型，尤其是对此感兴趣、想利用相关技术做一些新产品或应用的朋友。希望新的技术能够促进行业更快更好发展，提高人们工作效率和生活质量。AI for humans!
项目适合以下人员：
- 学生。希望通过学习相关技术，了解视觉生成模型的原理和应用，或是开发新应用，或是入门视觉生成式大模型，或是做相关算法究等。
- 相关或非相关行业从业者。对stable-diffusion或视觉生成大模型感兴趣，希望在实际中运用该技术创造提供新的服务或解决已有问题。
项目不适合以下人员：
- 研究底层算法细节，过于
- 对其他技术细节感兴趣。
- 深入学习视觉生成模型的原理和应用，包括二维、三维、视频等。
- 熟悉stable-diffusion原理及相关API的使用和理解。
- 提供示例代码和使用流程。
1 视觉生成方法I
- 1.1 变分自编码器
- 1.2 生成对抗网络
2 视觉生成方法II
- 2.1 流式模型
- 2.2 扩散模型
- 训练过程
- 采样过程
- 优化方法
3 图片生成
- 3.1 可控生成
- 条件引导与无条件引导
- ControlNet
- 3.2 模型微调
- 参数微调 dreambooth LoRA
- 文本反推 textual-inversion
- 3.3 StableDiffusion结构
4 图片编辑
- 4.1 图片反推 DDIM-Inversion
- 4.2 注意力机制
- 交叉注意力
- 自注意力
- 4.3 基于模型的图片编辑
5 三维生成与编辑
6 视频生成与编辑
- 6.1 视频生成
- 6.2 视频编辑
7 社区
- 7.1 社区生态
- 7.2 行业应用
- 二维场景：营销作图、游戏作画、美图工具等
- 三维场景：游戏、数字人、电影、虚拟资产、vision pro内容等
- 视频场景：抖音、b站、直播等
 Xiaojie Li 清华大学硕士 |
 Letian Zhang 清华大学硕士 |
 joye Data Scientist |
 Bote Huang 西安电子科技大学本科 |
特别感谢Sm1les对本项目的帮助与支持。 感谢Tango对文生图部分提供的帮助；感谢AnSuZeaT对视频生成部分提供的帮助； 感谢Fantastic121380对视觉生成算法部分提供的帮助； 同时也感谢flawzhang、mxztflow、QJieWang对本项目提供的帮助和支持。
扫描下方二维码关注公众号：Datawhale
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。