一个帮助你集成人工智能和机器学习技术到虚幻引擎的 UE 插件。
-brightgreen.svg){kind=icon}
最新动态 | 文档 | 下载 | Demo 工程 | M4U Remoting(Android App) | 语音模型包
MediaPipe4U 提供了一系列的套件和工具，让你在虚幻引擎项目中快速应用人工智能（AI）和机器学习（ML）技术。您可以立即将这些解决方案集成到你的 UE 项目中，并根据您的需求对其进行自定义。包括动作捕捉、面部表情捕捉、语音合成 （TTS）、语音识别 （ASR） 等。所有功能都是实时的、离线的、低延迟的和易于使用的。
最后更新：20231010
- [new] 🌈 MediaPipe4U Mobile 安卓打包编译支持, 开发体验和 Windows 版本保持一致.
- [new] 🔥
StartCameraandStartImageSource现在支持蓝图异步函数，蓝图中可以方便的进行异步操作. - [improve] 优化帧处理管道, 带来了巨大的性能提升, 现在 windows 动作捕捉可以达到 25 fps (CPU: AMD 3600, Frame Size: 1280 * 720).
- [breaking change]:rotating_light:许多函数改为
BlueprintPure模式， 你可能必须修改你的蓝图.
更多更新信息，请查看更新日志:
💚所有的功能都是纯 C++ 的，无需 Python, 无需任何外部程序。
- 动作捕捉
- 身体运动捕捉
- 手指运动捕捉
- 位移捕捉
- 3D 模型驱动
- 实时驱动
- 支持普通摄像头
- 表情捕捉
- 面部表情
- Arkit Blendshape 兼容 (52 个表情)
- Live link 兼容
- 实时驱动
- 支持普通摄像头
- 多捕捉源
- 普通摄像头
- 视频文件
- 图片
- 流媒体 (RTMP/SMTP)
- 安卓设备（手机、平板） (M4U Remoting)
- 大语言模型（LLM）
- 离线部署和推理
- CPU/GPU 推理
- 多模型支持
- LLaMA/LLaMA2
- ChatGLM (开发中...)
- 语音合成（TTS）
- 离线合成
- 实时合成
- 3D 模型口型同步
- 多模型支持
- PaddleSpeech: 中文、英文
- Bart: 13 种语言
- 语音识别（ASR）
- 离线识别
- 实时识别
- 多模型支持
- FunASR: 中文
- Whisper: 99 种语言
- 动画导出
- BVH 数据导出
- 纯插件
- 无需外部程序
- Unreal Engine 中完成一切
| UE 版本 | 下载地址 1 | 下载地址 2 | 更新时间 |
|---|---|---|---|
| UE 5.0 | 奶牛快传 | One Drive | 2023-10-10 |
| UE 5.1 | 奶牛快传 | One Drive | 2023-10-10 |
| UE 5.2 | 奶牛快传 | One Drive | 2023-10-10 |
如果你想了解每一次发布包含的更新内容，请访问 更新日志 页面
插件由于采用预编译，包含大量 C++ 链接符号和调试符号，解压后会占用 5G 磁盘空间（大部分为 Intermediate 中的 UE 生成代码）
你不需要担心磁盘占用问题，这只是开发期间的磁盘占用，在项目打包后，插件磁盘占用大约是 200M（主要为 GStreamer 动态库）
现在, M4U 支持 Android 和 Windows (Linux 支持即将到来)，但是各平台支持情况略有不同。
| 插件 (模块) | Windows | Android | Linux |
|---|---|---|---|
| MediaPipe4U | ✔️ | ✔️ | Coming Soon |
| MediaPipe4ULiveLink | ✔️ | ✔️ | Coming Soon |
| GStreamer | ✔️ | ❌ | Coming Soon |
| MediaPipe4UGStreamer | ✔️ | ❌ | Coming Soon |
| MediaPipe4UBVH | ✔️ | ❌ | Coming Soon |
| MediaPipe4USpeech | ✔️ | ❌ | Coming Soon |
| MediaPipe4ULLM | ✔️ | ❌ | Coming Soon |
授权文件会不定期的在讨论区 中发布, 新版本的插件包中也会自动包含授权文件。
| Android 版本 | 下载连接 | 更新时间 |
|---|---|---|
| Android 7.0 or later | Download | 2023-04-21 |
关于 M4U Remoting
Note
这是一个付费授权许包含的功能: 可以从安卓设备中捕捉表情。
免费授权许可用户也可以在编辑器中体验它, 但是它不能被打包，请悉知。
M4U Remoting 文档
克隆或下载下列 Github 仓库获的 Demo 工程源代码:
Demo 工程不包含插件，你需要自行下载插件，放到该工程的 Plugins 目录
英文视频教程 (油管)
中文视频教程 (bilibili)
如果你遇到问题，请优先查看 FAQ，这里整理了许多网友遇到的问题，或许也是你遇到的问题，如果 FAQ 中找到不到，优先使用 github 提交 issue, 私信可能会导致问题被我遗忘。
由于 MediaPipe Windows 版本不支持 GPU 推理，Windows 依靠 CPU 完成人形姿态预测（具体信息参考 MediaPipe）：
测试环境
CPU： AMD 3600 CPU
内存: 32GB
显卡: 1660s（此型号显卡无光追）
表现：
帧率(fps)： 18-24
CPU 占用率：20% (测试 DEMO 仅包含 MetahumanLight 场景和 VRM 模型)
国内如果视频无法显示，请访问B站视频