Skip to content
/ v2vt Public
forked from halfzm/v2vt

video to video translation with voice clone and lip synchronization|带有语音克隆和口型同步的视频翻译,支持中英互换

License

Notifications You must be signed in to change notification settings

D3lik/v2vt

 
 

Repository files navigation

English | 中文

带有口型同步功能的视频翻译

  • 转录视频语音并翻译
  • 语音克隆
  • 口型同步
  • 压制字幕
  • 支持中英视频互相转换

效果演示

详见res.mp4

技术栈

环境搭建

  1. 安装ffmpeg并添加到环境变量,或者是直接把相应可执行程序放到当前目录ffmpeg文件夹
ffmpeg
   |- ffmpeg.exe
   |- ffprobe.exe
...
  1. 安装依赖
git clone [email protected]:halfzm/v2vt.git

conda create -n v2vt_clone python=3.11.0
conda activate v2vt_clone

cd v2vt_clone
pip install -r requirements.txt
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
  1. openvoice中需要的模型放到openvoice_checkpoints文件夹中,目录结构应该如下[optional]
openvoice_checkpoints
   |- base_speakers
    |- ...
   |- converter
    |- ...
...
  1. tts中需要的模型放到tts_models文件夹中,目录结构应该如下
tts_models
   |- tts_models--multilingual--multi-dataset--xtts_v2
    |- config.json
    |- model.pth
    |- speakers_xtts.pth
    |- vocal.json
   |- ...
...
  1. video_retalking中需要的模型放到video-retalking/checkpoints文件夹中,目录结构应该如下
video-retalking
   |- checkpoints
    |- ...
...

使用说明

  • 快速启动
python app.py
  • 关于输入
    输入视频不能太短,否则语音克隆的时候报错(最好不要低于5S)

  • 关于输出
    默认是输出到当前目录下的output.mp4,也可以在webui中直接下载

其它

licence和code_of_conduct和video-retalking项目一致
详见LICENSE和CODE_OF_CONDUCT

About

video to video translation with voice clone and lip synchronization|带有语音克隆和口型同步的视频翻译,支持中英互换

Resources

License

Code of conduct

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 98.4%
  • Cuda 1.2%
  • Other 0.4%