2.4 KiB
2.4 KiB
生成多语言srt字幕与配音
本文的核心内容是分享字幕与配音的方法
如果我们录制了一段中文视频, 想为它生成英语字幕,那么开源whisper很轻松的就能生成srt字幕
后续的处理就是配音,但不是简单的TTS:TTS一是它没有时间戳,二是太机械化没有感情,三是无法克隆音色
配音我们可以使用微软speech api,有免费的额度,有各种拟人角色
简单总结步骤如下
-
whisper生成英文srt字幕
-
将srt转换成SSML文件 (可以理解成音频的html)
-
用微软speech api生成英语配音
[用coqui-ai 生成+克隆音色 (待定)]
具体操作步骤
whisper生成srt字幕文件
"SRT" 是 "SubRip Subtitle" 的缩写。SRT 字幕是一种常见的字幕格式，用于视频文件中显示文本。SRT 字幕文件通常以 .srt 扩展名保存，并包含了视频中对应的时间码和相应的文本内容。这使得视频播放器能够在适当的时间显示相应的文本，从而实现了视频的字幕功能。SRT 字幕文件可以使用文本编辑器进行编辑，并且易于创建和修改
srt转换成SSML文件
使用python的SRT-To-SSML 可以便捷的转换
SSML代表“Speech Synthesis Markup Language”，是一种用于控制语音合成的标记语言。它允许开发人员指定文本到语音转换过程中的音调、语速、音量等方面的特征，从而定制化生成的语音输出。SSML通常用于语音技术领域，例如语音助手、语音识别系统和语音导航系统等
使用tts-vue一键转换生成音频配音
tts-vue是基于electron封装的软件
可以申请微软speech 的api key以及秘钥后,使用免费的额度生成
后台回复ttsvue,获取软件下载地址
最后
步骤比较繁琐,涉及到三个流程,可以用elecron封装成桌面软件