业界动态
AI声音克隆教程
2024-11-17 03:38

大家好,我是 Jack。

AI声音克隆教程

因 ChatGPT、Stable Diffusion 让 AI 在文本、图像生成领域火出了圈。

但 AI 在生成方面的能力,可不仅如此,音频领域也出现了很多优秀的项目。

我用我本人的音频数据,训练了一个 AI 模型,生成了几段歌曲,效果已经在我最新一期的视频中展示了,感兴趣的可以看下:

视频、教程制作不易,跪求三连支持,

勿用技术做恶,必须放在第一个来说。

请勿用该技术从事诈骗等违法行为,请遵守《互联网信息服务深度合成管理规定》等法律法规。

本教程仅供交流学习使用,同时,本人也不提供任何人的训练好的音频模型。

视频里所使用的技术是 so-vits-svc,是音频转音频,属于音色转换算法,支持正常的说话,也支持歌声的音色转换。

项目不提供任何人的音频训练模型,所以想要体验,。

显卡建议使用 N 卡,且显存 8G 以上,我的显卡是 RTX 2060 S,训练自己的模型大概用了 14 个小时。

训练数据很关键,需要准备至少 1 个小时的音频,越多高质量的音频数据,效果越好。

比如我的本次训练,就是使用了我往期视频的音频数据,数据时长 1 个小时。

我家里的电脑是 Windows,所以本教程以 Windows 为例进行讲解。

我将项目所需要的代码、环境、工具,进行了打包,可以一键运行:

下载地址(网盘提取码:qi2p):

当然,也可以直接用作者开源的代码直接部署:

本项目不支持文本转音频,如果需要文本转音频,可以移步看看这个:

训练数据、还有预测推理的数据,都必须是。

也就是说,不能包括背景音、伴奏、合声等,所以无论是训练和预测,都需要对数据进行处理。

这里用到的工具是 UVR5,我提供的整合包里包含了这个工具。

在 Windows 下可以直接使用,打开软件,按照如下配置:

运行即可分离人声和伴奏:

然后再按照如下配置,去除合声:

有 Vocals_Vocals 后缀的音频就是处理后的,这个音频就可以用来训练。

不过因为音频太长,很容易爆显存,可以对音频文件进行切片,这个整合包里也提供了音频切分工具 Audio Slicer,直接运行 slicer-gui.exe。

填写输入路径,填写输出路径,其它参数都默认即可,这样你就会得到切分好的音频段。

在项目的 so-vits-svc-4.0/dataset_raw 目录下创建一个文件夹,比如我的是 jackcui_processed,将处理好的数据放到里面:

这样数据的准备工作,手动配置的部分就完成了。

接下来可以直接运行我提供的整合包里的脚本 1、数据预处理.bat。

这个脚本就是按照步骤,运行各个 py 脚本:

大约跑个几分钟,就能处理完成,处理完毕后,会在 datset/44k 下生成一个文件夹,里面的数据如下图所示:

直接运行 2、训练.bat 即可开启训练。

如果你的显卡够好,可以增加 batch_size 提高训练速度,对应的配置文件在 configs/config.json 文件里。

这个训练时间很长,大概需要几个小时的时间。

推理预测同理,新运行 3、训练聚类模型.bat 生成数据 pt 文件。几分钟即可跑完。

然后修改 app.py 里的这一行:

训练好的模型存放在了 logs/44k 目录下,这里改为你训练好的模型地址,以及对应的配置文件,最后是第三步生成的 pt 文件路径。

记住这里 app.py 必须改好,否则第四步会报错。

最后运行 4、推理预测.bat 文件。

程序会直接开启一个 webui,将开启的 url,直接复制到浏览器地址栏中打开即可。

就是一个简单的 Web 页面,里面的参数,可以直接使用默认的,放入一个音频,即可转换音色,很简单,这里就不展示了。

确认流程都跑通后,可以试着调整一些参数,个人影响太大,主要还是看训练数据,也就是用软件分离的干声质量。

最后也再强调一下,

我的训练数据,只用了往期视频的音频文件,数据丰富度很差,都是叙事的语调,缺少高低音的歌唱数据。

所以效果上,高低起伏的变化少了,听起来就是,全是技巧,莫得感情。

但是如果用于普通对话的音色转换,绝对是够用了。

视频结尾也展示了一个惊艳一些的效果,歌手的数据就丰富很多了,所以效果更好。

最近来了一些新关注我的小伙伴,简单做个自我介绍。

90 后,帝都算法工程师,985 小硕,热爱 coding,多年互联网大厂从业经验。

Github 轻度用户,中国区top100,开源了多个大型项目和教程,Star & Fork 35k+,帮助了数以万计的读者。

我的个人微信公众号,经常第一时间推送人工智能相关技术的最新进展、技术教程。还有深度学习等专业基础知识,Python基础等。

欢迎关注我的:

想要加AI声音克隆交流群的小伙伴,可以关注我的个人微信公众号。

关注后回复:,即可拉你进微信交流群,与志同道合的小伙一起玩vits。

    以上就是本篇文章【AI声音克隆教程】的全部内容了,欢迎阅览 ! 文章地址:http://fabua.ksxb.net/news/514.html 
     文章      相关文章      动态      同类文章      热门文章      栏目首页      网站地图      返回首页 海之东岸资讯移动站 http://fabua.ksxb.net/mobile/ , 查看更多   
最新文章
iphone15promax是什么屏幕材质 iphone15promax屏幕材质介绍【详解】手机屏幕材质「iphone15promax是什么屏幕材质 iphone15promax屏幕材质介绍【详解】」
  随着时代的进步现在的是越来越先进了,很多功能都会在手机上面实现了,iPhone 15 Pro Max作为近日新发布的机型,已经成为苹
手机屏幕尺寸大全手机屏幕尺寸「手机屏幕尺寸大全」
1、手手机机屏屏幕幕尺尺寸寸长长宽宽面面积积计计算算请在屏幕尺寸中填入屏幕大小(英寸),长宽比填入分辨率即可自动计算出手
手机2电影手机「手机2」
《手机2》是一部由华谊兄弟传媒集团投资出品,导演冯小刚执导的剧情电影,影片是《手机》的续集,改编自改编自刘震云同名小说《
毁我两观的《人类简史》,都毁了啥?戒手机「毁我两观的《人类简史》,都毁了啥?」
这年头,不读书,眼界必定是狭隘的,不读书,三观绝对是坚固的、没有长进的(就是那种fixed mind,固定思维的人)。不读书,三观
深圳福田区高三冲/刺辅导班哪个好精选人气排行榜名单出炉
学大教育高中辅导机构,深耕个性化教育20年。学大教育是A股市场上专注于个性化教育的上市公司,自2001年创立以来,学大教育秉承
华为手机怎么连u盘u盘怎么在手机上使用「华为手机怎么连u盘」
华为手机连接U盘教程要使用华为手机连接U盘,你需要一个适配器和一根OTG数据线。适配器可以将U盘连接到OTG数据线上,而OTG数据线
您的支付密码是生日吗?请马上停止!女士手机「您的支付密码是生日吗?请马上停止!」
近日,沿河公安沙子派出所快速反应,迅速破获一起利用微信转账盗窃案,为群众挽回经济损失近万元。 2024年4月28日,辖区居民田女
以音乐手机出身的OPPO,手机依旧拥有好音质?音质最好的手机「以音乐手机出身的OPPO,手机依旧拥有好音质?」
众所周知,OPPO是做蓝光出身,在手机行业也自带音乐细胞出现,最耳熟能详的一句广告词,OPPO Real音乐手机,伴随着手机行业的发
代表风采 | 李宗吉:专精于“流体” 专注于履职
  李宗吉是吉林省沪航流体科技有限公司总经理,也是延吉市第十九届人大代表。拥有双重身份的李宗吉不论对待工作还是其他事宜,
苹果12 256g二手能卖多少钱 二手苹果12价格一览苹果12手机价格「苹果12 256g二手能卖多少钱 二手苹果12价格一览」
根据现在二手手机的市场定价,64G的苹果12回收价格大概在3000元左右,128G的在3500左右,256g的二手苹果大概的售价则是4000左右