商务服务
别玩ChatGPT了,更酷炫的AI视频创作工具来了
2024-12-01 15:54
别玩ChatGPT了,更酷炫的AI视频创作工具来了 酷炫

inktype="text" imgurl="" imgdata="null" tab="innerlink" data-linktype="1">

别玩ChatGPT了,更酷炫的AI视频创作工具来了

最近微信改版,建议大家星标新榜!⭐️

免错过重要行业信息

 

当我还在跟ChatGPT聊天时,AIGC圈子里已经刷起了新玩意儿——

 

小红书用户“汗青”

 

这是AI生成的乔布斯,他仿佛从画中醒来,对着镜头侃侃而谈ChatGPT,嗓音也颇似原声。

 

据作者“汗青”介绍,视频中的文案选自于他与ChatGPT的对话,乔布斯的形象由AI作图工具Midjourney生成,AI拟声工具ElevenLabs提供了嗓音复刻,最后通过AI视频工具D-ID将图像转为视频。

 

借助类似的AI工具,网友用“魔法”生成的纸片人都能动起来了,甚至还能轻松创造一个自己的数字分身。

 

即刻用户“穆宁Morning”

 

AIGC降低了创作门槛,越来越多的人正试图让AI参与内容创作,从文案、录制到配音、剪辑,几乎可以让AI全包了。据国外商业咨询机构Acumen Research and Consulting预测,若考虑下一代互联网对内容需求的迅速提升,2030年AIGC市场规模将达到1100亿美元。

 

近年来,AI对话、AI绘画、AI语音技术其实都有一定的发展,而相对来说,视频领域的AI模型研发和应用才起步不久。像D-ID这样仅需一张静态图片就能创建虚拟人视频的技术,属实令人惊奇。

 

图源:国泰君安证券研究

 

目前国内外有哪些AI视频创作工具?AI又将给视频内容生产和交互体验带来什么改变?本文对此进行了盘点和分析。

 

 

一般视频创作包括这些环节:写脚本/文案,拍摄视频或寻找第三方素材,剪辑素材,配音,配乐,添加转场、特效、字幕、标题、封面图等。

 

其中,AI现在已经可以辅助完成很多任务了,比如图文智能匹配视频素材、AI自动剪辑、AI抠像、AI换脸、画质优化修复。

 

“图文成片”的功能在各平台推出的剪辑应用中十分常见,抖音的剪映、快手的快影、百度的百家号、B站的必剪都支持根据文案,一键拼接图片和视频素材,并同步生成字幕和配音。

 

输入的文案可以参考AI助手的回答。举个例子,“养猫会对一个人产生什么影响”,ChatGPT回答说养猫能减压缓解焦虑、增强社交能力、提高心理健康、增加运动量,我们可以在此基础上进行修改再导入剪映。

 

 

剪映不到一分钟就自动生成了视频,画面跟文案内容基本符合。如果对素材不满意,比如想把静态图片换成视频,可以到在线素材库中搜索更合适的进行替换。

 

 

值得注意的是,这些素材往往来源于网络或第三方服务,比如免版权图库Unsplash、Pexels,AI剪辑应用所做的是通过AI和机器学习对文案进行语义分析,分镜头处理,智能匹配相应的画面。

 

因此,一键图文成片对创作者最大的帮助是节省搜集素材的时间,减少人工剪辑劳动量,通过自动化、模板化的方式提高视频生产效率。

 

类似的视频自动剪辑工具还有“Lumen5”,主打长图文转视频,提供了大量视频模板,操作上门槛更低,像制作PPT一样拖曳文字即可转成画面。Lumen5自2017年推出至今,官网介绍已有超100万家企业客户将其作用于社交媒体营销和传播。

 

图源Lumen5

 

“vidyo”出自于印度的AI初创团队,支持长视频转短视频,通过AI语音识别技术可以从素材中自动剪辑出精彩片段,适用于直播视频切片、播客剪辑,不过目前视频语言仅支持英文。

 

图源vidyo

 

尽管目前视频创作软件的AI功能以文字匹配视频素材为主,但之后可能会加入更多AIGC工具。

 

例如海外的AI视频工具“Fliki”,擅长短图文转视频,输入Twitter等博客链接即可快速生成短视频,在图片素材上它还提供文字生成AI图像,由DALL·E提供技术支持。

 

图源Fliki

 

“Copydone”出自于国内AIGC初创公司,支持小红书、淘宝等各平台AI营销文案生成,同时也能根据文案自动生成配图或拼接视频。

 

图源Copydone

 

海外AI视频网站“QuickVid”集成了GPT-3、DALL·E 2等AI生成图文的能力,用户只需给定一个视频主题,剩下的都可以自动生成。不过它在二次编辑上的自由度和丰富性比较有限。

 

图源QuickVid

 

此外,视频创作中的特定需求也可以尝试用AI实现。比如AI修复老视频已有很多热门案例,历史资料、早年的影视片段都能通过“Video Enhance AI”等视频增强软件提升画质和分辨率。

 

图源B站

 

 

现在的AI只能算是辅助视频创作的小助手,如果想要原创度更高、从无到有地快速创作视频还比较困难,但更强大的跨模态生成视频的模型(例如文字生成视频,图像生成视频)已经在路上了。

 

文字生成视频,除了从已有素材库中拼接而成,实际上还有更接近于人类的工作方式,就像AI绘画模型一样学习文本和图像的抽象概念。

 

2022年5月,清华大学曾联合智源研究院发布“CogVideo”,这是国内首个开源的文本生成视频模型。在其Demo网站中,选择“青年女子在餐厅里喝奶茶”就可以看到AI生成的4秒视频,分辨率为480×480。

 

图源CogVideo

 

在设计模型上,CogVideo含94亿参数,将预训练文本-图像模型(CogView2)有效地利用到文本-视频模型,并使用了多帧率分层训练策略。

 

CogVideo生成的32帧的4秒剪辑
 
从技术本质上来看,视频就是一帧帧的连续图像,AI文字生成视频也可看作文字生成图像的一种延伸。大致原理就是通过文本生成几个单帧的图像,再用插值算法在几个帧之间绘制图像,生成前后连贯的视频。
 
之前Disco Diffusion走红时就有玩家利用其动画模式生成2D或3D视频,由此也延伸出一些使用门槛更低、创作更简便的AI生成视频应用。
 
比如AI视频网站“Kaiber”,用户输入图像或文本描述,也可以从预设中选择几个词,就能快速生成4种视频结果。
 

图源Kaiber
近期美国流行摇滚乐队linkin Park发布的新MV《Lost》,就是由Kaiber为其制作的动画。
 
图源《Lost》
 
不过目前跨模态生成视频的AI模型仍处于探索阶段,谷歌、meta等大厂去年都发布了相关研究论文,只有演示案例,具体产品还未上线。
 
据meta官网介绍,“Make-A-Video”加速了文本到视频模型的训练(它不需要从头开始学习视觉和多模态表示),也不需要成对的文本-视频数据,却可以实现丰富的文字生成视频,图像生成视频(让单个图像或两个图像间动起来),以及改变原始视频的风格。
 

图源Make-A-Video
 
谷歌发布的“Imagen Video”和“Phenaki”也能实现类似以上的效果,并且Phenaki可以根据一系列提示生成2分钟以上的长视频。

 

太空行走的烟花

使用的提示:

宇航员穿过火星上的水坑的侧视图

宇航员在火星上跳舞 宇航员

在火星上遛狗

宇航员和他的狗看烟花

 

图源Phenaki

 
人工智能公司Runway曾参与构建了第一个版本的Stable Diffusion,最近他们又发布了一个新的视频生成器“Gen-1”,即将开放内测,宣称可以把视频转换成任意风格。
 
图源Gen-1
 
根据Gen-1官网演示,用户提供一张参考图,就能对原视频进行指定风格化的渲染,或者用文字指示修改视频中的部分素材,甚至还可以输出3D模型渲染和定制视频。
 

图源Gen-1
 
AI生成3D短视频方面,近期国内的深氧科技完成了千万元级天使轮融资,引入GPT3.5、Transformer、Diffusion Model等AI技术红利,其发布的O3.xyz引擎V1.0版本支持一站式生成3D短视频内容,百万粉博主“特效卡卡西”等创作者已加入内测。
 
图源O3.xyz
可见跨模态AI生成视频正在加速发展中,“用嘴做视频”,未来在短视频、影视、设计、游戏、电商等诸多行业都存在应用的可能。
 
回到开头提到的“D-ID”,生成数字人/虚拟分身也属于图像生成视频的一种类型,这类工具目前在企业培训和营销方面的应用案例比较多。
 
2020年推出的AI视频创作产品“Synthesia”显示已有数千家公司在使用,用户可以从现有演员库中选择或上传自己的视频来创建AI形象,然后输入脚本,让AI配音、拼接素材就能输出视频了。
 
图源Synthesia
 
Synthesia通过训练神经网络来达成逼真的合成效果,相比传统视频制作来说,减少了真人出镜录制等环节,能节省制作费用和周期,而且能一键生成多国语言的视频,便于本土化服务。因此,企业多用于大规模生成员工培训、产品入门演示、市场营销等视频。
 
D-ID则在更早以前就开始研发图像处理技术,曾与MyHeritage合作推出“深度怀旧”计划而闻名,借助AI工具,用户可以让已故亲人的静态照片变成栩栩如生的动态视频。
 
 
最近乘着ChatGPT的热潮,多种AI工具组合制作的视频被更多人看见了,D-ID的体验门槛较低,即使是不懂视频创作的新手,只要上传一张图片,几分钟内就可以生成有人物解说的视频。
 
图源D-ID
 
D-ID自动为人物添加了一系列面部动作,会模拟一些轻微的头部运动,不过有时表情显得有点怪异,太逼真的照片可能会令人产生“恐怖谷”的反应。
 
同时,用户无法上传涉及政治、性、犯罪、名人、歧视性图像,D-ID会提示违规风险。这意味着AI生成视频技术同其他生成内容一样会面临版权、伦理等问题。
 
 
 
去年Stability AI的CTO Tom Mason曾判断,继文字生成图像后,下一波浪潮肯定是视频、音频和3D。
 
当AI可以写文章、画画、做视频,试图包揽大部分创作任务时,人类接下来该做什么呢?
 
这里仅谈谈我的思考,首先技术人员可以继续开发和完善AI模型。在TikTok的官网上,已经挂出了AIGC方向机器学习工程师的招聘需求。
 
图源TikTok Career
 
TikTok表示,“AIGC最近的突破使我们相信可以将AIGC技术用于商业目的,尤其是创意制作。想想AI生成/辅助的广告创意脚本,甚至是AI生成的商业图像和视频,它们将永远改变创意制作行业。”
 
当下的AI视频模型还不能很快生成像AI绘图那样高质量的作品,比如存在视频模糊、动作不自然、缺少细节等问题。但随着国内AIGC的技术发展,相关场景应用生态可能有很大的想象空间,包括上文提到的一些AI技术公司目前已经开始提供付费服务了,为个人和企业有针对性地提高内容生产效率。
 
对于内容创作者来说,与其担忧会不会被AI取代,不如去学习认识和使用AI工具,让AI代替重复性的琐碎工作,将更多时间花在自己的核心优势上,产生更高质量的内容。
 
的确有了AI的加入,内容竞争会愈发激烈。有创作者说D-ID出现后,“所有念稿式、新闻播报式的纯搬运类视频都将受到巨大冲击”。
 
从用户角度出发,我想只要是高质量内容,即使是AI批量生成的又如何?我们担忧的其实是低质内容的泛滥。
 
平台和用户都需要避免AI被滥用,比如生成虚假、仇恨、歧视或有害的内容,甚至是引发诈骗等犯罪行为。谷歌曾提到出于安全和伦理的考虑,在Imagen Video的内部试验中应用了输入文本提示过滤和输出视频内容过滤,但目前仍存在重要的相关风险,暂时不会发布两个视频生成模型的代码或Demo。
 
总之,AI技术一方面大大降低了从文本到视频内容创作的门槛,另一方面AIGC也推动着内容行业革新,目前至少能达到一定程度的降本增效,但发展初期还未建立起新的规则和秩序,最终如何改变行业还得看人的作用。
 
P.S.:本文提及的部分AI视频工具网址,可以关注“新榜”,在公众号对话框回复“AI视频”获取。
作者 | 卷毛
编辑 | 张洁
校对 | 云飞扬

inktype="text" imgurl="" imgdata="null" data-itemshowtype="0" tab="innerlink" data-linktype="1">

inktype="text" imgurl="" imgdata="null" data-itemshowtype="0" tab="innerlink" data-linktype="1">

inktype="text" imgurl="" imgdata="null" data-itemshowtype="0" tab="innerlink" data-linktype="2">

  关于新榜

• 作为数据驱动的互联网内容科技公司,新榜提供新媒体内容营销和企业服务系列产品,助力中国企业数字化内容资产获取与管理,服务于内容产业,以内容服务产业。
• 我们的客户既包括中国平安、腾讯、字节跳动、京东、宝洁、雅诗兰黛、欧莱雅、联合利华、迪士尼等500强,也包括正在蓬勃成长的中小企业、新兴品牌和MCN机构。面向企业的内容化组织建设,新榜提供从公域流量募集分发到私域内容运营建设的各项所需。• “新媒体,找新榜”是我们的使命。凭借全面稳定的新媒体内容数据产品和企业服务能力,新榜被评为国家级高新技术企业,曾荣获“全国内容科技创新创业大赛一等奖” 、“上海文化企业十佳”、“中国广告新媒体贡献年度大奖”、“金狮国际广告影片奖”、“沙利文中国新经济卓越增长奖”等称号,拥有多个传播评估监测专利。
别玩ChatGPT了,更酷炫的AI视频创作工具来了
    以上就是本篇文章【别玩ChatGPT了,更酷炫的AI视频创作工具来了】的全部内容了,欢迎阅览 ! 文章地址:http://fabua.ksxb.net/news/3247.html 
     文章      相关文章      动态      同类文章      热门文章      栏目首页      网站地图      返回首页 海之东岸资讯移动站 http://fabua.ksxb.net/mobile/ , 查看更多   
最新文章
家庭医生签约服务健康知识库(一)
第一部分 科学健康观素养一、基本知识和理念(15条)1.【健康的定义】健康是指身体、心理和社会状态的完好状态,而不仅仅是没有
华为新款折叠屏手机开售后“秒光” 产业渗透率有望快速提升 媒体报道,12月6日,华为在南山全球旗舰店正式发售折叠屏手机MateX6,售价12999元起,此前已有超过116万人预约...
来源:雪球App,作者: 科创板日报,(https://xueqiu.com/9252950692/315917278)媒体报道,12月6日,华为在南山全球旗舰店正式
中信银行信用卡欠两万逾期两年多没还上该如何处理?
中信银行信用卡欠两万逾期两年多没还上怎么办小编导语随着信用卡的普及,越来越多的人选择使用信用卡进行消费。信用卡欠款逾期的
AI生成3D模型工具都有哪些?2023年AI生成器大盘点!
由于人工智能 (AI) 的快速发展3D 内容创作的未来也逐渐变得清晰AI 驱动的工具正在逐渐改变我们创建、交互和体验 3D 内容的方式,
如何利用2024年十大免费网站推广入口提升网站流量和品牌知名度?
在互联网时代,推广一个网站或业务需要通过多种渠道和入口来提高曝光度,增加流量。尤其是对于初创企业和小型网站来说,寻找合适
dwg用什么软件可以查看?dwg浏览器下载
本教程操作环境:windows7系统、DELL G3电脑。 6款可以打开dwg文件的软件看图纸DwgSeePlus是一款dwg文件浏览器,是专门为工程设
五大全站推广优化策略,助您网站流量激增秘诀大公开
全站推广标题优化五大秘诀,助您网站流量猛增。策略包括:精准关键词布局、吸引力标题设计、标题与内容一致性、多平台推广同步、
【学习教程系列】最通俗的 Python3 网络爬虫入门
很多朋友学习Python都是先从爬虫开始,其原因不外两方面: 其一Python对爬虫支持度较好,类库众多,其
工业富联涨0.86%,成交额20.91亿元,人气排名41位!后市是否有机会?附走势预测
12月11日,涨0.86%,成交额20.91亿元,换手率0.47%,总市值4436.50亿元。工业富联目前在新浪财经客户端A股市场人气排名第41名。