智谱入局AI生成视频: 30秒生成高清视频, 瞄准TO C应用市场

时代周报2024-07-26 22:36:59  81

继快手宣布上线自研的视觉生成大模型产品可灵AI后,大模型企业智谱AI也展示了其在多模态生成式AI模型上的研发实力。

7月26日,智谱AICEO张鹏在智谱OpenDay上宣布,AI生成视频模型清影(Ying)正式上线。即日起所有C端用户,都能通过清影(Ying)体验到AI文生视频、图生视频能力。

据其介绍,在输入一段文字后(俗称Prompt),用户可以选择自己想要生成的风格,包括卡通3D、油画、电影感等,再配上清影自带的音乐,就可以生成充满AI想象力的视频片段。

除了文本生成视频,也可以到清影上图片生成视频。图生视频带来了更多的新玩法,包括表情包梗图、广告制作、剧情创作、短视频创作等。同时,基于清影的照片动起来小程序也会同步上线,只需一步上传照片,AI就能让凝练在旧时光中的照片灵动起来。

“本次清影底座的视频生成模型是CogVideoX,它能将文本、时间、空间三个维度融合起来,参考了Sora的算法设计,它也是一个DiT架构,通过优化,CogVideoX相比前代(CogVideo)推理速度提升了6倍。在后续版本中,将推出更高分辨率、更长时长的生成视频功能。”张鹏称。

在生成式视频模型的研发中,ScalingLaw继续在算法和数据两方面发挥作用。“我们积极在模型层面探索更高效的scaling方式。”张鹏表示:“随着算法、数据不断迭代,相信ScalingLaw将继续发挥强有力作用。”

相较于OpenAI早前发布的SORA,智谱的清影已完全面向C端,并提供免费版和付费版两种选择。会上,张鹏表示,“为什么要做多模态这件事,视频生成要放到整个技术和产品发展路线当中来看,我们认为它是AGI必须走的路径。”

今年年初时,张鹏曾表示,不止ToB,C端智谱也会去做,但目的比较明确,把闭环做起来,给未来也留下一个可能性。他判断,TOC应用可能未来也是一个要爆发的点。

清影是继智谱清言APP上线后的又一大ToC应用,也意味着智谱正式切入AI视频生成市场。

此前张鹏接受时代周报记者采访时曾提到Sora的技术力,他指出,Sora的主要技术思路是用视觉块编码(VisualPatch)的方式,把不同格式的视频进行统一编码,然后用Transformer架构进行训练,并引入类似Diffusion的Unet方式做在降维和升维的过程中做加噪和去噪。之前的基于Diffusion的模型,特别是把StableDiffusion微调成视频生成的模型,基本上都有着“闪烁”(帧间细节跳变)的问题,张鹏称,“Sora细节设计很合理,解决了这个问题。”

张鹏表示,Sora另一个特点是高分辨率:视频常见的一个问题是H*W*T长度太长,导致分辨率不够高或者需要分层,Sora直接生成了高分辨率(1080p)的图像。Sora可以生成语义丰富的长达60s的视频,这说明训练的序列也比较长,训练时候的窗口至少也得有5s+。从展示出的较短样例分析,可能训练的长度为7-8s。另外,OpenAI还使用了基于重要性采样的生成式训练以及虚幻引擎生成一些特定的数据来补充一些OOD的情况,例如长程关联等。

智谱AI一直在多模态领域大力投入,有长期的技术积累,从2021年开始,先后研发了CogView(NeurIPS’21)、CogView2(NeurIPS’22)、CogVideo(ICLR’23)、RelayDiffusion(ICLR’24)和CogView3(2024)。

“实现全系列产品矩阵对标OpenAI是我们大模型系列产品布局的一贯目标,多模态模型在其中扮演着重要角色,也始终是我们的研究重点。”张鹏称。

转载此文是出于传递更多信息目的。若来源标注错误或侵犯了您的合法权益,请与本站联系,我们将及时更正、删除、谢谢。
https://www.414w.com/read/968412.html
0
随机主题
鲜奶成为奶中王者, 头部老大再出狠招, 去年液态奶卖了超150亿和平精英:敌人都被灭队了,女队友还是那么紧张冷门英雄扁鹊的重生, 体验服迎来全面增强郑州12岁女生校运会跑步后离世, 校方最新通报朱元璋为什么要列出15个不征之国? 它们分别是谁?全无人化Robotaxi,居然有这种骚操作?股价跌至1.7元, 连22年现金分红+股息率达4%, 国资买进前十股东英雄年代手游: 勇气与智慧的结合, 十年之约经典回归!美联储会议纪要“放鹰”: 官员暗示必要时考虑加息扛不住了?乌总统呼吁西方参战,乌民众请愿:征召泽连斯基入伍![小鲨帮选车]买一辆沃尔沃S902.0T, 省油还有劲A股突发杀跌:市场绿油油的背后真相揭秘记者: 在瓜帅之后, 加斯佩里尼是第一个真正为足球带来改变的教练揭秘大公司生产操作:ASML或可远程关闭台积电光刻机因涉嫌信披违法违规 超卓航科及董事长李光平等被警告及罚款国外网友看我们的四线城市,怎么显得有点激动中证A50ETF规模+份额双丰收! 关于比特币ETF, 先当观众吧开国大将陈赓有5个子女, 他们如今过得如何? 三个儿子是少将2024年养老保险缴费15年, 在山东省退休, 养老金能领到1500元吗?越南经济崩盘! 重蹈日本80年代覆辙, 或成为亚洲第一个倒下的国家客户生病,投保的保险没有理赔,去客户家道个歉
最新回复(0)