是导演也是工程师,是“车库”影棚也是AI虚拍系统研发基地,公司贴满影视海报但员工几乎一水儿的程序员……
来到图拉古作为创始人的公司天图万境,第一印象跟见到他本人时很相似——跨界。
尽管在对国内XR技术和AIGC内容赛道稍作了解,便会知道天图万境公司的“独角兽”地位,但作为一个剧集行业观察者,对图拉古和天图万境产生浓厚兴趣还是因为今年3月底,首都电视节目春推会的圆桌论坛。
在那场以“新质生产力”为关键词的行业对谈中,图拉古与一众著名导演、编剧、学者,和制片人同台。
因为是影视内容行业的“堂会”,“技术派”导演图拉古的发言机会有限。但他总结的三个观点锋芒毕露,让现场所有对虚拟制作感兴趣的从业者都精神一振。
他的表达逻辑非常清晰:
第一,所有LED虚拍都是中间产物,将在三到五年之内消退成非主流;
第二,所有的AI感知虚拟制片将会成为兼并空间计算的脱形态;
第三,AI创意时代,电影生产和剧集生产开启去中心化创作的新生态。
这三个观点看上去很“冷感”,实则很有挑战性。
目前,主流长视频平台配置的最先进虚拍棚,采用的都是LED虚拟拍摄技术。就是这套技术,愿意用并且会用的制作团队,在业内都屈指可数。
现在,来了一个不知道是导演还是工程师的跨界者,上来先革了LED虚拍的命,接着又说自己专注研发的AI感知虚拟制片领域才是未来。更进一步又说AI解放的创意生产力,可能让影视行业的“制片人中心制”“导演中心制”“明星中心制”都成为过去时。
没有前因后果和背景资料,图拉古的这三个句话,很容易让人联想到《三体》中大史的一句名言,“邪乎到家必有鬼”。
但在实地探访天图万境后,“有鬼”这两个字从我脑海中擦除了,换上了新的两个字:“抬头”。
这个两个字是对自己说的,也是想让年轻影视创作者听到的。抬头看看,在AI技术、算力和相关硬件的支持下,影视创作的人力成本和时间成本已经能降到了多低,想象力的赋形已经变得多么触手可及。
前沿技术总是抽象的。
当被问及“搞AI虚拍究竟想干什么”这个问题时,图拉古总会说,我虽然是导演,但我现在想做的不是内容,而是想做AI时代影视制作的“水电煤”。
再说具体一点,就是开发AI虚拟制片系统,让影视创作者能在一个棚里拍出无限场景,而且“即拍即得”,能改能调,用最低的成本最快的时间,实现最天马行空的创意。
如果朴素概括,就是天图万境自研了一套好用且便宜的AI虚拟制片系统,比“抠绿”、LED虚拍都先进,包括硬件设备和软件,且具备了量产的可能性,可以产品化售卖给需要的影视制作方。
在探访的前四十分钟,图拉古为我们演示了这套AI虚拟制片系统的关键部分:鬼斧引擎和幻境引擎。
鬼斧引擎从功能上看,类似于“抠绿”系统,但因为应用了AI技术,影像捕捉能力对传统“抠绿”系统实现了降维打击。
演示是在一个并不完全合格的“绿棚”中进行的。摄影棚的墙面和地面虽然涂成了绿色,但地面污渍不少、墙面也有一些深浅不一的记号。
进行拍摄的摄影机是厂商说明上不适合“抠绿”的BMD BJ摄影机,视频信号分别连上顶级“抠绿”系统和鬼斧引擎,能发现鬼斧引擎捕捉到的被拍摄对象,完全与背景分离,比“抠绿”系统“干净”很多。
幻境引擎实现的是“合成”功能。幻境引擎中有大量AI辅助生成的场景以及相关“素材库”(数字资产),创作者可以在其中像“摆积木”一样地生成自己需要的场景,再将摄影机实拍的素材放到场景中。
幻境引擎中,不仅场景可随时调改,镜头调度、布光等也可实现零成本的变化调配,让实拍的素材和背景融为一体。
一番体验下来,核心感受是,使用天图万境的AI虚拟制片系统,即便科幻、玄幻影视剧,也可以多、快、好、省地拍出来。现实题材影视剧使用AI虚拟制片系统,也可以有效减少转场,告别纯手工时代。
可图拉古怎么想到要做AI虚拟制片系统的?研发这套系统用了多长时间,经历了多少阶段、曲折?他对AI虚拟制片系统在影视行业的应用,有什么预期?
我们还是听听图拉古本人的讲述。
科班导演,爱好编程
我本身是一个艺术生,在南加州大学艺术学院学的电影,大概2013年回到国内开始从事导演工作。
我也会编程,从小就开始接触,后来也做过安卓系统设计,卖给手机厂商。
但编程只是我的爱好,做技术不能表达自我。要把想法传递给别人,这是我学电影的主要初心。
刚开始做导演时,网络段子剧特别火,我拍了一部《日记》,被搜狐买走了。接着又去做当时流行的微电影、网络短片之类,一直拍到2014年前后。
当时国内的影视制作体系很落后,我想找一套实时剪辑功能的设备,全国就只有四套,根本轮不到我。
我不是会编程吗?干脆自力更生,在苹果系统下写了个软件,买了张采集卡,做了套系统,拍了《为你打官司》这部普法剧。
做完以后,我觉得这事能干,就把它做成了产品,卖给了各大剧组,卖了不少钱。
钱还不是第一位的,做了那套实时剪辑软件之后,我发现自己突然有话语权了。
我学电影是为了表达,但当小导演的时候,根本没有表达的可能。直到我做了那套实时剪辑软件,到剧组探班时,他们用我的产品,我再跟他说不能怎么乱拍,否则就没法保证安全生产的时候,他们都会听。
所以,就决定要扎根在电影和科技融合这条线上。而且,这件事情老导演不会,新导演也不在行,工程师没这个思维做不了,那我们这些既懂技术又懂创作的人不做,谁来做?
接着我又开发了两个新系统:一个是实时返送系统,能够把通告等信息通过iPad,分发给剧组所有人;第二个是简单的特效现场实时合成系统。
我后面拍的几部院线电影,像《青春后驱动》《遇见明天》都是现场实时剪辑,实时合成,实时的渲染,速度非常快。
当时,我最快一年能拍4-5部电影。质量及格线以上,但符合一些电影制片方的速度要求,所以也不愁没片拍。但拍了一段时间后,还是觉得没有表达空间,不起劲儿。
再后来,我又做了一段时间群集动画,就是用游戏引擎渲染背景的人、动物,成本不高、速度很快,但那时候很少有人用这个办法给电影做特效。
做成之后放在大银幕上,效果还不错。当时接到了很多项目,我就找到了一群懂编程的小伙伴,一起做,这个团队也是今天跟我一起开发AI虚拟制片系统的公司团队雏形。
三支短片,从实时渲染到空间计算
到了2018年,虚幻引擎发布了一个即时演算的面部动作演示Demo,我看了之后非常兴奋。
在它发布之前,所有的制作都是离线渲染,不能实时看到。虚拟引擎发布的这个Demo,完全在虚幻引擎中实时呈现,“数字人”的细节程度也极其惊人。
我当时就觉得,如果虚幻引擎的游戏制作能这样,那也一定能够实时拍电影。我就开始往这个技术研发方向努力了。
最开始,我们的技术还叫“实时渲染”技术,2019年9月30日我们发布了第一支用这个技术拍摄的科幻短片《2045》,是一个机甲打斗的太空题材。
我们拿着影片和幕后解析去给业内人士包括投资人看,当时业内的主流拍法还是“抠绿”,连LED虚拍都还没普及。
大家看了我们的短片后,都说我们是骗子,说你这绝对是后期做的,根本不可能是实时拍摄的。
《2045》短片
所以,我们第一轮融资就很难。但我们又不想引入急求产品转化的风投,至今一直是几个股东投钱攻关,完善技术。目前这个技术已经接近我们设想的80%了。
首先,我们解决了“抠像”问题,现在不管多么复杂的环境,有没有绿幕,系统都能处理。
第二是,我们自研了一套摄影机跟踪系统,不需要再用国外的技术,成本从25万人民币一套,降到了7000块一套,而且更加稳定,更适应电影拍摄。
第三,是空间计算技术,当时还叫空间推理还原。
《2045》里有个镜头,一个虚拟的栏杆,人可以在前面也可以在后面。这是怎么实现的呢?需要用激光雷达来定位人在哪里,花费比较高,而且每拍一个镜头就需要至少1个小时来校准。
现在我们的AI虚拟制作系统,可以用人工智能的方式自动测算深度,只需要一个摄像机就可以定位人物,附加成本为零。
《2045》幕后特辑
也是这次做完空间深度还原后,我们发现需要继续做空间计算的研发。
2021年11月,我们发布了一套升级后的系统“超级电影工业”。其中有一个板块,就叫空间推理还原。当这套系统和一系列的硬件都研发出来后,华为看到了我们的技术,在调研后开始合作,一直深度合作到今天。
2022年9月的中国科幻大会时,我们正式发布了用“感知虚拟制作技术平台”做的一支短片《幻》,把古装玄幻、怪兽、元宇宙等元素结合在了一起。
这主要是为了回应业界的需要,证明我们研发的这套AI感知虚拟制作系统,既可以拍科幻也可以拍古装玄幻,当时网络电影流行的怪兽,以及新概念“元宇宙”,这套系统都有能力实现。
《幻》
不过也可以看到《幻》当中的一些动作、场景实现,还是有一些游戏感的。
到了2023年,我们又用完善后的系统拍摄了一部科幻短片《中间代号》,这时候场景、人物和动作就完全是写实感的,看不出合成的痕迹,不再是游戏动画感的。
《中间代号》
现在提到空间计算,大家都多少有所了解。因为苹果的Vision pro发布了,这个头盔的系统就是根据AI推断你周围的物理空间,然后合成呈现。
但我们在2022年发布空间计算1.0框架,包括2023年6月1日发布空间计算2.0框架时,很多人对空间计算根本没有概念。
苹果的Vision Pro发布以后,我们非常开心,因为AI虚拟制作系统天然为其而生。我们了解空间计算是怎么实现的,如何控制成本,所以就马上把这个AI虚拟制作系统封装产品。
这套系统不仅可以用来实现高效、即时的虚拟拍摄,还可以为Vision Pro创造多元化的空间计算内容。
现在能做什么
虽然我是个导演,但天图万境只做工具,不做内容,也不是一个后期公司。
我们研发的AI虚拟制作系统就是工具,客户把这套设备和系统买到手之后,想带到哪个影棚里,怎么用,想拍什么,都完全自由。
系统也会迭代,在有限时间内免费升级,但是超过这个时限或者要升级硬件,就需要付费迭代了。
用这套系统拍摄,无论是古装、民国还是当代题材的戏,都能拍。如果跟实拍相比,在钱、时间和质量三个指标其中两个恒定的情况下,AI虚拟拍摄总能在第三个指标上胜出。
比如,在相同成本投入和相同时间里,AI虚拟拍摄的影像完成质量一定比实拍好。
我们的AI感知虚拟制作系统,目前已经产品化,可以售卖。我们提供培训、书籍和过往的经验案例,供客户学习。
这个系统也非常轻便,4个航空箱大小的硬件,拉到影棚里就可以拍摄。
中国很多影视内容公司和平台都想做成迪士尼,但他们都只看到了迪士尼“浮出水面”的那一部分,也就是内容IP化的部分,没有看到迪士尼之所以成为迪士尼,靠的是下半部分那些技术,它通过收购皮克斯、工业光魔,让故事有技术路径,可以更低成本地变成标准化电影。
天图万境研发的AI感知虚拟制作系统,就是为了IP转化而生的,它能够以更低的成本把内容IP变成标准化的电影。
我们自研的AI感知虚拟制作系统中的“抠绿”系统,已经开始售卖,采用的是鸿蒙系统,自主AI技术,售卖价格不过几万块钱,比现在市占率最高的“抠绿”设备便宜很多。
在这个产品赛道上,我们无论是售价还是“抠绿”的效果,竞争力都很强,但也并非不存在梗阻。
最大的问题就是生产端的芯片“卡脖子”问题。目前,我们正在加紧与华为的芯片适配,有两套替代方案。一旦成功,马上批量生产。
这是一个百亿级的市场,哪怕只占一小部分,也足够支撑天图万境在AI感知虚拟制作和空间计算的赛道上,继续走下去。
【文/铁皮小鼓】