苹果通往Vision之路

虎嗅APP2024-04-22 17:25:10  112

一、何为Vision

我一直都不是果粉,对乔布斯没有什么过多的敬仰,更别说库克了。

但去年6月WWDC上,库克出来讲“onemorething”的时候,我确实看到了他的眼睛里有光,他坚信这就是未来。

本可以平稳地从苹果退休的他,似乎把晚节都压在了VisionPro上了。

我突然意识到库克和扎克伯格其实是同一类人,他们在赌同样的事,只是库克手里有比小札更多的筹码。

与此同时大洋这边的雷军,也在做类似的事情,只不过赌的方向不同。

我想起很多年前读过的《浪潮之巅》,近一百年来的科技革命就像浪潮一样一波又一波,总有一些个体或者群体很幸运地、有意识或无意识地站在了科技革命的浪尖之上。

今天所有人都意识到了,移动互联网的旧时代快要结束了,那么新世界会在哪里呢?

若我还是多年以前的那个年轻人,大概会喜欢此类让人热血的宏大叙事。

但多年过去后热血不再,我的世界观也坍缩成了“信息论”。

新世界在哪里我并不知道,但我们能看懂苹果做事的内在逻辑。

苹果做的每一件事情,都会让信息更多更快地流动。

事实上当听到苹果将头显命名为“Vision”时,我想到了很多事情。

Vision这个词并不是第一次出现在苹果的产品里。

从2020年发布iPhone12开始,苹果开始支持HDR视频的拍摄,其使用的HDR规格叫“杜比视界”,英文名为“DolbyVision”。

要知道苹果Vision产品团队的负责人MikeRockwell,在2015年入职苹果之前曾就职于杜比实验室,我不认为“VisionPro”和“DolbyVision”的这两个“Vision”只是巧合。

很多人并不知道“Vision”这个词到底意味着什么,也没有理解苹果这些年围绕“Vision”都做了些什么事情。

二、从光场说起

VR是完全接管人类“视觉”的显示设备,要理解这个“Vision”,不妨从理解更底层的“光场”概念开始。

我们可以用7个变量来完备地描述人眼在空间中看到的光线的所有信息。

得到这样的一个函数:P(x,y,z,θ,Φ,t,λ)。

其中前三个变量(x,y,z)描述光线的空间坐标位置。

而(θ,Φ)表示水平夹角和垂直夹角,它们描述了光线的角度。

变量(λ)则是光的波长,它描述了光线的颜色。

最后是时间(t),它描述了光随时间的变化情况。

当然,光的物理属性远不止这7个,还有偏振、相位等等。但对于人眼的视觉感知来说,有这7个变量就已经够了。

依靠这7个变量,可以完备地描述观察者看到的光线的所有信息,所以这个函数叫“全光函数”

而“光场”其实就是空间中所有“全光函数”的集合。

我们可以把这类具有7个变量的“光场”叫做“7维光场”

那么完整的“光场采集”,就是获取某个空间里所有光线的这7个变量的信息。

而反过来的“光场显示”,就是在空间中重建带有这7个变量信息的所有光线。

我们在科幻电影里经常能看到神奇的“全息影像”,这里“全息”的意思就是指“全部的信息”。

对于“7维光场显示”来说,会要求在空间里重建光线7个变量的全部信息。

但事实上人类目前的技术还做不到这一点。

我们只能重建部分变量的信息。也就是人类目前所有的显示技术都是不完备的“光场显示”,远达不到7维。

像我们最常见的手机或者电脑的屏幕,它只能显示7个变量中的4个——R(x,y,λ,t)。

其中(x,y)是屏幕像素点的平面坐标,(λ)是颜色,(t)是时间。

因此这种2D平面的手机屏幕,它就可以算是“4维光场显示”。

手机屏幕是没有3D立体效果的,没有(z)变量的信息,也就是没有“深度信息”。

而VR眼镜利用“双目视差”,可以用2幅画面编码一个深度信息(z),我们的大脑能通过双眼来硬解出这个深度信息(z)。

这就是VR这种双目显示设备相对于传统2D屏幕来说升维的地方。

传统2D屏幕是“4维光场”显示器,而VR是“5维光场”显示器,多了一维基于“双目视差”的深度信息,多了变量(z)。

当然这里的深度信息(z)并不是完整的,它只是利用了人类“双目视差”的生理机制,而并非真正在空间中重建z轴上的光线。

而人类除了“双目视差”还有“单眼聚焦”的机制,这就导致了“VAC问题”,也就是所谓的“辐辏调节冲突”。

因为“双目视差”的优先级高于“单眼聚焦”,所以对于人类来说,VR确实是一种“5维光场”显示器。

而回顾显示技术的进步方向,其实就是在不断地逼近完整的光场显示。

一开始是2维光场的黑白照片(x,y)。

加入色彩信息后,得到3维光场的彩色照片(x,y,λ)。

加入时间信息之后,得到4维光场的平面视频(x,y,λ,t)。

加入深度信息之后,得到5维光场的空间视频(x,y,z,λ,t)。

信息传递的维度不断增加,人类总是贪婪地索取着更多更快的信息,永不满足。

而科学技术也总会向着促使信息流动得更快更多的方向发展。

三、超越算力不足

很多人都说VR没有“杀手级应用”,没有让人非它不可的理由。

但对于一个信奉“信息论”的人来说,我只需要关心有哪些信息的传递非它不可就行。

而答案已经很明显,就是基于双目视差的深度信息(z),这个维度的信息非它不可。

能察觉到这一点的人其实并不少,但是他们之中很少有人能够跨越过“人均算力不足”的鸿沟。

过去十多年的智能手机浪潮,可以看作是普及了1TFLOPS量级的“人均移动算力”,由此带来了移动互联网的繁荣。

但仅仅1T量级的移动算力,支撑不起“元宇宙”的愿景。

重建深度信息(z)需要远多得多的算力,无论谁想要做点什么,马上都会遇到算力不足的情况。

哪怕是苹果M2的3.6T算力,在“空间计算时代”也显得捉襟见肘,而代价是电池外置,并拖着一根不优雅的电源线。

但破局的点其实在于,机器可以在不理解深度信息的情况下,通过双目视差向人类传递深度信息。

VR只是一类“5维光场”显示器,但我们在渲染画面时,却常常不得不去构建“7维光场”的内容,重建全光函数P(x,y,z,θ,Φ,t,λ)的所有信息。

而事实上我们可以抛弃(θ,Φ),只把注意力放在(z)上,即抛弃视角上的自由度,而追求更大密度的深度信息。

这样就可以在有限的移动算力下,达成最大的信息丰富度。

所以我转向了“双目VR摄影”,并最终选择了可以将“深度信息”标准化的、以VR180为代表的球面3D影像。

可以说这就是我在过去很长一段时间内的思考脉络。

那么,然后呢?

四、在几何之后

我们重新看回全光函数,P(x,y,z,θ,Φ,t,λ)。

它实际上可以分成2个部分,几何和色彩。

对于VR显示来说也是如此。

在过去的十多年里,绝大部分人的关注重点都是在几何上。

清晰度,延迟,畸变,甜蜜点、眼盒……这些都只是VR显示的“几何”部分。

而在明白了VR影像的“几何”原理,拍摄了非常多的VR180影像之后,我发现自己最在意的东西开始转向了“色彩”。

这并非某种洞见,而来源于最直观的感受。

如果我们想要追求重建现实世界的“Vision”,那么就不可能无视色彩。

色彩是一种主观感知,物理学里并没有色彩,只有波长λ。

不同波长的光让人眼的3种视锥细胞产生不同的刺激,从而感知到主观的颜色。

巧的是,这和用“双目视差”去编码“深度信息”很像,我们不需要重建不同波长的光。而只需要用3种波长的光,以不同比例混合去刺激视锥细胞,就可以让人类感知到万千变化的色彩。

这就是现代RGB显示器所依托的底层原理。

这是一张CIE1931色度图,我们可以认为它覆盖了人眼能分辨出来的所有色彩。

1996年,微软和惠普一起开发了应用于显示器、打印机和互联网的sRGB色彩空间,也就是图中的这个小三角形区域。

一直到今天,sRGB成了最广泛,最通用的色彩空间,但它其实只覆盖了CIE1931色度图的35%。

在28年后的今天,现代显示器已经完全可以显示更多的颜色,sRGB色彩空间早已是不够用的了。

而苹果从2015年开始在iMac上支持P3色域,一直到今天已经在全系产品上都支持了P3色域。

虽然也有其他产商支持P3色域,但考虑到iPhone在全球10亿量级的持有量,可以说苹果在推动“色彩信息更多更快地流动”的这件事情上,有着不可估量的贡献。

但话说回来,P3色域其实也只覆盖了CIE1931色度图53.6%的颜色。

而VisionPro只支持92%的P3色域,换算过来大概也只占了人眼能看到的颜色的49%。

要完全再现人眼看到的“Vision”,这条路还只走了一半。

而除了色彩,亮度也是一个重要的维度。

苹果从2020年的iPhone12开始,支持杜比视界(DolbyVision)规格的HDR视频拍摄,开始加速“亮度信息”的流动。

那亮度信息并不包含在全光函数的7个变量中,而是作为函数的值出现。

即全光函数P(x,y,z,θ,?,t,λ)描述的是对于在(x,y,z)空间、(t)时间、(θ,?)方向、(λ)波长的光,观察者能感知到的强度,也就是亮度。

我们在SDR的显示器里待久了,似乎忘了这个世界亮度的变化和色彩一样丰富。

可以说在传递“色彩信息”和“亮度信息”这两个领域里,苹果已经走了很远了。

它们都是构建“Vision”不可或缺的部分。

五、通往Vision之路

回到那个问题:移动互联网的旧时代快要结束了,新世界在哪里?

我并不在意这些,但我能看到苹果站在了促进信息更多更快流动的正确方向上。

我很喜欢库克在接受《名利场》采访时说的那段话:

“我多年来就知道我们会达到这里。

我不知道什么时候,但我知道我们终会到达。”

“I’veknownforyearswewouldgethere.

Ididn’tknowwhen,butIknewthatwewouldarrivehere.”

——《WhyTimCookIsGoingAllInontheAppleVisionPro》

同样的,我不知道新世界在哪里。

但通往Vision之路,我们最终一定会抵达那里。

转载此文是出于传递更多信息目的。若来源标注错误或侵犯了您的合法权益,请与本站联系,我们将及时更正、删除、谢谢。
https://www.414w.com/read/304262.html
0
随机主题
史上成色最低的一场欧联决赛——看联赛排名, 冠军第5, 亚军第14便宜大碗!实用好用!99元起的迈从G75 上手体验分享看不到武磊vs孙兴慜? 媒体人: 孙兴慜恐无法参加与中国队的比赛亚特兰大2比0勒沃库森日本等了足足4年, 终于等来北京的高官, 开口就对中方提2个要求参展机构增加2419家! 几组数据看深圳文博会蓬勃生机亚特兰大勇夺欧联杯冠军,并终结药厂不败神话,温格推行越位新规“政银担企”助推广州大规模设备更新改造, 重点支持五个领域什么值得买618年中大促开启, 首4小时GMV同比增长214%如果你现在连五千块都拿不出,一定要看这条视频年轻人的第1台插混SUV, 星途追风C-DM贪财又贪色! 德不配位的4位老戏骨, “晚节不保”真的一点都不冤《庆余年2》范闲的底牌上线, 原著中最强卧底!炸裂! 中国出售了创纪录金额的美国国债, 打蛇打到了七寸!联手恩比德? 76人追逐乔治, 东决G1报告出炉, 肖华签下70亿大合同KPL春季赛最佳阵容有变? AG300W卖壶神, KPL大瓜: 九尾不打夏季赛9C秘籍 | 让竞争对手认知超越你的10大方法郭德纲唱戏水平真的差吗?众多业内大佬出面力挺TES有救了? 涵艺: 前EDG教练茂凯将加入TES! 教练组均将重新洗牌衣锦还乡! 辽宁男篮今早已经启程返回沈阳极星CEO: 不再依赖沃尔沃和吉利! 两款新车将用“自家”技术
最新回复(0)