这是Meta在6月重组元宇宙团队后博斯沃思首次对外。当时博斯沃思宣布了RealityLabs自2020年以来最大规模的重组，所有团队合并为中央“元宇宙”部门和“可穿戴设备”部门。
本次采访中，博斯沃思揭秘了Meta元宇宙战略演进“三个时代”、VR/MR头显设备销量如何突破1亿台、理想的头显规格、Meta在RealityLabs上的支出、Quest是否开放原始摄像头数据、AR眼镜所需技术、AI的作用等相关问题。
博斯沃思自2014年Meta收购Oculus谈起，坦言当年公司对VR行业乐观过头，对能力、成本、上市时间和用户接受度的预估都偏离实际至少一个量级。而到了2020年Quest2的推出，预期逐渐回归现实，从PC连接时代向独立平台时代跨越，下一步则是MR（混合现实）时代。
MR/VR头显什么时候可以像PC、手机一样放量，销量超1亿台需要跨越什么样的阻碍？博斯沃思认为，内容、价格和可用性是关键。
畅想7~10年后的MR头显，博斯沃思首先谈及了超高分辨率，同时视野角度、算力及舒适性也十分关键，但对于大家都在“卷”的帧率，博斯沃思认为240Hz和120Hz似乎没有太大的差别。
谈及现象级产品苹果VisionPro，博斯沃思称暂时不会效仿其开放摄像头数据，主要是考虑隐私安全问题；同时对苹果推出的EyeSight外置显示屏技术，Meta也早已布局，但其认为落地不太划算。
自2019年以来，RealityLabs已花费约650亿美元。一方面是其大力投资新技术，另一方面内容相关的无形投资也很大，背后是Meta构建双向的生态系统的战略。
而在AI方面，博斯沃思认为AI会对AR眼镜带来质的飞跃，让交互更高效和自然，也改变软件设计思路和硬件产品形态。
本文对采访原文做了如下不改变原意的编辑：
一、收购Oculus早期过于乐观偏离实际至少一个量级
记者：我想先从Meta对RealityLabs的愿景开始。Meta于2014年以20亿美元收购OculusVR，到2019年该部门每年的支出达到50亿美元，2020年第一款QuestVR头显设备面世，RealityLabs正式成立，当年支出超过100亿美元。然后在2021年，当时的Facebook公司更名为现在的Meta。
从您的角度来看，尤其是您在2006年加入Facebook，2017年开始领导RealityLabs，到2022年担任Meta的首席技术官，哪些重大事件改变了您或公司对元宇宙的看法，从而使公司对元宇宙进行大规模押注？
博斯沃思：在我加入之前，有几件事挺引人注目的。
最轰动的是马克（Meta创始人马克·扎克伯格）搞了个演示，展示了OculusToybox的早期版本。在那个VR体验里，他玩了个迷你拳击游戏。当时演示设备还是靠绑带绑着的Oculus早期“手工”阶段。演示快结束时，马克想把控制器放回桌上，但因为是虚拟的桌子，结果他直接把控制器给扔地上了。那一刻，我预感到这将是个了不起的平台，前所未有。
不过那时我还没真正参与进来，还在Facebook的其他部门。收购嘛，大家都知道，每次都会和被收购的团队一起定目标、时间表和愿景。但现在回想起来，那时候的设想可以说是相当乐观了。他们对能力、成本、上市时间和用户接受度的预估，都乐观得有点过头，几乎每个方面都偏离了实际至少一个量级，有的甚至更多。
至于那份具体的文件（称Facebook差点错过元宇宙），我不太清楚有没有被翻出来过，我反正是没见过，但我可以肯定的是，那些预测都太理想化了。
我介入时，我坚信马克·扎克伯格仍对这项技术充满信心，但我感觉他需要外部视角的评估。我之所以能发挥作用，是能为他提供一个不同的视角。
加入后，我发现团队内部存在分歧。当时，约翰·卡马克和其他一些人正全力投入移动独立头显的研发，目标是降低成本，让头显彻底摆脱PC连接。而另一边，最初的Oculus领导团队，他们专注需要与PC连接的高端外设，我们通常称之为PCVR或有线VR。
坦白说，马克布局Oculus或RealityLabs，并不是单纯为了外设业务。
这种业务规模还不足以吸引像Facebook这样的大公司，因为它需要长期且大量的投入。你会意识到，在PC生态系统的竞争中，你正逐渐落败。你的对手不仅是Steam这样的巨头，还有众多独立开发者。如果你仅仅依赖那台机器，那它就成了你所有体验的唯一入口。
其实，从产品策略层面，我并未过多参与，但从产品本身出发，我认为我们必须开发独立设备。我们要做到的是：摆脱线缆的束缚，摆脱高昂生态系统的依赖以及复杂兼容问题。因此，我们在两方面都进行了努力。
基本上，我们让OculusRift再进化一代，也就是与联想合作的RiftS；同时也尝试了GearVR，探索一条更经济的普及之路，尽管事实并非如此，用户反馈体验良好，特别是在媒体娱乐等方面。在我看来，这一切都为后来的Quest打下了坚实的基础。
推出Quest1之前，我们已经在筹备Quest2（2020年10月推出），创始团队从无到有创造了Quest1足够好的体验，并带领头显走向独立之路。后来我们尽最大的努力打入PC时代，然后在独立时代实现标准化。我会非常怀念Quest2的发布，这是一年后以更低的价格推出的更好的产品。
现在我们有了一个稳定的平台，从某种意义上说，我们已经向Quest1开发人员承诺实现跨代连接，答案就是Quest3，从PC连接时代到独立平台时代。用户可以在这个平台上自选眼动追踪、AI助手等多种功能。
但真正优秀的色彩混合现实（MR）功能，是我们想到的最后一块缺失的拼图。顺便说一句，至少在我看来，它是让这个东西成为主流并解锁所有这些额外应用场景的关键组成部分。
我无法描述Quest3发布后公司内部的反响，在势头、销售和应用方面都很积极。架构的更新推动软件速度大大提高，所以我认为我们现在处于一个有趣的混合现实时代。我们每次都会重新命名团队。以前的Oculus是VR，现在是MR。
二、MR/VR头显放量三大阻碍：内容、价格和可用性
记者：让我们来谈谈这个新时代，PC年销量峰值为3.5亿台，智能手机的峰值约为15亿台。您认为MR/VR头显实现年销量1亿台的最大障碍是什么？
博斯沃思：这个问题可能有三个答案，但我无法明确三个答案的优先级。
首先，内容肯定是关键。有些人可能误解我说的内容为游戏，但我并非如此指。我是指设备能做什么。这些设备本身并无实际功能，除非有内容支撑。这个领域确实有一些超前的硬件，早在90年代就有了雏形。最近的MagicLeap的硬件或许存在些问题，但核心挑战并非硬件本身，而是缺乏生态系统和应用场景。
其次，价格无疑也是重要因素。这两个因素之间的影响程度并不相同。价格低，意味着需要增加的价值就相对少，但也可能被用户轻视；价格高，则要求提供更多的价值。
最后，可用性同样重要。从舒适度、重量、眩晕状况，到适配不同人的眼睛，再到佩戴时对头发、妆容的影响，以及充电次数、充电频率、输入方式等，这些都会影响到设备的使用场景、频率和人群。当然，这些因素也会与成本相互权衡。比如，降低光学清晰度可以减轻重量，但会牺牲一些使用体验。
我们在这些方面都在不断进步，但真正的创新是关键。新技术不是现成的，它需要供应链、制造业的支撑，技术本身的不断研发。
三、想把分辨率调高到极致240Hz帧率不太必要
记者：没有硬件是永远完美的，您目前领导RealityLabs已有7年。再过7年，甚至10年，当您想到HMD（头戴式显示器）时会想到什么？我说的是电池寿命、分辨率、帧率、重量所有这些。
博斯沃思：我们在RealityLabs里干的一件挺有意思的事儿，就是打造这些“时光机”。想象一下，如果我们把分辨率调到极致，会怎样呢？
单纯追求100%的分辨率，不顾其他，这些设备看起来简直不可思议，你会有身临其境的体验，极致的视野、分辨率、色彩、深度、色域，还有高动态范围和亮度。我们在设计这些体验时，总是想找到那个平衡点，让体验从超清到日常都能流畅切换。其实就是在找那个曲线的最佳形态，想知道它什么时候能稳住。
这并不意味着它就到头了，只是功能再往上走就没那么关键了。展望未来七年，我们关注的是每度的像素数，至少得达到45像素，文本显示才会超清晰。60像素嘛，差不多是视网膜分辨率的一半了，但实际上你很难分辨出差别，所以，我们的目标就是每度50~60像素之间。
参考Varjo、AppleVisionPro这些产品，你就能看到要达到这种分辨率得付出多少。当然，亮度和其他方面也会有所牺牲，这都是为了平衡发展。
除了分辨率，你还想要个好视野。如果你的头显比Quest3还小，那沉浸感可能就会打折了，Quest2就比较小。眼睛里有细胞能察觉垂直方向的运动变化，所以宽阔的视野很重要。我觉得更高的视野比更宽的视野更能提升沉浸感，当然，从信息密度的角度看，更宽的视野对我们人类来说更重要，因为我们的眼睛天生就更擅长捕捉水平方向的信息。但垂直方向上的视野提升，能以一种巧妙的方式让你感觉真的沉浸在那个空间里。
当然了，要运行这么多东西，算力得跟上。从散热的角度考虑，设备最好是无线的，我可不想被人看到我身后拖着一堆线。我不是说有线设备没用，工业场合肯定能用得上。说到PC独立设备，其实现在最受欢迎的PC头显已经是无线的了，或者你可以通过AirLink连接，多方便啊。
对我来说，舒适度绝对是至关重要的一个环节。我们追求的是减轻设备的重量，但这不仅仅是数字上的几克之差那么简单。关键在于设备如何在头上保持平衡，光学模块离眼睛的距离要恰到好处。还有，位于鼻子和设备边缘之间的区域，它直接影响着鼻子、脸颊的舒适度，以及额头受到的压力，这完全取决于头带的设计。
从Quest3到Quest2，一个显著的改进就是将光学组件更贴近面部，这样戴起来就更加舒适了。我期望未来设备能再轻个一两百克，那就更完美了。至于音频，我认为现在的效果已经相当出色，立体声音效会越来越棒。
▲Quest2（左）和Quest3（右）
再来说说帧率。120Hz已经相当流畅了，虽然对于那些追求极致体验、用惯了PC上240Hz甚至更高帧率的玩家来说，可能还差点意思，但我尊重他们的选择。七年后，我倾向于认为我们可能会在其他方面做出妥协，而不是一味地追求更高的帧速率。比如，视野边缘的像素密度问题就是一个挑战，那里的像素虽然多，但对视觉体验的提升并不成正比。
在有限的计算资源下，我们很难看到240Hz和120Hz代际间的巨大飞跃。更多时候，我们需要的是更聪明的算法和技术来优化体验。注视点渲染就是一个很有潜力的方向，它有望帮助我们解锁更高的分辨率。
四、暂时不会效仿苹果VisionPro开放摄像头数据
记者：苹果最近宣布了一个举措，他们打算向开发者开放VisionPro的原始摄像头数据，但仅限于由企业账户管理的设备，和通过该企业内部系统分发的应用程序。Meta对此怎么看？有没有这方面的计划？在安全性和功能之间，Meta是如何进行权衡的？
博斯沃思：我当然希望人们能够尊重隐私保护，这一立场甚至比苹果还要坚定。我们已经在这一领域树立了标杆，而苹果从市场策略上似乎正在削弱这一标杆。不过，这是句玩笑话。认真来说，如果开发者能直接访问相机，那将催生无数实用的应用场景。
但Meta不会这么做。如果开发者无法做到这一点，即不能预先上传所有可能的图像配置供我们构建分类器，那么这样的应用场景就无法得到充分利用。
同时，鉴于这项技术尚属新兴，我们也希望确保公众能感到安心。我们正不断探索新技术来解决这一问题，比如通过多种方式向周围人发出信号（他们会被拍摄）。我相信，随着消费市场对这项技术日益熟悉，人们的接受度也会提高。
之前关于苹果的玩笑话，其实是想说明AppleVisionPro对整个行业都是个好事。现在，公众对这些设备的了解越来越多，我认为这种了解会减轻旁观者的恐惧感，减少他们担心被误解或受到惊吓的顾虑。
因此，我认为我们总是以特定的视角来看待行业中的技术，这有时可能不够公平。技术存在于社会背景之中，社会对技术的接受度越高，我们推广技术的自由度就越大；反之，则需要更加谨慎。因为稍有不慎，就可能阻碍技术的长期普及。
所以，我们在这一问题上持相对保守的态度，我相信大家都能理解我们的立场。当然，我们对混合现实的潜在应用充满期待，只要开发者获得消费者的充分同意，并了解使用者的背景，我们就愿意解锁这些功能。
五、EyeSight外置显示屏是Meta发明的，落地不划算
记者：苹果在VisionPro上的一大亮点是EyeSight外置显示屏，能实时显示用户的眼睛，便于用户用眼神交流。不过，这个功能对设备的成本、重量、电池续航等各个方面都带来了不小的挑战。那么，您认为这些权衡是值得的吗？您个人对这个功能持什么看法呢？
博斯沃思：我一定要提这件事，这个技术是我们发明的。我的团队，位于华盛顿州雷德蒙德的RealityLabsResearch，已经在公开场合展示了相关的演示。这是我们研究了很长时间的东西，他们真的把它做出来了。
对我而言，关于成本、重量和价值的权衡其实并不明显。我个人甚至觉得，它并没有给用户带来极佳的视觉体验。相比起今年我在AWE上看到的一些更出色的产品，我认为我们的产品虽然也有优势，比如更高的面板分辨率，但价格也更高。
我认为，从消费者的角度来看，这并不是一笔划算的交易，即使对于那些希望通过这个设备来提升交流舒适度的用户，也是如此。我并不觉得使用这个设备的人会因为视力问题而在交谈中感觉更好。所以，我并不是不喜欢它，只是认为市场上存在各种设备，它们作出了不同的选择和权衡，看看用户会如何反应，这其实挺好的。
对我们来说，我们投入了大量的金钱和时间，努力让这款产品既实惠又易于获取，不仅要在成本上做到，还要在重量和舒适度上满足用户，这确实是一项艰巨的任务。
六、AR眼镜新技术计划突破多种光学难题
记者：我想谈谈更难的技术。你和Meta的AR眼镜硬件主管说过，真正的光学AR眼镜要想成为主流，需要四种、六种，甚至七种不同的NTI（新技术研究计划）。你能解释一下什么是NTI以及您认为实现这一愿景需要哪些NTI吗？
博斯沃思：“NTI”是个行业术语，指的是新技术计划。
如果你是产品团队，特别是硬件产品团队的一员，那么你们可能会遇到一些已经成功集成过的技术。这些技术你们可以从供应链中直接获取，或者之前已经有过使用经验，这样会带来很多便利和已知的参数，方便你们进行现场测试和产品构建。但是，如果引入新技术，那就会给项目增加不确定性，因为你不知道它是否能按预期工作，功率和性能是否达标，这些都增加了项目风险。
深入研究后，你会发现NTI其实包含了很多不同类型的技术。有些NTI就像是现有的技术，但从未在这个特定领域应用过；有些则是第一代技术，正在逐步发展。NTI的深入程度可以一直延伸到高级开发阶段，这时已经超出了纯粹的研究范畴。
在这个阶段，我们会有概念验证，知道某项技术是可以实现的，但它还没有被产品化、小型化，也没有实现低成本和高效能。有时候在实验室里取得了突破，你会觉得“太棒了，我们做到了”，但紧接着就会意识到，那只是在高能耗和高成本的条件下实现的，而产品化需要的是低能耗和低成本的解决方案。
以AR显示器为例，我们需要在非常有限的空间内高效地生成光子。如果是消费级的眼镜，那么空间就更加有限了。我们必须高效地产光，因为电池容量有限；我们必须让光线足够亮，以在户外环境中对抗强烈的日光；同时，我们还需要解决散热问题，因为设备就在用户的脸上，不能产生过多的热量。
在MicroLED领域，我们已经投入了很多年。但在这个领域里，红色波长的光尤其是难题。因为红色光的波长较长，而生成它的空间却非常小，所以我们需要创建亚微米级的镜面结构，让光在发射前能够形成并保持足够长的时间。同时，我们还需要以非常集中的方式发射准直光，以提高效率。一旦解决了光源问题，接下来就是制造各种颜色的LED了，而每种颜色的LED在效率上都会有所不同。
最后，我想提一下我们在制造过程中的一个工具——电子扫描显微镜。这个显微镜可以用原子来拖动材料的表面，并通过测量原子的位移来构建出材料的3D地图。这对于我们来说是非常有用的技术。
七、亏损超500亿美元，内容投资大构建双向生态系统
记者：自2019年以来，RealityLabs已花费约650亿美元，累计会计亏损约为550亿美元。您能否介绍一下我们已经看到的情况和尚未看到的情况？有多少是我们还没有机会接触的产品，其中有多少实际上是分配给五年或十年后的项目的？
博斯沃思：我可能没法给你太多细节的信息，但我可以分享一个我长期遵循的普遍原则：以投资组合的方式来进行投资。
当你手头有一笔资金，你可能会拿大概一半投到那些现在就能实实在在创造价值、给你带来有形回报的地方。
很多人可能忘了，我们在这段时间的投资里，还包括了内容这样的无形资产。比如收购像BeatGames这样制作出BeatSaber热门游戏的团队，或者扶持你的生态系统，给第三方开发者资金支持，让他们带着作品加入，并确保他们对未来的回报充满信心。
这不仅仅是关于你对某款游戏的信心，更是你对平台内容长远价值的认可。你其实是在构建一个双向的生态系统，这是我们公司最终的产品。最终的产品，并非单一的硬件或技术，而是一个生态系统。
如果你把大部分资金都投在未来产品上，那你可能会偏离消费者的真实需求，忽视他们真正看重的东西。你可能会沉浸在自己编织的故事里，但最终可能会发现，这样做风险不小。所以，至少保持一半的精力在相对更实际、更有形的投资上。这些项目不一定马上上市，可能还需要几年时间，但它们都是基于对价值的深刻理解。
当然，如果你的产品已经很成熟，那么你的投资组合可能会更偏向于当前的工作，甚至达到80%或更高。但对我们来说，显然我们非常看重长期未来。说到投资金额，这些数字听起来可能很大，尤其是对外行人来说。
不过，你看看那些公司在AI上的投入，还有人们为了达到iPhone或Android那样的地位愿意付出的资金，你就会明白。特别是Android，它其实被低估了，因为它不是谷歌直接收费的产品。但实际上Android对谷歌来说价值连城，它不仅巩固了谷歌在行业中的领先地位，还让谷歌能够充分利用海量信息，并通过多种途径为消费者提供丰富的服务。谷歌每年对Android的投入高达200亿美元。
为了掌握自己的命运，企业究竟愿意投入多少？在我看来，我们在这一领域的投入完全在我们的财务承受范围之内，而且我认为我们的做法非常明智且有效。
八、AI让AR设备交互更自然变革软硬件形态
记者：我最后想探讨一组关于AI的问题。首先，我特别想知道，过去两年里，AI的飞速发展是如何影响并改变你们的发展规划的？另外，在元宇宙的构建中，AI又扮演着怎样的关键角色呢？AI最让您感到兴奋的点是什么？
博斯沃思：AI的发展对我们而言，无疑是喜讯连连。这是我们长期深耕并持续投入的领域，直到最近我还亲自与基础AI研究团队紧密合作。
在之前的回答中，我提及了我们在开发这项技术时所面临的挑战与阻碍。尽管路途艰难，但我们正稳步前行。AI不仅比预期发展得更快，而且价值超出想象，为我们提供了一套切实可行的工具，帮助我们解决长期困扰难题。
如何与AR设备进行高效、自然的互动？这就需要设备具备一定的“常识”，设备需要理解你的意图和上下文，而这是我无法一一教会的，也是人类经验无法完全替代的。
我们的头显设计中始终秉持着一个理念，那就是“指挥”。这个代理能够感知你的注意力和意图，理解你想要完成的任务，并主动为你提供帮助。比如，当你面前有一段文字，而我走过来与你交谈时，它会智能地调整显示内容，确保你能够与我保持眼神交流，这种体验很好。
在MR领域，Horizon作为用户生成内容的重要平台，其发展也离不开AI的助力。早期的我们可能犯了一些错误，比如降低了创造的门槛但未能提升创造的质量。但现在，我们正在努力纠正这些错误，并取得了显著的成果。AI让我们能够以更简单、更直观的方式描述和编辑场景，从而降低了内容创作的难度和门槛。
展望未来，AI将继续以超乎想象的速度发展，不仅改变我们的软件设计思路，也将对硬件产品产生深远的影响。比如，我们的Ray-BanStories眼镜就在AI的加持下实现了显著的功能提升。我设想中的个性化AI，能根据我的个人经历和交流习惯进行微调，同时确保隐私和数据使用的安全性，这简直太让人激动了。这将是质的飞跃。
九、结语：MR软硬结合争夺互联网下一个入口
说到元宇宙投资大户，一个是苹果，一个就是Meta。通过博斯沃思的万字采访，我们看到了Meta在打造MR设备产品时对内容、价格和可用性的权衡，以及与苹果VisionPro在理念上的差别。
MR头显产品的推广需要设备、内容和生态的多轮驱动，以Meta为代表的厂家的兴趣显然不在只做一个外设，而在于争夺用户入口，通过双向生态体系抢占PC、智能手机时代之后新的生态体系和流量领地。
