智东西（公众号：zhidxcom）
作者 | 周炎
编辑 | 云鹏
这(zhei)半个多月以来，关于Vision Pro的消息可谓“冰火两重(zhong)天”。
先是传出Vision Pro开发者(zhe)实验室冷清(qing)，开发者(zhe)兴趣不大。后(hou)有库克(ke)在财报电(dian)话会上为自己产品站台：我每天都用Vision Pro，体验者(zhe)用(yong)了(le)都(dou)说好。近(jin)期，知(zhi)名近(jin)眼显示专利专家对Vision Pro功能演示中虚拟屏(ping)代替物理屏(ping)提出质疑，称(cheng)“太荒谬”，文章(zhang)还获得很多(duo)行业人士的(de)支持(chi)。
Vision Pro亮相之后，虽然许多数码博主和Vision Pro开发者都抢先体验了它，并发表了体验感受，但仅凭这些还是回答不了关于产品的疑问，总是有点“隔靴搔痒”的意味。从数千项专利中找答案，看清苹(ping)果(guo)的(de)深(shen)层玩法和布局，远(yuan)比激烈对线更有价值。
就(jiu)在(zai)一个月以前，苹(ping)果(guo)公司的(de)人机界面(mian)设计副总裁艾(ai)伦·戴伊（Alan Dye）接受采访时称，设计团队为Vision Pro申请了5000项(xiang)左右(you)的(de)专利，同时，在(zai)研发过程中，最(zui)难就(jiu)是在(zai)专利公开的(de)情况下(xia)设计Vision Pro。
目前每周仍许多有关于Vision Pro的专利流出，这些专利有的解答人们对于发布会上某些功能演示中存在的疑惑，还有的彻底放飞了大家的想象力，原(yuan)来一款(kuan)产品未来还可能会让人“闻到花香等(deng)各种味道”。
这也不禁让人思考：设计团(tuan)队在专利中为(wei)Vision Pro埋下了哪些伏笔？Vision Pro又是否实(shi)现了苹果“最初(chu)的梦想”？
智东西通过对Patently Apple网站中有关Vision Pro的专利深扒后发现：原来看着简单两指指尖互相触碰实现的手动控制原来需要相机对手部各个关节端的识别；实现人物自动淡入、淡出的EyeSight功能使用了具有支撑结构的红外透明单向镜；来实现3D摄像，需要先让相机的POV模拟人眼的POV。
深扒专利为我们的解答的疑问远不及此，在对WWDC23发布会演示视频逐帧回顾后，智东西还发现，苹(ping)果“精心选择”了Vision Pro的演示功能(neng)，这(zhei)背后藏着(zhe)苹(ping)果多年布(bu)下(xia)的“一盘大棋”。
由于篇幅限制，我们选择了手动(dong)控制、空间(jian)窗口、眼动(dong)交互、Optic ID、空间(jian)音频(pin)、计算机生(sheng)成现实体验、空中(zhong)观(guan)看动(dong)作(zuo)电(dian)影(ying)、AR体育赛事、沉浸式(shi)远(yuan)程电(dian)话会议(yi)、虚拟键盘、3D摄影(ying)、影(ying)像拍摄通知(zhi)、EyeSight等13项功能演(yan)示背后关系最为(wei)紧(jin)密的17项专利进行一轮“赛博拆机”。
一、微米级分辨率识别手部运动，可用于导航菜单、控制媒体播放
在(zai)WWDC23上(shang)，最先映入观(guan)众眼帘的就是Vision Pro的手(shou)动(dong)控(kong)制功能。
苹果在过去几年发布了多项关于微手势控制Vision Pro菜单的专利，从美国专利商标局的公开信息来看，该专利涉及具有显示生成组件和一个或多个提供计算机生成体验的输入设备的计算机系统。（computer systrms with a display generation component and one or more input devices that provide computer generated experciences)，简单理解就是一种手势控制装置。
从目前来看，Vision Pro与手势结合可用于玩视频游戏、导航菜单、控制媒体播放等。Vision Pro的计算机系统（computer system）允许用户使用微手势来与三维环境进行(xing)交互。
Vision Pro可以识别到对应的指关节、指尖、手掌中心、连接到手腕的手端等的点。Vision Pro的相机安装在远离用户的地方。微手势的不同运动和位置以及各种运动参数用于确定在三维环境中执行的操作。由于微手势不易引人注目，所以可以在公共场合中进行该操作。
目前，Vision Pro的手动控制还无法对实体设备进行操作，因此苹果还在继续研发智能戒指系统（smart ring system）。
从目(mu)前(qian)苹果的(de)专(zhuan)利信(xin)息来看，该戒(jie)指(zhi)具(ju)有包括滑动、点击、旋转(zhuan)等在(zai)内的(de)16种交(jiao)互方式。戒(jie)指(zhi)中的(de)传感器可以感知到(dao)用户的(de)指(zhi)令信(xin)息，然后根(gen)据(ju)指(zhi)令控制虚拟(ni)物体和现(xian)实物体的(de)交(jiao)互。
同时需要明确的是，专利(li)仅(jin)仅(jin)是技术保(bao)护的一种手段，这并(bing)不意味着苹果(guo)会在短期内推出智能(neng)戒(jie)指(zhi)产品，但从(cong)该专利(li)为未来可(ke)能(neng)的交互方式(shi)提供了新的可(ke)能(neng)性。
二、XR系统检测头部运动，用户可操控跨平台虚拟现实应用
如果说，上一个专利与识别手部运动有关，那么这个与Vision Pro头显的3D“无限画布”（infinite canvas）有关的专利就与识别头部运动有关。
苹果早在2022年12月就申请了这项专利，并于今年6月在欧洲发布。从苹果的专利描述上看，Vision Pro的混合现实（XR）系统可以检测头部运动，并相应地调整呈现给人的图形内容和声场。
从功能的角度，该专利可以理解成“空间用户界面自动切换装置”。
上图是(shi)真实(shi)和虚拟组(zu)件的(de)分层(ceng)在Vision Pro内呈(cheng)现完成(cheng)的(de)增强现实(shi)（AR）视图。根据苹(ping)果的(de)说法，对于每一个(ge)用户界面(mian)（UI），头显都会分配(pei)一个(ge)边界，该边界定义了某(mou)个(ge)用户界面(mian)应(ying)该处于的(de)物理环境。
从上图来(lai)看，Vision Pro头显系统(tong)的相机（camera）和传感器（ sensor）会将捕捉到的信息(xi)传输到Vision Pro中的合成引擎（ composting）和操作系统(tong)（application）之中。
接(jie)着(zhe)应用(yong)(yong)程序会(hui)向(xiang)操作(zuo)系(xi)统发送请求（request），然后操作(zuo)系(xi)统接(jie)着(zhe)会(hui)反馈给应用(yong)(yong)程序哪些是受(shou)限制的信息（constrained information）。
随后，操作系统会将处理好的场景信息、各个应用程序也会将应用数据传送到渲染引擎（rendering engine）之中。渲染引擎将加工好的信息传送到合成引擎之中，与最初由传感器和摄像机捕捉到的信息进行最终合成，最终各个应用程序界面就会显示在用户面前。
三、多单元区计算用户凝视端点，用户眼动控制空间物体
除了手动识别、头动识别、Vision Pro还能针对眼部运动进行识别。产品评论家Marques Brownlee在看到Vision Pro的产品称，你一旦开始使用Vision Pro后，一定会关注它的眼动追踪功能（eye tracking），“我通常不会评价科技产品的功能为“魔法”或者“超现实”，但是这是我接触过最接近魔法的事情。”
从美国专利商标局的公开信息来看，Vision Pro的眼动追踪功能和一项“用于注视端点确定的方法和装置”的专利有关。该专利可以用于确定主体在空间中注视三维物体的端点。听起来似乎很复杂，事实上就是一个“眼动控制装置”。
该专利(li)将用(yong)户头(tou)部及(ji)其(qi)周围环境(jing)定(ding)义为一个系统，并将其(qi)分为了(le)多个单(dan)(dan)元(yuan)区，其(qi)中包括眼(yan)睛跟踪单(dan)(dan)元(yuan)、头(tou)部跟踪单(dan)(dan)元(yuan)、3D场景结构表示单(dan)(dan)元(yuan)（3D scene structure representation unit）、计算(suan)单(dan)(dan)元(yuan)等。
Vision Pro会追踪用户的眼睛的注视方向，头部、眼部跟踪单元相对于整个参考坐标系的位置和取向，接着，Vision Pro在就会在3D场景结构表示单元中，通过参考坐标系中的坐标通过真实世界场景中对象的3D位置及其3D结构来表示真实世界场景和场景中包含的对象。最后，计算单元会基于用户眼部的凝视方向、眼动仪的位置、3D场景结构表示等来计算出用户的凝视端点。
四、传感器捕捉用户虹膜信息，用户可通过Optic ID进行识别
8月初，Vision Pro虹膜生物识别(bie)系统Optic ID背后(hou)的专利也“浮出水面”。
从苹果的描述来看，这项专利可以理解为“生物信息辨识算法”，Vision Pro的摄像机可以用于捕捉用户的虹膜、眼睛、眼眶周围区域的生物特征图像，然后摄(she)像机中(zhong)的(de)控制(zhi)器（controller）上执行(xing)的(de)算法可(ke)以动(dong)态地确定这些被捕获的(de)图(tu)像中(zhong)哪(na)个可(ke)以用于生物识别认(ren)证。
Vision Pro摄像(xiang)机中(zhong)控制器选择图像(xiang)的(de)客(ke)观标准包(bao)括：图像(xiang)的(de)曝光度(du)、对比度(du)、阴影面积(ji)、清(qing)晰度(du)、是(shi)否有(you)遮挡物体(ti)、是(shi)否有(you)反射光等(deng)。
五、几何声学模拟现实听觉刺激，观影时空间音频更加真实
在(zai)结(jie)束身体(ti)部位识别(bie)板块后，想必大家在(zai)观(guan)看WWDC23时(shi)，都会对(dui)上面动图中演(yan)示的“空间(jian)音(yin)(yin)频”的功能有所印象，同时(shi)因为没有亲身体(ti)验过(guo)“空间(jian)音(yin)(yin)频”，所以并不清楚“空间(jian)音(yin)(yin)频”会如何(he)提高(gao)沉浸(jin)感。
传统上，当声音沿间接路径传播时，耳道入口接收到的声学信号中可能会存在伪影，通过使用空(kong)间音(yin)频滤波器的信(xin)号处理算法，可(ke)以(yi)将用户特定(ding)的伪影合并到双耳的音(yin)频中去。
为了实现准确的空间音频再现，虚拟音频系统可以使用HRTF来创建声音来自空间中某处的错觉。声音可以使用射线进行追踪，这种方式被称为几何声学（GA），几何声学的方法可用于模仿合成声波的某些现实行为带来的听觉刺激。
目前的(de)空间(jian)音(yin)频合成(cheng)软件(jian)可以管理实时(shi)模拟移(yi)(yi)动接收(shou)器周围的(de)移(yi)(yi)动声(sheng)源的(de)计算负荷，然而，这些模拟往(wang)往(wang)是基(ji)于静态混响(xiang)的(de)，在现实世界的(de)场景中(zhong)，声(sheng)波(bo)和反射(she)性/阻碍性表面之(zhi)间(jian)存在着显著的(de)相互(hu)作用。房(fang)间(jian)的(de)建筑(zhu)或(huo)场景构成(cheng)中(zhong)的(de)每一变化(hua)都会对房(fang)间(jian)里的(de)声(sheng)波(bo)在任(ren)何给定瞬(shun)间(jian)的(de)实时(shi)模拟方式(shi)产生重大(da)影(ying)响(xiang)。
这(zhei)就需要(yao)改进虚(xu)拟三维环境中(zhong)的(de)(de)实时物理听觉化技术，这(zhei)包括其中(zhong)任何（或全部）的(de)(de)环境：声源、声音接(jie)收(shou)器和虚(xu)拟环境中(zhong)的(de)(de)几何/表面可能在声源被(bei)模拟时的(de)(de)动(dong)态变化。
苹(ping)果的(de)这项专利可以理解为“位(wei)置追踪与动态音频调(diao)整系(xi)统”。
当用户走到(dao)虚拟空间(jian)中的(de)哪个位置，都能(neng)听(ting)到(dao)实时(shi)(shi)处(chu)理的(de)遍(bian)布于空间(jian)内拟真的(de)声(sheng)音效果，这些声(sheng)音会根据空间(jian)内物(wu)体位置、甚至材质，以及实时(shi)(shi)移动的(de)人(ren)产生变化(hua)，从而更加真实。
六、生成用户化身，支持计算机生成现实体验
在观影的过程中，除了空间音频带来的沉浸感，Vision Pro可为用户带来计算机生成现实（CGR）体验，在提供CGR体验之前，需要了解用户的姿势。一些CGR体验呈现模仿(fang)用户(hu)行为的(de)用户(hu)化身，如果用户(hu)移(yi)动(dong)身体的(de)一部分，化身就会移(yi)动(dong)相应的(de)部分。
从(cong)FIG18可以看到，Vision Pro的(de)传感器可以对用(yong)(yong)户(hu)身(shen)体的(de)姿(zi)势及其进行捕捉，然后分别(bie)在用(yong)(yong)户(hu)的(de)左肩、右(you)肩、上下(xia)左右(you)臂、躯干、左右(you)腿(tui)等(deng)位(wei)置进行定位(wei)，Vision Pro会(hui)将(jiang)这些身(shen)体姿(zi)势信息反馈(kui)到用(yong)(yong)户(hu)的(de)神经网(wang)络训练系统(tong)中，然后用(yong)(yong)户(hu)会(hui)产生(sheng)计(ji)算机(ji)生(sheng)成现实体验。
这项(xiang)技术是(shi)通过苹(ping)果去年收购以色列公司Camerai引(yin)入苹(ping)果的。
七、识别用户内耳前庭感知到的运动，减小飞机场景观影眩晕感
WWDC23上，苹果的视频预告(gao)片中展示(shi)了(le)用(yong)户如何在飞机上佩(pei)戴Vision Pro观看(kan)电影。
要知道，一般情况下，当身体运动和视野所观测到的运动不匹配或者头部运动和视觉观测的头部运动不匹配时，人很容易产生晕动症。而当用户在空中佩戴VR/AR头显时，由于飞机颠簸，以及VR/AR头显显示的视野太窄或各种追踪功能缓慢/不准确，身体运动、头部运动与VR/AR头显观测到的事物容易产生不匹配的情况，从而导致定向障碍和恶心。
近眼显示专家Karl Guttag在其创办的科技网站KGOn Tech给出了更加细致的分析，Karl Guttag称，人眼视场角内分辨率最高的区域（视网膜中央凹）其覆盖范围仅为2度，使用者眼前看到的(de)图像是(shi)眼球通(tong)过扫视、跳(tiao)动(dong)等(deng)微动(dong)作捕捉并拼凑在一起的(de)结(jie)果(guo)。
在Karl Guttag的(de)分(fen)析中可以(yi)看到，在通(tong)常情况下(xia)，人体主要(yao)通(tong)过三(san)种感官来保持平(ping)衡，其中内(nei)耳(er)器官的(de)前(qian)庭(ting)感知（VOR）可识别头部的(de)方向(xiang)，以(yi)及哪个(ge)方向(xiang)是(shi)上下(xia)方，如果(guo)人眼前(qian)看到的(de)运(yun)动(dong)(dong)与(yu)前(qian)庭(ting)系(xi)统(tong)感知到的(de)运(yun)动(dong)(dong)不相(xiang)符，那么(me)就容易(yi)引(yin)起恶心、眩晕等(deng)症状(zhuang)。
由于AR/VR头显(xian)主(zhu)要根据用户眼(yan)球和头部运(yun)动来动态渲染图(tu)像，显(xian)示(shi)的内(nei)容可能会导(dao)致内(nei)耳(er)、眼(yan)球检测到的数(shu)据不一致，从而(er)眩晕。R1芯片(pian)宣称可以(yi)大幅消除传(chuan)感器和显(xian)示(shi)器之间的延(yan)迟。
Karl Guttag称，在飞机等长途移动(dong)(dong)(dong)场景中(zhong)，与前(qian)庭相关的晕动(dong)(dong)(dong)问题可能还会加重(zhong)，因此，Karl Guttag得出结论，Vision Pro还需(xu)要(yao)识(shi)别用户(hu)内耳前(qian)庭感知到的运动(dong)(dong)(dong)，才能很好地减少运动(dong)(dong)(dong)症状(zhuang)。
巧合的是，苹果今年6月公布的一项专利显示，苹果的确走了一条和Karl Guttag的猜测相同的路。这两项专利分别可以理解为“运动感知增强系统”和“相对惯性测量系统”。
首先，第一项专利中，Vision Pro通过调整中心凹视区域（foveated gaze zone）外部的内容对比度或空间频率（spatial frequency）可以减少晕动病，这种方式也不会像黑掉内容那样有(you)损(sun)与用户体验。
具体到实施方式上，苹果增加了与用户物理环境的3D空间相关联的内容到凹注视区域外部。这样的目前是为了使用户可以相对于计算机生成现实（GCR）环境中移动，并且使用户感知到的运动与前庭系统（vestibular system）感知的信息相匹配。
同时，Vision Pro还会在通过传感器获得用户的(de)(de)(de)生理数据和运(yun)动数据等(deng)的(de)(de)(de)基础上，向(xiang)用户提供相关(guan)联的(de)(de)(de)视觉(jue)和听(ting)觉(jue)体(ti)验。
总的(de)(de)(de)来说，该(gai)专利的(de)(de)(de)创新之处在于(yu)，在具(ju)有处理(li)器(qi)的(de)(de)(de)电子设备上(shang)，首先确(que)定(ding)了显(xian)示器(qi)的(de)(de)(de)第(di)一(yi)区和第(di)二区，然后根据第(di)一(yi)区和第(di)二区生成3D环境的(de)(de)(de)图(tu)像，识别对应(ying)于(yu)显(xian)示器(qi)第(di)二区的(de)(de)(de)每(mei)个图(tu)像的(de)(de)(de)内容(rong)，以及对应(ying)于(yu)显(xian)示器(qi)第(di)二区的(de)(de)(de)每(mei)个图(tu)像的(de)(de)(de)图(tu)像内容(rong)的(de)(de)(de)对比度或空间频率中的(de)(de)(de)至少一(yi)个。
上图列出了用户瞳孔和瞳孔的(de)视(shi)野图，其中(zhong)展现(xian)了眼(yan)窝，即视(shi)网(wang)膜中(zhong)心凹(ao)下(xia)的(de)部分、副眼(yan)窝(parafoved)和周边(bian)视(shi)觉区域（peripheral）。
Karl Guttag对(dui)于Vision Pro也有疑惑的(de)(de)问题：在长时(shi)间空气不(bu)流通的(de)(de)场景下，如(ru)果让人(ren)一(yi)直佩戴(dai)有一(yi)定重量(liang)、贴脸、且会(hui)散(san)发热量(liang)的(de)(de)头显来看电影，体验感(gan)可能(neng)并不(bu)理(li)想(xiang)。飞机(ji)上的(de)(de)空乘(cheng)人(ren)员、乘(cheng)客(ke)可能(neng)会(hui)来回(hui)走动，每当有人(ren)靠(kao)近的(de)(de)时(shi)候，都可能(neng)触发Vision Pro的(de)(de)透视(shi)模型，打破观(guan)影的(de)(de)沉浸感(gan)。
除了调整中心凹视区域外部的内容对比度，苹果在今年7月发布的一项有关相对惯性测量系统（relative inertial measurment system）也对(dui)乘坐交通工具时产(chan)生的(de)晕动症的(de)解决有(you)所帮助。
从苹果的介绍来(lai)看，传统(tong)的VR和AR设备无法将用户身(shen)体部分的运动(dong)与用户所处的参(can)照(zhao)系（reference frame）分离(li)开来(lai)。
举例来(lai)说，佩(pei)戴传(chuan)统VR和AR设备的(de)(de)用户(hu)(hu)在乘坐(zuo)交通(tong)工(gong)具时，在交通(tong)工(gong)具从(cong)停止(zhi)状态(tai)加速(su)直到高速(su)的(de)(de)过程(cheng)中，用户(hu)(hu)并不会在交通(tong)工(gong)具内(nei)进(jin)行(xing)运动。这样VR和AR设备显示的(de)(de)图像，在用户(hu)(hu)看来(lai)就像是(shi)他正在以相同的(de)(de)速(su)度和方向通(tong)过车(che)辆行(xing)驶的(de)(de)场景。由于眼(yan)前庭(ting)不匹(pi)配(pei)，用户(hu)(hu)因此出现恶心等症状。
苹(ping)果的(de)相(xiang)对惯性(xing)测量技术可(ke)以确定(ding)用(yong)(yong)户(hu)(hu)设(she)备(bei)相(xiang)对于(yu)非固定(ding)参考(kao)系(xi)（用(yong)(yong)户(hu)(hu)乘(cheng)坐(zuo)的(de)交通(tong)工具）相(xiang)对的(de)运动，从而将用(yong)(yong)户(hu)(hu)身体部分的(de)运动与所处的(de)参照系(xi)分离。
八、实时跟踪用户视觉方向，增加赛事比分信息，带来现场观赛体验
除了提(ti)升观(guan)影体(ti)验，苹果还通过增强现实技(ji)术提(ti)升观(guan)看体(ti)育赛事的(de)体(ti)验。
从苹果的专利信息来看，沉浸式视频内容可以通过三维的方式呈现给用户。根据使(shi)用者观看现场活动的(de)方向和观看位置的(de)视觉数(shu)据，Vision Pro选择为用户呈现特定视野(ye)或(huo)观察视角的(de)沉浸式视频内(nei)容。同时，Vision Pro中(zhong)呈现的内容还会根据用户的移动而不断更新。
从功能上来看，该专利可以理解为“第一人称视角沉浸式观赛系统”。
从上图来看，体育赛(sai)事的(de)视(shi)频(pin)内容会(hui)通(tong)过(guo)网络传输到Vision Pro上，经(jing)由(you)Vision Pro的(de)通(tong)信模块，一部(bu)分信息(xi)就(jiu)会(hui)进入数据缓(huan)冲(chong)区，然后在显(xian)示(shi)在目(mu)镜(jing)上。另一部(bu)分信息(xi)会(hui)经(jing)由(you)处(chu)理(li)模块、以及(ji)传感器显(xian)示(shi)在目(mu)镜(jing)上。
如果说第一个专利强调增强了用户对体育视频内容的沉浸感受，那么第二个专利则为用户实时提供体育赛事现场情况信息，可以(yi)理(li)解为(wei)“体育赛事视觉增强系统”。
将时间倒回2022年6月，苹(ping)(ping)果(guo)和美国职业(ye)足球大联盟（MLS）宣布，Apple TV应用程序将独家播放2023以(yi)后的每(mei)场(chang)MLS比赛(sai)直播。为了(le)进(jin)军视频业(ye)，苹(ping)(ping)果(guo)正希望将拓(tuo)展MLS的呈现(xian)方(fang)式(shi)，使(shi)用户(hu)可(ke)以(yi)在Vision Pro中观看MLS比赛(sai)直播，同时感受(shou)到现(xian)场(chang)比赛(sai)的氛围。
苹(ping)果在专利背(bei)景(jing)信息(xi)中指出(chu)，目前用户已经习惯在电(dian)视中观看体育赛事中队伍名称、得分(fen)等补充信息(xi)，例(li)如(ru)，在足球比(bi)赛转播期间，在球场上显示黄色的先下(xia)线，篮(lan)球比(bi)赛中，比(bi)分(fen)一般显示在右(you)下(xia)角。
Vision Pro的传感器可以捕捉物理环境中的视频或者图像，而此时，Vision Pro的显示器处于透明或半透明状态，图像或视频的光线会通过这层透明或半透明的介质导入眼睛之中。此外，关于体育赛事的补充信息还会显示在体育赛事的视图之中。从下图可以看到，例(li)如(ru)“玩家A进球”、“47:46”这样的场上比分(fen)、“射击速度66千米(mi)/小时”等“‘增强现(xian)实”内(nei)容的信息都会以黄色(se)来突出(chu)显(xian)示。
Vision Pro仍然会面临一些问题。在(zai)续航方面，户外比赛(sai)需要(yao)处理大(da)量的(de)实(shi)时图像和(he)数据，对电池续航和(he)节能的(de)要(yao)求(qiu)会增加。
在技术方面，如果实现对体育赛事的AR呈现，Vision Pro需要高效处理大量的图像和数据，以提供给流畅的增强现实体验。同时，系统的实时跟踪和定位性能也需要高精度和稳定性，以确保在真实世界中的精准重叠。
九、提供沉浸式远程电话会议功能，支持与多人分享同一主题内容
Vision Pro不仅可以通过“空间音(yin)频(pin)”、“增强现(xian)实”、“用户(hu)化(hua)身”等方(fang)式为(wei)用户(hu)提供娱乐方(fang)面的沉(chen)浸(jin)(jin)感，在工作层面，还可以为(wei)用户(hu)带来沉(chen)浸(jin)(jin)式的电话会议(yi)体验。
该专利可以理解为沉浸式电话会议和远程呈现系统（immersive teleconferencing &telepresence system）。从(cong)美国专利局(ju)的(de)信(xin)息来看，该专利申(shen)请涉及了基于会话(hua)描(miao)述协(xie)议(yi)（session description）和实时传(chuan)输协(xie)议(yi)的(de)程序。
下(xia)图描述了沉浸式(shi)电话会(hui)议(yi)和远程呈现系统的(de)(de)简化(hua)结(jie)构，图中可以看(kan)到，一群同时正在会(hui)议(yi)室(shi)中开会(hui)，房间中含有(you)会(hui)议(yi)桌，以供(gong)实际出席(xi)的(de)(de)参与者使用(yong)。
此外，Vision Pro的相机能够以相对于相机不同的角度或视场捕获视频的多个单独的相机或镜头。当有人并未出现在会议室中，但还是希望加入电话会议。那么会议室中的参与者可以使用屏幕显示来自个人的共享演示文档或者视频流。未佩戴(dai)Vision Pro的参与者可以使用iPad和iPhone在远程来(lai)加入会议。
从(cong)上图(tu)的105b可以(yi)(yi)看(kan)到，远程参与会(hui)议的人可以(yi)(yi)使(shi)用ipad和iPhone等设备观看(kan)会(hui)议室的360度(du)全(quan)景视图(tu)，还可以(yi)(yi)使(shi)用ipad或iPhone的手机摄像头拍摄视频(pin)。
十、虚拟键盘“隔空打字”，支持多设备协同完成文档内容
与工作场景密切相关(guan)的还有Vision Pro虚(xu)拟(ni)键盘带来的“隔空打字”功能。
查阅苹果的专利，在过去几年中，有多个专利涉及到虚拟键盘的“隔空打字”功能。苹果今年3月发布了一项关于“用户扩展现实（XR）系统的多设备连续性”的专利，也就是一种“多设备协同(tong)输(shu)入(ru)装置”。
该专(zhuan)利允许(xu)使用(yong)iPhone、iPad、Mac的用(yong)户将正在操作的文档传输(shu)(shu)到Vision Pro之(zhi)中(zhong)，允许(xu)用(yong)户在扩展现实中(zhong)完成该文档。接着Vision Pro可以(yi)通(tong)过检(jian)测用(yong)户手指运动(dong)来(lai)进行(xing)输(shu)(shu)入。
从FIG2中(zhong)可以(yi)看到，iPhone设备将其(qi)内(nei)(nei)容(rong)(rong)(rong)传输到Vision Pro上，用户佩戴Vision Pro后，前方会(hui)出现(xian)应用程序窗口(kou)，其(qi)中(zhong)包括文件管理应用程序（file mgr app）、浏览器(qi)窗口(kou)（browser window）、内(nei)(nei)容(rong)(rong)(rong)编(bian)辑(ji)器(qi)窗口(kou)（content editor window)、媒体播放(fang)器(qi)窗口(kou)（media player app window），iPhone原(yuan)本(ben)输入(ru)的内(nei)(nei)容(rong)(rong)(rong)可以(yi)在内(nei)(nei)容(rong)(rong)(rong)编(bian)辑(ji)器(qi)窗口(kou)查看到。
从FIG5中可以看到，Vision Pro上的摄像头和传感器可以捕捉到iPhone的用户界面，然后Vision Pro中的处理器会将捕捉到的用户界面生成副本，然后会为用户重新创建一个文档，使其可以在Vision Pro所提供的显示界面中继续编辑该文档。
当Vision Pro接管了该文档的控制权之后，iPhone的显示屏可能会关闭或更改为低功耗状态。同时Vision Pro还可以在XR环境中打开多个应用窗口。
苹果在2020年被授予了一(yi)项(xiang)名为(wei)“自适应(ying)输(shu)入表(biao)面(mian)”（Adaptive Input Surface ）的专利，该(gai)专利与触(chu)(chu)敏(min)输(shu)入（touch-sensitive）有关，可(ke)以(yi)代(dai)替具有触(chu)(chu)觉(jue)反馈的虚(xu)拟键(jian)盘。触(chu)(chu)觉(jue)反馈可(ke)以(yi)通过静电电极的可(ke)控阵列提供给用(yong)(yong)户(hu)，这可(ke)以(yi)使用(yong)(yong)户(hu)感(gan)(gan)知(zhi)到表(biao)面(mian)上不同水(shui)平的摩(mo)擦(ca)力(li)。就可(ke)以(yi)有针(zhen)对性地进(jin)行输(shu)入。同时(shi)输(shu)入表(biao)面(mian)移动感(gan)(gan)的致动器还会(hui)进(jin)一(yi)步(bu)为(wei)用(yong)(yong)户(hu)提供附加的触(chu)(chu)觉(jue)反馈。
一般而言(yan)，这个输入表面会(hui)接(jie)近(jin)于Vision Pro的传感(gan)器，该传感(gan)器会(hui)捕捉用户手(shou)指的位置。
十一、模拟人眼POV，单视场或立体场视图实时渲染到Vision Pro
最后要讲的三部分与(yu)Vision的摄(she)像(xiang)功能和相关(guan)的透镜镜片有关(guan)，其中不(bu)得不(bu)提的就(jiu)是(shi)Vision Pro的3D摄(she)像(xiang)功能。
在传统的(de)VR/AR头(tou)显中，场景摄像(xiang)机(ji)（scene cameras）安装在头(tou)显的(de)前(qian)面。但通(tong)常情(qing)况下，场景摄像(xiang)机(ji)的(de)入瞳(tong)以及视(shi)点（POV）与(yu)用(yong)户眼睛的(de)POV存在很大(da)的(de)偏移(yi)，因(yin)此，摄像(xiang)机(ji)的(de)POV并不能代表人眼的(de)POV。
因此，为了更好模拟人眼的POV，Vision Pro通过将相机的(de)入(ru)射(she)光(guang)瞳(tong)向用户的(de)眼睛处移动来(lai)校(xiao)正(zheng)相机的(de)POV，以(yi)更好(hao)匹配用户的(de)POV，从(cong)功能的(de)角度，该专利可以(yi)理解为“相机POV校(xiao)正(zheng)装(zhuang)置”。
Vision Pro的(de)相(xiang)(xiang)(xiang)机(ji)(ji)(ji)的(de)二维(wei)阵(zhen)列（two-dimensional arrays）可以捕(bu)获眼前真实世界场景的(de)各个部分的(de)图(tu)像，摄(she)像机(ji)(ji)(ji)沿球(qiu)面(mian)曲(qu)(qu)线或曲(qu)(qu)面(mian)定位（spherical curve or surface），以使摄(she)像机(ji)(ji)(ji)具有不重(zhong)叠的(de)相(xiang)(xiang)(xiang)邻视场（FOV）。同时(shi)，为(wei)了(le)准确表示(shi)用(yong)户的(de)视角，Vision Pro相(xiang)(xiang)(xiang)机(ji)(ji)(ji)中的(de)光(guang)学(xue)器件被配置为(wei)使阵(zhen)列中相(xiang)(xiang)(xiang)机(ji)(ji)(ji)的(de)入射光(guang)瞳位于图(tu)像传感器处所形成相(xiang)(xiang)(xiang)机(ji)(ji)(ji)图(tu)像平(ping)面(mian)的(de)后面(mian)。同时(shi)，Vision Pro的(de)相(xiang)(xiang)(xiang)机(ji)(ji)(ji)也在传感器上形成优化的(de)图(tu)像。因此，每(mei)个相(xiang)(xiang)(xiang)机(ji)(ji)(ji)阵(zhen)列都能从与用(yong)户眼睛基(ji)本相(xiang)(xiang)(xiang)同的(de)视角捕(bu)捉(zhuo)场景的(de)视图(tu)。
在苹果发布会的(de)展示中，使用者(zhe)可以(yi)(yi)与(yu)图片中场景进(jin)行(xing)交互一(yi)直(zhi)让人(ren)好奇，从(cong)苹果发布的(de)专利中可以(yi)(yi)看到(dao)，虚拟现实(shi)系统可以(yi)(yi)向用户(hu)显示立体场景以(yi)(yi)创建(jian)深度(du)错觉(jue)，并且计算机(ji)可以(yi)(yi)实(shi)时调整场景内容。
每(mei)个(ge)(ge)相机按照从(cong)物(wu)侧(ce)到像侧(ce)的(de)顺序包(bao)括(kuo)(kuo)：第一透(tou)镜(jing)(jing)(jing)组(zu)，其中包(bao)括(kuo)(kuo)一个(ge)(ge)或多(duo)(duo)个(ge)(ge)透(tou)镜(jing)(jing)(jing)元(yuan)件(jian)；孔(kong)径(jing)光阑（apertue stop）其中包(bao)括(kuo)(kuo)针孔(kong)（pinhole）；第二透(tou)镜(jing)(jing)(jing)组(zu)，其中包(bao)括(kuo)(kuo)一个(ge)(ge)或多(duo)(duo)个(ge)(ge)透(tou)镜(jing)(jing)(jing)元(yuan)件(jian)、多(duo)(duo)个(ge)(ge)镜(jing)(jing)(jing)头元(yuan)件(jian)和传感器，同(tong)时，第一组(zu)透(tou)镜(jing)(jing)(jing)组(zu)中的(de)透(tou)镜(jing)(jing)(jing)之间(jian)的(de)间(jian)隙最(zui)小或者没有间(jian)隙。
这样安(an)排的(de)原因(yin)是(shi)希望使一个(ge)场景的(de)光被反射(she)到两个(ge)或多个(ge)摄(she)像(xiang)机(ji)(ji)上，这些摄(she)像(xiang)机(ji)(ji)分别为捕捉(zhuo)场景的(de)各个(ge)部分的(de)图(tu)像(xiang)，镜子(zi)的(de)作用(yong)是(shi)使摄(she)像(xiang)机(ji)(ji)的(de)光圈更接近被摄(she)者的(de)眼睛。所(suo)捕获(huo)的(de)图(tu)像(xiang)经过处理后生(sheng)成图(tu)像(xiang)。用(yong)户在由自己的(de)左(zuo)右(you)眼来查看(kan)所(suo)显示的(de)图(tu)像(xiang)。
而且真正实现3D摄影，这或许还只是入门级的要求。苹果在2021年4月公布一项关于360摄影和后期制作相关的专利，或许可以更好地(di)解(jie)释(shi)Vision Pro如何实(shi)现了体(ti)验者们所(suo)言(yan)的“3D立体(ti)景观”。
苹果在专利中称(cheng)，传统(tong)的(de)180度和(he)360度视(shi)频和(he)图(tu)像(xiang)(xiang)都以平面(mian)存储格(ge)式（in flat storge formats）进行存储，同时使用等距柱(zhu)状(zhuang)投影(ying)（equirectangular projections）或(huo)立方(fang)投影(ying)（cubic projections）来表示球面(mian)空间（sphrical space）。如果这(zhei)些(xie)视(shi)频或(huo)图(tu)像(xiang)(xiang)在传统(tong)的(de)编辑或(huo)图(tu)形(xing)应(ying)用程序中进行编辑，同时当(dang)这(zhei)些(xie)视(shi)频或(huo)图(tu)像(xiang)(xiang)以圆顶投影(ying)、立方(fang)体或(huo)球面(mian)映射的(de)方(fang)式分布和(he)呈现时，容易出(chu)现大量(liang)问题。
此(ci)外，在对用球(qiu)面(mian)合成或编辑的图(tu)像或视频进行(xing)处理(li)后，容(rong)易出现(xian)后续镜头未(wei)对准(zhun)或立体视觉不匹配等(deng)情况(kuang)。然而苹果的专利弥补了这一遗(yi)憾。
目前Vision Pro获得专利会将单视场（monoscopic）或立体180度或360度的静态图像或视频图像从主机编辑或视觉效果软件作为等距柱状投影或其他球面投影传输同时运行的输入的方法和系统。同一设备上的软件程序，可以从有线或无线链接的头戴式头显的方向和位置数据，并同时将该方向代表的代表性单视场或立体场视图实时渲染到Vision Pro中。
说到这或许就可以解答如何形成3D立体景观了，但苹果并未止步与此，苹果在专利中还进一步想到了关于Vision Pro拍到的照片和视频如何进行后期制作，虽然苹果没有在WWDC23的预告中展示这方面的功能。
简单来讲(jiang)，Vision Pro使用GPU缓(huan)冲区(qu)来接收图(tu)(tu)像(xiang)数(shu)据(ju)(ju)，同时这个GPU缓(huan)冲区(qu)还与媒(mei)体操作的(de)应用程序相(xiang)关联，可(ke)以获(huo)取到显(xian)(xian)示设备(bei)的(de)方向(xiang)数(shu)据(ju)(ju)（orientation data），这样(yang)利用获(huo)得的(de)图(tu)(tu)像(xiang)数(shu)据(ju)(ju)和方向(xiang)数(shu)据(ju)(ju)，Vision Pro的(de)屏幕上就可(ke)以显(xian)(xian)示出(chu)预(yu)览图(tu)(tu)像(xiang)。需要指出(chu)的(de)是，当媒(mei)体操作应用程序并修改(gai)图(tu)(tu)像(xiang)数(shu)据(ju)(ju)时，所(suo)述(shu)的(de)预(yu)览图(tu)(tu)像(xiang)会被动(dong)态修改(gai)。
十二、增加集成板块，安装多种传感器，告知外界头显正在拍摄
此前谷歌眼镜由于会在对方不知情的情况下对其进行拍摄而受到外界的诟病，苹果在下面这项专利中为Vision Pro增加了集成板块（integrated part），该集成板块可以让外界知道头显正在拍摄，简单来讲，就是“传感器捕捉与指示装置”。
从专利信息来看(kan)，苹果在Vision Pro安装上许多传(chuan)(chuan)感(gan)器(qi)(qi)，首先是，三(san)维(wei)传(chuan)(chuan)感(gan)器(qi)(qi)，三(san)维(wei)传(chuan)(chuan)感(gan)器(qi)(qi)下(xia)面又(you)分为多个类(lei)别(bie)，例如(ru)三(san)维(wei)图像(xiang)传(chuan)(chuan)感(gan)器(qi)(qi)（three-dimensional sensors）、结构(gou)光传(chuan)(chuan)感(gan)器(qi)(qi)(structured light sensors)，当目标被(bei)光束(shu)照(zhao)射产生的光点的三(san)维(wei)图像(xiang)数(shu)据被(bei)三(san)维(wei)图像(xiang)传(chuan)(chuan)感(gan)器(qi)(qi)捕捉到，这时Vision Pro中(zhong)的相机就(jiu)会(hui)对图像(xiang)进(jin)行拍(pai)摄(she)。
其次，Vision Pro中(zhong)还有三(san)维激光(guang)雷达传感器(qi)(qi)（the-dimensional lidar sensor)，可以理解为一种光(guang)检测(ce)和测(ce)距的传感器(qi)(qi)（light detection and ranging sensors）；三(san)维射频传感器(qi)(qi)（three -dimensional radio-frequency sensors）或(huo)者收集(ji)三(san)维图像数据的其他(ta)传感器(qi)(qi)。
最后还(hai)有实现跟(gen)踪传感(gan)器（gaze tracking sensors），其中就包括(kuo)基于图像传感(gan)器的(de)视线跟(gen)踪系统。（gaze tracking system based on an image sensor）。
讲完了Vision Pro中的(de)传感器，Vision Pro中的(de)发光组件(jian)（light-emitting component）可以用(yong)来指示相机的(de)当前操(cao)作模式。
从上图来看，Vision Pro采用了两种设计分别是圆形指示器设计、八角形指示器设计（Octagonal Indicator Design）。当相机在捕捉运动图像的时候，指示器变为红色，当相机没有捕捉视频时，指示器就可以为绿色或者黑色。
十三、双向镜和单向镜间自由切换，EyeSight可实现自动自动淡入、淡出功能
压轴出场的是Vision Pro的Eyesight功能，在WWDC23上，相信很多人对Vision Pro双向镜与单向镜的切换感到好奇，在WWDC23小(xiao)组讨论中，Vision Pro的(de)首席开发人员Mike Rockwell谈到了EyeSight背(bei)后的(de)技术。
据悉，Eyesight的想法可以(yi)追溯(su)到苹果前首席设(she)计(ji)师Jony Ive，事实(shi)上Meta曾(ceng)在(zai)2021年展示过带(dai)有假(jia)视觉的原型。
EyeSight功能(neng)简单来说，就(jiu)是(shi)外(wai)部的(de)显(xian)示(shi)屏可(ke)以(yi)实(shi)时显(xian)示(shi)用(yong)户的(de)眼睛。然(ran)而实(shi)现(xian)(xian)该功能(neng)并非容易，一(yi)方(fang)面传统的(de)2D显(xian)示(shi)器(qi)在显(xian)示(shi)眼睛时会显(xian)得不自然(ran)。于是(shi)以(yi)Mike Rockwell为(wei)代表的(de)开发人员想到了制造一(yi)种(zhong)(zhong)弯曲的(de)透镜显(xian)示(shi)器(qi)，这种(zhong)(zhong)显(xian)示(shi)器(qi)可(ke)以(yi)为(wei)每个观察(cha)Vision Pro外(wai)显(xian)示(shi)屏的(de)人呈现(xian)(xian)独特视图。
在WWDC23中，Vision Pro的效果(guo)展示部分，也可以听到该头显屏(ping)幕使用了一种(zhong)名为“Lenticur ”的透镜。2021年，Patenltly Apple发布(bu)了三篇(pian)关于相(xiang)关的专(zhuan)利报告。
今年5月，在一项在Lenticur透镜显示图(tu)像的(de)方法的(de)专(zhuan)利(li)被公布出来(lai)。从(cong)专(zhuan)利(li)信(xin)息来(lai)看，Vision Pro离(li)(li)线(xian)后(hou)会(hui)(hui)生成静态网格，传感(gan)器会(hui)(hui)实时将拍摄对象(xiang)的(de)纹(wen)理信(xin)息映射到(dao)固(gu)定(ding)的(de)网格之中(zhong)。在离(li)(li)线(xian)的(de)过程(cheng)中(zhong)，被拍摄对象(xiang)的(de)纹(wen)理信(xin)息和3D网格信(xin)息（3D mesh information）可以(yi)用(yong)于渲染对象(xiang)多个(ge)视(shi)点的(de)UV贴图(tu)（UV map），这样(yang)就完(wan)成了3D建模。
Vision Pro开发人员在分享中曾提(ti)及(ji)，而(er)这些视图(tu)数据有两大主(zhu)要数据源，一(yi)是头(tou)显中眼动(dong)追踪摄像头(tou)捕(bu)捉到的(de)(de)(de)画面信(xin)息，二是苹(ping)果使用数字(zi)角色(se)(se)，这个数字(zi)角色(se)(se)是佩戴者的(de)(de)(de)3D面部扫描的(de)(de)(de)帮助下预先生成的(de)(de)(de)。
从图1A和(he)图1B分别显(xian)示(shi)了Lenticur显(xian)示(shi)器(qi)的(de)3D前视(shi)图和(he)顶视(shi)图。Lenticur显(xian)示(shi)器(qi)包括显(xian)示(shi)面(mian)板、该面(mian)板的(de)材(cai)质可(ke)以是(shi)LCD、OLED、DLP、LCoS（硅基液晶(jing)）。同时，可(ke)以看出Lenticur使用了柱(zhu)面(mian)透镜，这(zhei)种透镜本质上一组(zu)放大透镜，特点是(shi)可(ke)以改(gai)变图像的(de)宽(kuan)高比，为每个观察(cha)Vision Pro外显(xian)示(shi)屏的(de)人呈现独特视(shi)图。
图(tu)210可(ke)以是(shi)视网膜投(tou)影仪系(xi)统(tong)（retinal projector system），其将左图(tu)像(xiang)(xiang)和右(you)图(tu)像(xiang)(xiang)逐像(xiang)(xiang)素扫描(miao)到用户(hu)的眼睛之(zhi)中。为了扫描(miao)图(tu)像(xiang)(xiang)，投(tou)影仪还(hai)会·生成(cheng)光(guang)束，这些光(guang)束被引导(dao)反(fan)射(she)组件（reflective components），反(fan)射(she)组件会将光(guang)束重新引导(dao)到用户(hu)的眼睛之(zhi)中。
EyeSight还包括自动淡入和淡出眼部区域的功能，这取决于用户是在沉浸式内容中还是与附近的人进行互动。自动淡入可以理解为，当有人靠近用户时，此人会自动出现在视野中。
Vision Pro的镜片中带有涂层，就像太阳镜和滑目镜这类产品一样，可以产生单向镜面效果。但是这也就造成一个问题，当使用者佩戴太阳镜、滑目镜这类产品时，由于涂层不够透明很可能会使组件无法有效运行。
Vision Pro使用了红外透明单向镜，这款单向镜使用了支撑结构（support structure）的材料，这种支撑结构可以支撑材料层，使得材料层将外部区域和内部区域分开。
同(tong)时(shi)，光(guang)(guang)(guang)(guang)学器件(jian)可以(yi)与(yu)材料层(ceng)重叠，这样可以(yi)实现该效(xiao)果的光(guang)(guang)(guang)(guang)学组(zu)件(jian)包括可见相机的可光(guang)(guang)(guang)(guang)组(zu)件(jian)和诸如红(hong)外(wai)(wai)(wai)发光(guang)(guang)(guang)(guang)器件(jian)、光(guang)(guang)(guang)(guang)红(hong)外(wai)(wai)(wai)发射(she)器的、红(hong)外(wai)(wai)(wai)光(guang)(guang)(guang)(guang)传感器的红(hong)外(wai)(wai)(wai)组(zu)件(jian)等可以(yi)穿过(guo)材料层(ceng)，同(tong)时(shi)被(bei)(bei)红(hong)外(wai)(wai)(wai)透明(ming)单向镜的反射(she)外(wai)(wai)(wai)观(guan)隐藏而(er)不被(bei)(bei)看到。
结语：打造虚拟交互新模式，Vision Pro有望掀起XR领域热潮
从上文(wen)深扒Vision Pro 13项功能展示中背后专利可以看到，无论(lun)是空间(jian)窗(chuang)口、空间(jian)音(yin)频等都为用户带来了“空间(jian)计算”新体验，同时，EyeSigtht功能一改传统XR设备“隔绝式”交(jiao)互(hu)方式，使得(de)佩(pei)戴者既能实(shi)时看到外(wai)部情(qing)况，还能在有人靠(kao)近的情(qing)况下，与(yu)现实(shi)中的人进(jin)行交(jiao)互(hu)，打造了虚拟交(jiao)互(hu)新模式。
XR发展已有10余年的时间，这期间虽然一(yi)直缺少爆款级(ji)产品(pin)(pin)出现，但是由于以苹果、Meta、谷歌为首的科技巨头的“押注”，XR领域(yu)一(yi)直受关(guan)注度较高，与之相关(guan)的新(xin)专利、新(xin)产品(pin)(pin)、新(xin)场景也在(zai)持续(xu)发布。作(zuo)为苹果“十年磨一(yi)剑(jian)”打造出来(lai)的现象级(ji)产品(pin)(pin)Vision Pro有望掀起XR领域(yu)的热(re)潮，进(jin)一(yi)步扩大XR设(she)备(bei)的市场规模。
