FBEC2023 | 七鑫易维副总裁路伟成：XR眼球追踪的几大关键落地场景

来源：网络时间：2023-12-13 16:49 作者：hj 访问量：596 我要投稿

　　FBEC2023未来商业生态链接大会暨第八届金陀螺奖于2023年12月8日在深圳福田大中华喜来登酒店6楼盛大召开，本次大会由广东省游戏产业协会、深圳市互联网文化市场协会指导，陀螺科技主办，中国光谷、游戏陀螺、VR陀螺、陀螺财经、陀螺电竞联合主办。

　　大会以“合力共生·韧者行远”为大会主题，以具有行业前瞻洞察的“航行者”为视角，破冰之旅为主线，关注AI、元宇宙、XR、游戏、电竞、数字经济等科技与互联网前沿领域，全方位呈现科技前沿成果，聚焦时代与商业热点议题，探讨新科技、新商业、新模式的未来价值，与真正的勇者共赴剧变革新下的凛冬破冰之旅!

　　主会场C：元生未来，共链价值——2023全球元宇宙产业核心技术论坛，邀请到七鑫易维副总裁路伟成带来主题为“XR眼球追踪的关键点”的精彩演讲。路伟成认为，XR眼球追踪的几大关键落地场景有：注视点渲染、瞳距(IPD)调节、表情追踪(+反向透视)、交互、身份识别、眼动数据分析以及虚实对齐与消除VAC。

　　以下为演讲实录：

　　大家，下午好!我是七鑫易维的路伟成，今天和大家分享的主题是XR眼球追踪的几个关键问题，集中阐述XR眼球追踪的应用场景。

　　XR眼球追踪的时代已经到来，全球领军消费电子公司苹果，第一款XR产品Vision Pro就集成了眼球追踪。而除了苹果之外，主流的XR品牌几乎全部推出了集成眼球追踪的XR型号，如Meta Quest Pro、PICO 4 Pro等。具体来看，XR眼球追踪的落地场景有：

　　(1)注视点渲染。加了眼动的VR，基本都会加注视点渲染。Vision Pro发布，VR、MR的分辨率都向苹果看齐，超高分辨率意味着渲染压力非常大，而注视点渲染则可以大幅度降低渲染压力，如《Red Matter 2》登陆Quest Pro后，像素密度比之前提升了33%(等同于视觉中心的像素数量增加了77%)，文字清晰度、光影和色彩表现足够优秀，突破了Quest头显的图形极限。再看PSVR2使用动态照明和阴影等高要求的图形质量下，渲染和计算跟踪的帧时间从33.2ms下降到14.3ms，运行一个4K的飞船Demo演示时，CPU线程性能和GPU帧时间分别快了32%和14%。最后总结下来就是注视点渲染提高GPU帧数达2.5倍，注视点渲染+眼球追踪可提高3.6倍，由此注视点渲染是刚需。

　　(2)IPD调节。加了眼动的VR基本都加了IPD，Vision Pro也加了，但是在发布会上并没有提。用户感知不到的东西，苹果就不会提，感知不到的技术是最好的技术，就像空气一样使用它就可以。七鑫易维早在2018跟歌尔合作的时候，就推出了自动的IPD的调节。

　　(3)表情追踪。目前的落地情况，只要加了眼动，肯定都能实现表情追踪，Vision Pro还额外加了个反向透视。七鑫易维很早就实现了通过眼球追踪进行表情追踪的功能，可以把人的表情，眼部表情都表现出来。这已经是落地的场景，在VR的社交类应用或者是远程会议等都用得到。

　　(4)身份识别和认证。目前用得比较少，仅Vision Pro和HoloLens2用了，运用虹膜识别作为身份识别的方式。虹膜识别和眼球追踪实际上是可以统一到一起的，因为硬件采用的是一套。虹膜识别是我们认为目前最合适XR身份认证的方式。为什么会这么说?主要因为虹膜识别已经有眼球追踪不需要额外加其他的套件。眼球追踪是很好的活体识别方式，提升了虹膜识别的安全性，虹膜识别还能给眼球追踪提供身份信息，当切换用户的时候可以自动切换眼球追踪的参数。这方面我们已与微信支付、创维XR推出了整体的虹膜识别和眼球追踪的XR方案，预计年底或明年初可以实现量产。

　　(5)交互。几年前我们就讲，眼手口多模态自然交互是XR交互的未来，但在Vision Pro未发布前，大家都不相信。在苹果看来，眼手口多模态自然交互，是继键鼠交互、触控交互之后的第三次交互范式大变革。眼睛除了用来做简单的选择之外，还有很多场景是适合的，比如做信息显示、自动滚屏、自动缩放、自动隐藏等。有了眼动数据，可以展开很多想象，交互潜力会变得非常巨大。推荐一篇Meta的论文《基于眼动追踪的交互具有巨大潜力》

　　Leveling the Playing Field: A Comparative Reevaluation of Unmodified Eye Tracking as an Input and Interaction Modality for VR，感兴趣的可以去看一看。

　　(5)眼动数据分析。眼动数据分析，可以挖掘用户很多的心理信息、生理信息，可以用在广告分析、用户体验分析、用户心理分析等。这可能是XR行业靠眼球追踪挣钱最多的功能之一，只是在C端会慢一些，C端用眼动分析不多。七鑫易维之前就做过VR看房的案例，用户看到的是有颜色的，商家会看到用户在什么地方看的注意力比较集中，什么地方没有关注到，这对于商家来讲可以挖掘的信息非常多。

　　除此之外，像虚实对齐被视为未来很快落地的场景，只是目前还没有。但AR在这方面有很强的需求，AR常用的场景就是虚实融合，如导航，要在真实的路面上出现虚拟导航的轨迹，但是每一个人佩戴眼镜的姿势不确定，显示的位置很可能就产生偏差，基本上很难100%的对齐，这就需要实时根据用户眼睛的位置进行调整，也就是需要眼球追踪。其次就是消除VAC，这个依赖于变焦系统的成熟，现在变焦系统还没有成熟，所以没有落地的场景。但随着变焦系统成熟，消除VAC就自然而然产生需求。

　　那么，Vision Pro的眼球追踪和七鑫易维之前推的方案有什么不同呢?基本的路线是一样唯一的不同是苹果的堆料够狠。当然，也有代价，就是高功耗、高算力、高成本。我们也有类似的方案，预计原型机今年底或明年初会出来。

　　大家也会疑惑单眼单摄不能用了吗?仍然具备高可用性，关键是眼球追踪可用性不仅仅和本身性能相关，还和交互设计强相关。还有一个小问题，人眼数据是用户生物特征数据，所以人们对于用户隐私安全越来越重视，这是很关键的事情。据我了解，所有用户认证用到生物信息，都不可以在海外建数据库，这涉及到国家安全的问题。刚才也有嘉宾讲过，高科技领域我们要防止卡脖子，七鑫易维，无论是在硬件算法，还是软件上，全部做到了自主可控，所以不存在卡脖子的问题。

　　七鑫易维成立于2009年，历经14年发展，在国内的眼球追踪市场已经遥遥领先，目前在全球申请的专利数量将近600项，其中发明专利占到了2/3。

　　如上图所示，这是七鑫易维已经发布的一些产品，大家感兴趣可以细聊。接下来，还会陆续有一些新的型号发布。

　　最后，总结一下：(1)注视点渲染、动态超分和反畸变、瞳距调节将成为XR的基本功能;(2)表情追踪作为社交强需求，将成为XR的基本功能;(3)虹膜识别将成为XR身份识别和认证的最常用方式;(4)眼手口多模态自然交互将成为XR的交互趋势;(5)眼球追踪在XR上已经成熟，具备高可用性;(6)眼球追踪将成为XR的标配，如果大家想要加眼球追踪，找七鑫易维，谢谢!

标签：暂无

分享到：

上一篇： FBEC2023 | 莫界科技创始合伙人李竹：量产树脂衍射光波导的前沿探索与应用

下一篇： FBEC2023 | JBD首席运营官徐慧文：AR眼镜将从轻量级向全天候演进