深圳电子展|ToF传感技术让XR交互更自由

 

在当前的XR（虚拟现实、增强现实和混合现实）应用中，物理形式的手柄控制器仍作为一种基础的交互方式被广泛使用。然而，物理手柄在高临场感的沉浸式XR应用场景下，需要用户进行适应性学习，其存在操作复杂度高、成本高等先天缺陷。为增加XR交互的流畅性及沉浸感，近期推出一项凝聚其多年技术积累的创新性XR交互解决方案——TrueToF Neural Gesture。它基于Time of Flight（ToF）传感器信号和深度学习来解析用户的精细手部动作，能够在无需手持外设下实现精准手势控制。今天就由深圳电子展小编为你解读更多行业新趋势。

 

该方案充分发挥信号的优势，具有高精度、低延迟等诸多技术优势，为XR应用提供一种更自然、沉浸的交互体验，同时结合了香港光云科技（HKSC）新的 3D语义理解技术，可以准确识别用户手势信息所表达的行为意图，为各类应用场景提供丰富的用户动作属性标签。例如，在教育领域，学生可以通过手势直观地操控虚拟实验装置；在娱乐领域，游戏玩家能够更自然地与虚拟角色互动；在设计领域，专业人士可以轻松地编辑、调整3D模型等等。相较于传统XR设备的手柄控制器， TrueToF Neural Gesture能够为更多用户带来创新的XR体验，使用户能够更加轻松地探索和享受虚拟世界，无需手持的的物理外设，同时降低设备成本。

 

然而在3D空间对手部关节进行精准跟踪，必然需要大量的3D信号数据及其信号空间真值标注。HKSC构建了专业3D数据库—TrueToF 3D 手势基础Dataset，包含高质量的ToF 3D 信号的RAW数据以及高精度的3D标注数据。其中，3D手势超过10,000种，可供训练的案例超过100,000种，据此其开发了高精度3D手势识别方法。与传统数据集相比，TrueToF手势训练库中的数据具有精准的3D空间信息，尤其是深度Z轴上的真值数据。TrueToF 3D Dataset的建立，可以为AI学习提供更加准确、可靠的数据标注，为3D手势识别技术的发展提供有力的支撑。

 

TrueToF Neural Gesture是一种基于TrueToF Neural IP底层成像及3D语义技术的高精度3D手势识别方案。它够在三维物理空间中实现用户手部姿态的高精度追踪，增强现实及虚拟现实下的用户交互体验。

 

下一步，TrueToF Neural Gesture技术将不断优化和创新迭代，努力提升手势估计与识别的适配性及稳定性，同时引入更多AI算法不断提高手部关节识别的精度和语义识别。HKSC相信3D语义等技术创新将持续为XR、Metaverse、AIGC、Autonomous driving等更多场景提供基础应用支撑，TrueToF Neural Gesture技术也将在更广泛的数字信息领域发挥潜力，为用户带来更加智能、便捷的生活体验。

 

以上便是深圳电子展小编为大家整理的相关内容，如果大家对这方面比较感兴趣，可以到深圳电子展参观交流。2023年10月11日-13日，深圳电子展将于深圳国际会展中心（宝安新馆）隆重开幕，将以“跨界+芯+智造”为创新理念，展会将汇聚1,200个企业及品牌参展，展示电子元器件、PCBA制程、智能制造、 EMS服务、半导体封测等相关的国内外设备新品及先进技术解决方案。与同期多展联动，带来消费电子、家电、工控、通信通讯、汽车、触控显示、新能源、医疗器械、光电等领域跨界商机，绽放亚洲电子工业新活力。此外，同期将举办超30场跨国、跨界活动，覆盖PCBA制程、半导体封装、工业机器人、智能仓储与物流、机器视觉、智慧工厂、工业互联网、激光、3C、家用电器、通信、汽车、5G、物联网、人工智能、AR/VR、新能源、医疗器械、照明等热门话题，创新打造多元化国内、外商务配对社交机会，一站式捕捉亚洲跨界商贸网络，诚邀您莅临参观，为您解读更多行业发展新趋势。

 

文章来源：MEMS