3D传感
使用艾迈斯欧司朗微型摄像头、红外照明器和传感，实现6DoF 位置跟踪、边界检测、3D 场景重建、视频透视、手持控制器和手部跟踪功能
探知现实世界的传感技术对于虚拟现实（AR）和增强现实（VR）至关重要
VR 头戴设备和 AR 眼镜如何获取自身位置和用户移动信息？虚拟物品如何放置在现实世界以实现逼真的效果？
探知现实世界的传感技术对VR 和 AR 应用体验至关重要。艾迈斯欧司朗提供了全面的传感产品组合，包括图像传感器、微型摄像头、红外 LED、IR VCSEL 模组、照明器驱动和集成 dToF 范围传感器。
沉浸式 VR 体验需要对头戴设备的运动进行精确的6DoF跟踪。当用户头部在运动时，能够自然地渲染并将虚拟场景画面显示给用户。同时，必须设置活动边界以避免用户碰撞。
AR 体验需要进一步对周围环境进行 3D 地图建模，以便在现实世界设置虚拟场景并实现逼真的现实效果。VR 视频透视（VPT）还必须重新渲染完整的场景，在闪烁、环境光和颜色传感的作用下效果更佳。
手部跟踪是关键的用户交互方式，无论是否使用手持设备；通常使用同样的探知现实世界的跟踪传感器实现。
3D 场景重建
增强现实体验需要构建 3D 实时环境深度图，这是设置虚拟场景来实现逼真的现实效果的前提，并从用户的视角重新渲染现实场景进行 VR 视频透视（VPT）。可采用多种方法实现3D 传感。
基于摄像头的 3D 传感系统从多个位置捕获图像，并对场景中可识别的常见特征进行三角测量。可实现多个摄像头（立体视觉）和特征投影（结构光）的各种组合。艾迈斯欧司朗提供：
- MIRA 全局快门图像传感器和晶圆级光学元件组合使用，可创建低功耗的超小尺寸红外增强摄像头模组，分辨率范围为 0.16–2.2MP。
- OSLON BLACK 和P1616 红外 LED和BIDOS VCSEL 泛光照明器采用高度紧凑的封装设计，实现强大而高效的红外泛光照明。
- BELAGO 和 BELICE VCSEL 点阵投影器模组为红外结构光照明提供完全集成的解决方案。
- AS1170 驱动器 IC 与相机快门同步驱动 LED 和 VCSEL 照明器，具有先进的生产和安全功能。
基于飞行时间（ToF）的 3D 传感器可直接测量场景中各点的光学路径长度。艾迈斯欧司朗提供：
- TMF882x 集成直接 ToF（dToF）模组可实现超低功率测距，以 8×8 个区域的紧凑设计覆盖超过 5m 的范围。
- VCSEL 和 VCSEL 模组可创建集成 ToF（iToF）传感器系统。
用于视频透视的摄像头增强
VR 头戴设备通过在设备的高分辨率显示器上重现实时的现实世界图像，并添加虚拟内容，创造出高保真的 AR 体验。然而，这种所谓的视频透视（VPT）功能比简单地从外部 RGB 摄像头中传递图像复杂得多。必须对场景进行 3D 捕获并重新渲染，以匹配用户眼球的实际位置，并在现实世界中添加逼真的内容。
除了使用上述方法对场景进行 3D 映射外，逼真的渲染还需要高保真的 RGB 摄像头图像。 艾迈斯欧司朗是手机摄像头增强传感器行业的领先供应商。这些传感器与图像传感器和图像信号处理器（ISP）组合发力，最大化实现图像高品质并降低延迟；这些要求也适用于创建最佳视频透视。具体来说，我们提供传感器用于：
- 使用我们的环境光传感器，检测环境光水平和闪烁频率。这些传感器能够快速设置摄像头曝光时间和帧率，确保在不断变化的环境条件下捕捉具亮度最佳的流畅视频。
- 使用我们的颜色和光谱传感器，捕捉场景的真实颜色，能够在不同环境和场景中保持真实的白平衡。
- 使用我们的dToF 传感器模组，检测距离，实现快速准确对焦。
手部跟踪
跟踪手部动作对于打造自然的 VR 和 AR用户交互体验至关重要。
用于跟踪精细手部动作的摄像头也用于位置和 3D 传感技术。为了提高性能，还可以增加高强度红外泛光照明，以最大化提高手部在背景场景中的可见度。艾迈斯欧司朗提供：
- MIRA 全局快门图像传感器和晶圆级光学元件组合方案，可创建低功耗超小尺寸红外增强摄像头模组，分辨率范围为 0.16–2.2MP。
- OSLON BLACK、P1616 红外 LED ，以及 BIDOS VCSEL 泛光照明器采用高度紧凑的封装设计，提供强大而高效的红外泛光照明。
- AS1170 驱动器 IC 与相机快门同步驱动 LED 和 VCSEL 照明器，功能强大，安全性高。
使用我们的紧凑型 TMF8828 多区 dToF 传感器模组，实现以极低功耗进一步检测大幅度且有意识的手部动作。该技术可实现多种功能，如低功耗手势唤醒、或超轻量 AR 眼镜中的简单手部跟踪。
用于 VR 头戴设备的 6DoF 位置跟踪
快速准确的6DoF位置跟踪技术是所有 VR/AR 头戴设备的关键。单独的惯性传感器无法提供可重复的绝对位置信息，因此通常使用光学技术，有两种关键方法。
外向型追踪使用设备上的摄像头跟踪周围场景中识别的多个固定特征。通过从多个摄像头位置跟踪特征的相对运动，可以使用图像处理计算设备的 6DoF 位置。由于场景中不需要额外的基础设施，因此它是现在使用最广泛的方法。
内向型追踪在使用设备的房间四周放置固定传感器，通常是摄像头，并在待跟踪设备上放置特定标记，通常为红外 LED。通过从不同摄像头位置跟踪标记的相对运动，可以对位置进行高精度的三角测量。虽然该方法具有较高的可靠性和准确性，但在房间四周放置硬件意味着它仅适用于更专业的系统。
艾迈斯欧司朗为所有类型的位置跟踪系统提供传感器和发射器：
- MIRA 全局快门图像传感器和晶圆级光学元件可组合使用，创建超小、红外增强、低功耗的摄像头模组，分辨率范围为 0.16–2.2MP。
- Firefly 红外芯片 LED 尺寸小，但可以提供高效的红外点光源，适合作为待跟踪物体上的标记使用。
- BPW34S 和 SFH2704 光电二极管
VR 手持控制器位置跟踪
VR 手持控制器还需要准确跟踪其与用户运动时的相对位置。
内向型追踪技术通常用于手持控制器：一系列红外 LED嵌入其中，使用头戴设备上现有摄像头对其进行跟踪。这是一个可靠且简单的解决方案，可在大多数情况下使用。 为了实现系列红外 LED 部署，艾迈斯欧司朗 Firefly® 芯片 LED 提供了高效且紧凑的解决方案。
内向型追踪技术可以通过将多个摄像头嵌入到每个手持控制器中，并跟踪其相对于场景中特征的绝对位置来实现。该方法的优点是，即使手不在头戴设备的视野范围内，设备也可以正常工作，尽管这会增加控制器设计的复杂性。艾迈斯欧司朗 MIRA 全局快门图像传感器和晶圆级光学微型摄像头提供了小巧、节能的解决方案。
VR 避障
与现实世界物体的碰撞是沉浸式 VR 体验的潜在危险之一。为避免这种情况，VR 头戴设备在移出安全游戏区域时可提醒用户。
通常，VR 头戴设备根据用户定义的安全边界实现提醒功能，并使用上述 6DoF 位置跟踪系统进行跟踪。
此外，艾迈斯欧司朗直接飞行时间（dToF）距离传感器模组可用于检测附近物体的存在和距离。dToF 传感器还用于机器人系统避障，为实时准确测量范围提供了一种低功耗紧凑型解决方案。