眼动、面部和手部追踪技术赋能VR/AR及智能眼镜

采用紧凑设计、低功耗组件实现先进视线与面部追踪

赋能新一代眼动、面部和手部追踪技术

眼动与面部追踪技术使虚拟现实、增强现实系统及智能眼镜实现自然交互。 视线追踪成为用户界面，驱动逼真虚拟形象生成；注视点渲染技术降低运算负载与系统功耗。 面部追踪可传递面部表情，增强社交与职业临场感。 关键技术需求包括高精确度、快速更新速率、超低功耗及微型外形尺寸。

眼动追踪工作原理（基于摄像头方案）

基于摄像头的眼动追踪融合了红外照明 (LED或VCSEL) 与全局快门CMOS图像传感器。 红外照明作用于不可见光谱； 通过瞳孔/光斑检测捕捉并处理眼部反射光。 全局快门传感器可避免滚动快门伪影，支持超短曝光时间，在低运动模糊下实现高精度。

组件示例（基于摄像头方案）

  • MIRA全局快门图像传感器：集成可回流焊、红外增强型微型摄像头模组。
     
  • 红外LED照明器件（如SFH4060 Firefly®）。
     
  • AS1181多通道LED/VCSEL驱动器：支持全局快门传感器超短脉冲驱动，具备单点容错安全监测功能，确保全工况下人眼安全。

眼动追踪工作原理（基于光学传感器方案）

针对超低功耗场景（尤适用于全天候智能眼镜），基于光电二极管方案具备显著优势。 红外LED发射短脉冲，光电二极管检测角膜/巩膜反射信号。光学反射传感器集成了LED、光电二极管、LED驱动器及模拟前端，配备数字控制与读取功能。

  • TMD2636接近/光学反射传感模组

架构对比概览

  • 基于摄像头方案: 最高精度与完整图像信息； 功耗及算力需求较高

  • 基于光学传感器方案: 超低功耗、紧凑设计且高性价比； 满足多数眼镜应用场景精度需求

面部追踪与虚拟形象重构

面部追踪技术重建面部几何结构与表情数据，驱动逼真虚拟形象。 在VR/AR系统中，高帧率、低延迟及鲁棒照明是实现社交交互、远程呈现与协作场景中表情连贯传输的关键要素。

技术优势与应用场景

  • 交互控制：视线追踪用户界面实现精准目标选择与导航。

  • 能效优化：注视点渲染技术降低处理负载与系统功耗。

  • 安全舒适：不可见红外照明；人眼安全驱动器确保故障条件下仍符合安全限值。

  • 功能扩展：眼动数据可作为潜在生命体征指标。

  • 设计适配：微型化模组适用于紧凑型头显与眼镜开发。

×

安全与合规

眼部附近的红外光源必须在规定的人眼安全限值内工作。
具备单点容错监测功能的多通道驱动器，即使在硬件或软件故障场景下仍确保符合安全规范。

应用框图

下列应用框图展示了XR设备中眼动与面部追踪的典型硬件架构方案。基于摄像头的系统：采用红外照明（LED或VCSEL）配合全局快门CMOS图像传感器，精准捕获眼部及面部特征。基于光学传感器的系统：采用高集成度光学反射（接近）传感器，在紧凑型可穿戴设计中实现超低功耗视线检测。

常见问题解答

VR/AR中的眼动追踪是什么？

通过红外照明与传感器捕捉视线向量，实现用户界面交互，借助注视点渲染技术降低计算负载，并支撑新兴生物信号应用开发。

眼动追踪为何优选全局快门传感器？

可彻底消除滚动快门伪影，精准捕捉高速眼动轨迹，并支持与红外脉冲照明同步的微秒级曝光控制。

摄像头方案与光学传感器方案的差异？

摄像头方案提供最高精度与完整图像信息，功耗较高；光学传感器方案以极低功耗和小型化尺寸满足多数眼镜设计的追踪性能需求。

如何保障人眼安全？

集成单点容错监测的多通道驱动器将红外输出严格限制于法规阈值内，故障状态下持续维持合规运行。

有哪些适用组件？

MIRA全局快门传感器、SFH4060 Firefly® 红外LED、AS1181 LED/VCSEL驱动器及TMD2636光学反射传感器。

特定产品

艾迈斯 Mira016 CMOS Image Sensor

Mira016是一款紧凑型16万像素(400*400)的近红外增强全局快门图像传感器，专为2D和3D消费级及工业级机器视觉应用设计。该传感器采用2.79微米像元尺寸，借助先进的背照式技术(BSI)实现高灵敏度，并配备MIPI CSI-2接口，可轻松连接各类处理器和FPGA。凭借1.8mm×1.8mm小尺寸、灵活可配置性及可见光与近红外波长区域的高灵敏度，Mira016能完美适配多种2D/3D应用场景，包括ARVR中的眼动追踪。其近红外高灵敏度和低工作功耗特性，可有效扩大测量距离并优化系统整体能耗，这对电池供电的消费类和工业应用具有关键意义。
详情和产品规格书

艾迈斯 Mira050 CMOS图像传感器

Mira050是一款紧凑型0.5MP近红外增强全局快门图像传感器，专为2D和3D消费类和工业机器视觉应用而设计。该传感器的像素尺寸小巧，为2.79 µm，采用最先进的BSI技术，灵敏度高。该传感器具有MIPI CSI-2接口，便于与众多处理器和FPGA轻松连接。由于其尺寸小巧、具有可配置性以及在可见光和近红外方面灵敏度高，Mira050非常适用于2D和3D应用，包括主动立体视觉、结构光视觉和AR/VR。近红外灵敏度高，可扩大测量范围，优化整个系统的功耗，这对电池供电的消费类和工业应用至关重要。
详情和产品规格书

艾迈斯 Mira220

Mira220是一款2.2MP近红外增强全局快门图像传感器，专为2D和3D消费类和工业机器视觉应用而设计。 由于其尺寸小巧、具有可配置性以及在可见光和近红外方面灵敏度高，Mira220非常适用于2D和3D应用，包括主动立体视觉、机器人结构光视觉和AR/VR。 
详情和产品规格书

OSRAM FIREFLY™, SFH 4060

红外线发射器 (850 nm)
详情和产品规格书

艾迈斯 AS1181 8-channel LED and VCSEL driver IC

AS1181 is an 8-channel highly integrated self-contained LED/VCSEL driver for near to eye applications such as Augmented Reality (AR) and Virtual Reality (VR) glasses. This eye-safety LED driver integrates extended safety monitoring functions to ensure eye-safe operation for smart glasses and other AR/VR applications. These safety monitors include LED short detection, LED open detection, LED overcurrent protection, LED on time monitor as well as temperature shutdown and a built-in-self test (BIST). The device is configurable via a serial wire interface (I²C or I3C) with interrupt and provides two Strobe/PWM inputs to synchronize illumination with up to two external cameras for binocular eye tracking systems. The LED current is individually programmable per channel, and it can drive up to 2 IR LEDs per current sink with a minimum ON time of 10μs and a maximum current of 66mA per channel. General purpose LED driving applications can be supported via a direct PWM input applied at the Strobe pin and it can drive RGB or white LEDs considering a maximum forward voltage of 5V. The device comes in a tiny wafer-level-chip-scale package (WLCSP) with 0.4mm pitch and dimensions of 2.9mm x 1 .75mm x 0.5mm (L x W x H).
详情和产品规格书

艾迈斯 TMD2636 红外接近检测模组

TMD2636是一款先进的红外接近传感器模组，适用于近距离接近传感测量检测，采用业界最小尺寸（1.0mm×2.0mm）和薄型（0.35mm）光栅阵列模组，集成940nm红外VCSEL，红外接近检测响应在出厂时接受校准。接近检测功能通过光电二极管检测集成VCSEL发射器发出的反射红外能量来实现接近检测。通过可调节的时序和功率可优化灵敏度、功耗和噪声。检测/释放事件由中断驱动，在接近检测结果超过上下限阈值时启动。接近检测引擎具有先进的串扰噪声消除功能，通过大范围的偏置调整可补偿传感器上不必要的红外能量反射。通过自动环境光削减功能，进一步改善接近检测结果。
详情和产品规格书
\n