介绍极小尺寸、超低功耗的事件视觉传感器

使用prophesee的GenX320 Metavision®传感器,超紧凑3x4mm设计低至微瓦级的功耗,构建下一代智能消费设备,解锁智能、自适应和安全的新水平。

GENX320

关键参数

分辨率 (px) 320×320
超低功耗模式(可降至36μW)
Optical format: 1/5”
Pixel latency @1k lux (μs) <150
动态范围(dB) >120
Nominal contrast threshold (%) 25
Pixel size (μm) 6.3 x 6.3
嵌入式功能: Anti-flicker filtering (AFK) + Event-rate
Controller (ERC) + Spatio-temporal Contrast filter (STC)

典型应用

AR/VR/XR:眼动追踪、手势识别
IOT:AI边缘计算和机器学习, Always-On Cameras
医疗保健(保护隐私)摄像头
穿戴设备
智能家居

像素级智能

将智能推向极致

受到人类视网膜启发,Prophesee自主研发并拥有专利的传感器产品,由一系列具备内置计算能力的像素点构成,每个像素可独立工作,触发事件。

超低功耗

传感器功耗低至36μW

Metavision 传感器的像素独立性和智能功耗模式架构实现了新的功率效率水平,超低功耗模式下低至36uW和典型模式下低至3mW

底层设计隐私保护

事件,而不是图像

Prophesee基于事件的Metavision传感器不捕获图像,而是捕获事件,是由单个像素驱动的稀疏异步数据。同时,由于只获取运动信息,在传感器层面忽略了静态场景背景信息

速度

>10k fps 等效时间分辨率

不再受到帧数限制,充分利用事件元素,揭示转瞬即逝的动态场景中无法被传统相机捕捉的细节。

 

更小型化

3x4mm

具有超紧凑的尺寸,GenX320的设计适合您的最紧凑空间的系统设计。

 

动态范围

>120dB 动态范围

即使在极端的光照条件下,也能实现高稳定性。有了 Metavision 传感器,您现在可以在同一场景中以任何速度完美地看到从漆黑到炫目的细节

AI友好

芯片级的人工智能

先进的片上功能,通过直接从传感器输出直方图,使本机数据与AI加速器兼容。

低光照

0.05 lx 的最低照度

有时候最暗的区域蕴藏着最清晰的见解。Metavision 使您能够在低至 0.05 lx,几乎无光的情况下,看到事件。

超小数据量

 减少10到1000倍数据量

由于每个像素只在感知到光照变化(运动)时才被触发,极大减少数据运算,Metavision传感器产生的数据平均比传统基于图像的传感器少10到1000倍

全面的产品布局,以适应您的设计需求

裸片 评估套件 STM32 Discovery Board 组装套件 紧凑光学模组

专为边缘 AI 算法应用而打造

眼动追踪

典型用例:注视点渲染,用户交互…

解锁具有超低功耗和高刷新率Metavision®传感器功能的下一代眼动追踪功能。达到1ms的采样频次,在优化系统自适应性和温度性能的同时,实现超平滑的眼动追踪。
视频由ZinnLabs提供

<20mW: 整个视线追踪系统的功耗

1kHz及以上: 眼动追踪刷新率

 

手势识别

典型用例: 非接触式交互……

由于Metavision®传感器,高动态范围(>120dB)低光截止(0.05lux)高功率效率(低至μW范围)低延迟特性,可实现高稳定性和流畅的手势识别与追踪。
视频由Ultraleap提供

>120dB动态范围

低至36 μW : 传感器级的功率效率

目标检测与追踪

典型用例:Always-On Cameras….

追踪视野中的移动物体。利用事件视觉传感器提供的低数据率和稀疏信息,以低计算能力持续追踪目标。
视频由Restar提供

连续的时间追踪: 在帧获取之间不再有“盲点”

原生前景分割: : 只分析运动,忽略静态背景

跌倒检测

典型用例:AI赋能监控

在传感器级别实时检测和分类人的活动,同时尊重主体的隐私。将更多的智能带给边缘AI,仅在关键事件发生时触发警报,如当一个人在医院病房跌倒时,同时随之生成的数据量较传统相机相比低了10-1000倍,并受益于对照明条件的高鲁棒性(>120dB动态范围,0.05 lux低光截止)
视频由YunX提供

隐私保护: Metavision传感器不捕捉图像

支持AI:由于背景和颜色不变带来的小数据量事件属性,您可以在小量的数据集上训练模型。

ACTIVE MARKERS

典型用例:星烁技术

实现高速 LED 频率检测在数十 kHz,追踪精度高。通过实时频率分析,在 Genx320 传感器内部滤除光源闪烁带来的寄生影响,可获得最佳追踪稳定性。

>10kHz : 高速LED频率检测

寄生频率滤波器:可最佳化事件追踪的稳定性

内向外追踪

典型用例:AR/VR/XR

在>10kHz的频率下,解锁超快速和平滑的内向外追踪,且对照明条件鲁棒性高(>120dB动态范围,0.05 lux低光截止)。

>10kHz:高速姿态判断

>120dB :动态范围

没有找到合适的用例?
我们的专家团队可以提供其他特权内容库的访问权限。
联系我们 >

合作客户

“基于 Prophesee Metavision 事件传感器的独特功能,Zinn Labs 正在开发新一代视线跟踪系统。

Prophesee 新型 GenX320 传感器能够以毫秒为时间单位,捕捉眼睛和注视动作的变化。相比传统的基于视频的视线跟踪模式,使用 GenX320 传感器,Zinn Labs 能够以更小的功率及计算量来跟踪眼睛的特征变化(视线追踪系统的功率低于 20 mW)

此外,由于新款传感器的封装尺寸更小,使得事件视觉传感器能够首次应用于空间有限的 AR/VR 头显设备中。

Zinn Labs 很高兴能与 Prophesee 合作,我们正在将 GenX320 传感器集成到即将推出的客户项目中。”

 

Kevin Boyle
Zinn Labs 创始人兼首席执行官

“每当将视觉技术应用于驾驶员监控解决方案(DMS)和电视服务等产品中时,隐私总是消费者最关心的问题之一。通过 Prophesee Metavision 事件视觉技术,我们无需对场景进行明确的视觉表征即可理解场景,将我们的“隐私设计 (PbD)”原则提升至更安全的水平。

只需捕获每个像素的变化,无需像传统图像传感器那样捕获整个场景,我们的算法可通过捕获的内容来感知到场景中的细节,不用再对其进行详细表征。我们还开发了一个概念验证演示,证明使用神经拟态传感器完全可以实现驾驶员监控解决方案。使用 1MP 神经拟态传感器,我们可以推断出与基于主动 NIR 照明 2MP 视觉传感器的解决方案类似的性能。

未来,我们将重点关注GenX320 神经形态传感器,它适用于隐私敏的感智能设备,将帮助我们进一步提升用户体验。”

 

Petronel Bigioi
XPERI 首席技术官

“YunX是一家致力于物联网技术与医疗应用的企业。随着全球人口老龄化现象日益加剧和医疗科技的快速发展,照护市场迎来前所未有的机遇。如何在注重隐私保护的同时实时提供对人体更精准、更可靠的AI监测分析,成为当前的最主要的挑战。基于Prophesee所开发的事件传感EVS的Metavision影像技术,YunX为这一市场提供了两种需求兼顾的理想方案,并在其高阶产品中已得到功能验证。全新面市的第五代GenX320传感器在紧凑性、低功耗和边缘AI能力及降低成本方面实现了重大突破,同时通过算法革新在性能上也保持了巨大的优势。”

 

鲍柏君
YunX 首席执行长

 

“通过在 Ultra Leap 的 TouchFree 应用中的高精度手势识别和手部跟踪功能,我们看到了 Prophesee 事件视觉传感器在实现无接触交互方面的优势。Prophesee 事件视觉传感器能够在极具挑战性的环境条件下,以极为高效的能耗水平和低系统延迟运行,从而增强我们无接触用户界面(UI)的整体用户体验和直观性。

随着新款 Genx320 传感器的推出,将有更多的应用和设备,包括电池供电的小型系统以及不断增加的无接触式用例,都将受益于事件视觉传感器的稳健性、低功耗、低延迟以及高动态范围的优势,进一步提升各类数字内容交互的便利性和易用性。”

 

Tom Carter
ULTRALEAP 联合创始人兼首席执行官

缩短开发周期

大量的文档资料和支持服务

通过购买EVK,您可以获得2H高级支持以及访问我们的知识中心的特权,其中包括110多篇相关文章、应用说明、深入的技术发现材料和详细的逐步指南

荣获五十余项大奖的基于事件的视觉软件套件

基于事件的软件包提供了超过95种算法67个代码范例11个即用型的应用程序,可供您构建自己的基于事件的视觉产品。立即开始免费使用迄今为止最全面的基于事件的Vision软件工具包

开源架构

METAVISION SDK基于开源架构,使得软件和硬件设备之间完全兼容,并打造了一个快速增长的基于事件的社区

先进的工具

购买Metavision传感器,即可补充访问由在线门户、驱动程序、数据播放器和SDK组成的高级工具包。

我们正在分享一个先进的工具包,以便您打造自己的机器视觉

METAVISION 智能套件

通过与超过 95 种算法、79 个代码示例和 24 个教程进行交互,亲身体验事件视觉技术带来的新性能标准,这是迄今为止业界广泛的选择

常见问题

我需要EVK才能起步吗?

评估工具包或事件视觉设备并不一定是您探索新一代机器视觉的必需品。您可以从 Metavision Studio开始,尝试与我们提供的数据集进行交互。

我能从传感器得到什么数据?

传感器将输出连续的数据流,包括:

  • X和Y坐标,表示产生事件的像素在传感器阵列中的位置
  • 极性,即被激活的事件是否对应于正(暗到亮)或负(亮到暗)的对比变化
  • 时间戳“t”,以微秒分辨率精确编码事件产生的时间

如果您想了解更多信息,请查看我们关于基于事件的概念和事件流和解码的页面。

了解更多

如何做到“无模糊”?

图像模糊主要是由于相机或被摄体在曝光过程中的运动造成的。当快门速度太慢或动作太快时,就会发生这种情况。

使用事件传感器,没有曝光,而是在检测到照明变化时由每个像素独立触发的连续“事件”流。因此没有模糊。

除了事件之外,我还可以获得图像吗?

您不能直接从事件传感器中获得图像,但出于可视化目的,您可以从事件生成帧。

要做到这一点,事件将在一段时间内(通常是帧周期,例如50 FPS的20ms)累积,因为在精确时间T(微秒精度)发生的事件数量可能非常少。

然后,可以首先用背景颜色初始化帧(例如白色),并且对于帧期间发生的每个事件,像素存储在帧中。

我可以用提供的软件许可证做什么?

该套件是在商业许可下提供的,允许您免费下载、使用、构建甚至出售自己的商业应用程序。点击此处阅读许可协议。

帧率是多少?

没有帧率,我们的Metavision传感器既不是全局快门也不是滚动快门,它实际上是无快门的

这代表了一种新的机器视觉类别,该类别由专利传感器设计实现,该设计将每个像素嵌入智能处理,使它们能够在检测到变化时独立地激活自己。

事件一旦生成,就会像素为单位连续地发送到系统,而不再以固定的速度发送

动态范围为何会这么高?

我们事件传感器的像素包含以对数尺度检测光照变化的光感受器。因此,它可以自动适应低光和高光强度,而不会像传统的基于帧的传感器那样使传感器饱和。

基于现有的图像数据集,我可以用它们来训练基于事件的模型吗?

是的,你可以利用我们的“视频到事件模拟器”这是一个Python脚本,允许您将基于帧的图像或视频转换为基于事件的对应对象,然后您可以使用这些基于事件的文件来训练基于事件的模型。

了解更多