1.    什么是Gated Camera？

激光门控成像的各种应用存在于远程目标识别领域，以及在恶劣天气条件下的成像、主动偏振测量甚至 3D 成像在最近几年的研究中越来越多。激光门控成像是一种激光主动成像系统,不过它不仅能够进行激光成像同时还能够根据其原理进行一些特殊信息获取。门控相机主要是靠在不同时间返回光的时间段内成像得到更好的画质和其它信息。

主动深度相机，如扫描激光雷达系统，不仅已成为自动驾驶和机器人的基本成像模式，而且正在跨学科的应用中出现，包括自动无人机、遥感、人机交互和增强或虚拟现实。当与彩色相机, TOF或结构光相机结合时。这些采集系统促进了大规模RGB-D数据集的收集，为核心计算机视觉问题的研究提供了动力，包括场景理解和动作识别.门控相机也在这些领域中得到了不少的发展

原理：

如上图：门控相机和TOF有些类似.但是和TOF的区别是TOF使用每个像素单独计算光子飞回来的时间.而门控相机是在进行不同时间的拍照,这样可以获得不同距离的景物.

从根本上说，激光门控成像将激光脉冲与同步成像传感器结合使用。激光脉冲用作照明场景的光源。激光脉冲从光源发出，脉冲持续时间从几纳秒到几微秒不等。

然后，光脉冲被存在的周围表面吸收或反射。部分反射光被发送到成像传感器，并携带有关场景的信息（如距离和反射率）。光子以光速传播，在不同范围内反射，到达不同的时间点。成像传感器或相机仅在一段很短的时间延迟后“打开门”（即开始曝光）。因此，传感器不受散射光子或寄生光源的影响。只有在正确的时间段内到达的光子才有助于生成图像。时间延迟或选通延迟决定了距离选通在场景中的位置，而相机选通时间或曝光时间将定义景深。所以，生成的图像仅包含来自感兴趣距离的反射光子的信息。图像包含目标反射率以及距离信息。

以上图为例，在时间t=0 时，Laser 发出一束光，因为光的传播速度是固定的C0，因此当t=2*r0/C0时，则照射在距离为r0处的人身上的光返回了相机端。而在时间小于和大于2*r0/C0，相机则不感光，相当于关上了光进入传感器的“门”。因此这时候成像出来的画面只有人这一个物体。

即我们可以简单的理解为，我们想拍摄人、树、车三个物体，我们可以发出一束光，在人、树、车分别将光反射回来的区间，分别记录下来人、树、车影像。

上面图片就是相机分别在三个不同位置处曝光得到的效果。不同的曝光可以将近、中、远看清。

Gated Camera的优点是什么？

只要少量光子能够通过大气遮蔽物（雾、霾、烟雾……）而不发生散射，激光门控成像就是可能的。“未受干扰的”光子将在目标处反射，并且将在与反向散射光子不同的时间到达相机。激光门控成像允许过滤信息并将未受干扰的光子与反向散射光子分开。

特别是当使用曝光时间非常短的门控成像仪时，也可以避免来自寄生光源的不必要干扰。

最大的优点就是场景适应能力好：

尤其是针对低照度、雪天、雨天等极端天气，以及对面车辆的强光灯场景。

下图第一行是场景描述左边第一个场景的可视距离, 第二行是场景的无干扰的情况下拍摄的景物, 第三行是普通相机, 第四行是门控相机的结果。Scenario 1可视距离V ≈ 30 − 40 m. Scenario 2可视距离 V ≈ 50 − 60 m

在戴姆勒的论文《Benchmarking Image Sensors Under Adverse Weather Conditions for Autonomous Driving》中，将Gated camera和普通camera 进行了对比，在雾天，Gated camera会比正常的相机（使用AR0230的相机）的效果更好，获得更多的信息。尤其是这条件下远距离的物体上门控相机有着更好的成像效果.

2 第二个好处是可以得到深度信息：

另外因为Gated camera 可以认为是一个帧级的TOF相机，在不同的时刻看到的物体就代表了该物体的距离，因此在排除环境光以及多路径的反射干扰后，也是可以求得深度图的。

很多论文指出了其效果不差于雷达以及双目、单目深度的效果。尤其是这两年有很多使用深度学习的方法来获取深度信息，大家可以参考《Gated2Depth: Real-Time Dense Lidar From Gated Images 》

3. Gated Camera和HDR 相机哪个效果好？

看到上面的童鞋会有一个想法，这个其实和HDR多曝光的思路类似啊，只不过是控制曝光的时刻，而不是时间，那会不会比HDR相机要好呢？

Bright way Vision 给出了在低照度、雨天、雪天等场景下的和HDR 相机的对比，可以看出Gated camera 相比HDR在雨天、雪地、夜视等场景下还是有特殊优势的。

另外笔者也在网上看到了一些其它的资料,和常见的单CMOS sensor系统不同，似乎是使用多sensor完成的门控相机

那Gated camera 的缺点是什么呢？  一个字“贵”。但是因为其原理不需要特殊的材料，通过CMOS成像就可以实现，因此希望未来Gated camera 可以给视觉ADAS和其它机器视觉方案带来更多的可能性吧。另外目前的激光门控相机都是黑白成像，作为机器视觉使用是可以的，但是也许未来对于彩色成像的等需求还需要更多的创新。