1. 引言
早在几十年前就有了3D图像技术的概念，但产品商业化是在2000年后，许多大型电影制片厂宣布使用最新的高清摄像机获得3D效果。此后，不仅仅在消费市场，在工业机器视觉领域，3d图像技术从速度，误差精准度以及分辨率上得到了飞跃性的发展。
随着工业4.0的崛起，传统2D技术在误差精准度和距离测量方面非常受限，尤其是在复杂物体识别和尺寸测量以及互动应用例如人机互动，3D视觉的需求越来越多。
在工厂自动化领域，3D视觉能够提高机器人/机器系统的自主性和有效性。 实际上，3D视觉对于更高精度的质量检查，逆向工程或2D视觉受限的物体尺寸检测是必不可少的。 此外，使用视觉系统引导的机器人技术正在增长，需要3D视觉更好的远程指导，障碍物识别和准确移动。
广告
3D视觉还保护工厂里的工人在密集的人机交互系统中免受阻碍并解决危险情况， 还可通过监控系统进行计数并识别自然人和机器人。
3D视觉通过各方面渗透影响着社会，并为最终用户提供更安全，更高性能和更有效的援助系统。 例如，3D视觉应用于先进的汽车自动辅助驾驶系统，自主车辆，协作机器人...
本文旨在探讨3D成像技术，以及工业3D应用中先进的嵌入式CMOS传感器技术。
2. 3D 图像概论
当前，用户可通过好几种技术和方案获得3D，以下部分旨在简要概述每种技术及其优缺点。
2.1 Stereo vision technique立体视觉技术
类似人类大脑控制目测距离，两只相机，拍相同位置，不同角度安装，利用视觉差和校准技术提取物体深度信息。
图 1 – Stereoscopic system principle – source Techbriefs
2.2 Structured light technique结构光技术
由相机和投影仪组成。投影仪投射条纹光带到物体上，相机拍摄条纹光，根据物体上光的条纹扭曲计算位深信息。
图2 – 结构光系统原理图– source University of Kentucky, Laser Focus World*
2.3 Laser triangulation激光三角测量
激光三角测量系统由2D相机，镜头，激光器组成，通过测量从被测物表面反射的光来确定被测物的位置。 激光器将光斑投射到被测物，反射光通过成像相机聚焦在光敏装置上。 根据激光相对被测物表面的距离，激光点出现在相机视野中的不同位置。 这种技术称为三角测量，由激光点，照相机和激光发射器形成三角形。
高分辨率激光器通常用于需高精度，稳定和低温度漂移的位移和位置监测应用中。
图3 –激光三角测量原理图
2.4 Time-of-Flight TOF原理
TOF原理是利用光源与图像传感器同步，利用发射光脉冲和光返回到图像传感器上的时间差来计算距离。
图 4 – Time-of-flight 系统原理图
2.5 3D 图像技术对比
如上所述，每种技术都有优缺点，因此，根据应用特别是距离范围和深度精度要求，选择更合适的方案。 在表1中进行相对比较。
表1. 3D Imaging techniques ‘top-level’ comparison
目前，3D系统主要靠立体视觉，结构光和激光三角方案，这些系统主要用在固定工作距离，同时在特定检测领域中需要较高水准的校准。
Time-of-Flight 系统可以克服这些困难，从应用角度更加灵活，但是目前更多的是受限于分辨率。
3. Teledyne e2v在工业市场独特的3D方案
基于机器视觉领域，Teledyne e2v提供的线扫描相机和面阵传感器的成功积累，Teledyne e2v正在构建一个专用于3D成像的独特平台，以支持最新的工业应用，如视觉引导机器人，物流自动导引车辆（AGV），工厂监控和 安全或手持扫描仪，以及户外应用。Teledyne e2v旨在提供多种3D技术和解决方案，以满足客户的应用需求。
Teledyne e2v主要提供以下三种3D方案
• Laser triangulation 激光三角测量
• Stereo vision and structured light 立体视觉和结构光
• Time of Flight TOF技术
3.1 激光三角测量方案
Teledyne e2v可提供标准品，同时也可以特殊定制高速sensor :
• 广泛的可选分辨率：每条轮廓线2k到8k个点
• 高帧率sensor: 可达20kfps
• 高灵敏度，低噪: QE>60%, SNR of 43dB
• 多种高动态范围性能
• 独一无二地芯上处理技术: 读出通道上的数字处理，芯上子像素峰值计算
• 快速记录中最大化信道容量: 可达32Gbps LVDS 接口
3.2 立体视觉和结构光系统
Teledyne e2v提供标准CMOS sensor， 有如下关键性能：
高级别SWAP-C (size, weight, power and cost): 小光学尺寸, 多封装方法以优化尺寸和成本，低功耗 200mW @ 全幅面；
o Sapphire/Ruby 系列: WVGA, 1.3 & 2MP , 1/1.8”
o Emerald 系列: 130万像素到1600万像素, 像素尺寸2.8µm (其中16MP芯片是1” 光学尺寸,8MP是 2/3” – 全世界独特性)
• 可见光& 近红外，高灵敏度版本: 每个芯片系列公用同一个platform– pin-to-pin 兼容
• 可从快速移动物体获取 3D图像: 高达125fps, 高全局快门效率，高速双快门；
• Sensors图像传感器一致性: 每个sensor系列共享一个平台– pixel-to-pixel兼容；
• 3D 处理: multi-ROI (多ROI功能，4个窗口), binning, 图像数据的直方图由传感器芯片直接生成
高全局快门效率应用于快速移动物体
Teledyne e2v一直致力于高效率全局快门的图像传感器的创新和开发中，这种性能可以避免快速运动物体拍摄中的伪影现象。在拍摄运动物体时，当积分时间远小于读出时间时容易发生该现象，因为图像的上部分将在底部部分之前开始积分; 并且在这些间隔之间，物体已经移动。
这就需要像素内存储元件在积分发生之后存储电荷直到其被读出。 该技术基于5T结构。 缺点是填充因子减少，CDS类型时间域噪声降低方法有限。 由于这两点，与4T ERS相比，对于给定像素尺寸，现今全局快门（G / S）下的SNR要稍微差些。
然而，在像素的存储寄存器中使用pinned junctions减小了时间域噪声，同时暗电流和固定噪声以及SNR之间不再存在差距。 考虑到填充因子方面，像素上micro-lens的进步和优化（例如零间隙）可以在对波长响应的灵敏度方面取得显着进步。
近红外高灵敏度芯片应用于高精度检测
Teledyne e2v标准CMOS 芯片有较高的量子效率（QE ）。
例如下图，Teledyne e2v 的Sapphire 系列和Ruby系列的QE；Sapphire主要用于可见光，Ruby在可见光和近红外部分都有提升和优化。5T技术下，像素尺寸5.3µm x 5.3µm，高达80% 的QE 可称殿堂级CMOS芯片。
图 5 – QE versus wavelength response of new global-shutter CMOS imagers
综合以上革新性的技术板块，Teledyne e2v标准CMOS芯片可广泛应用于可见光和近红外光下日夜和户外高速物体的高精度3D检测中。
3.3 Time-of-flight 3D 技术方案
Teledyne e2v推出第一个3D TOF 方案， 基于130万像素，1英寸光学尺寸，高灵敏度和高动态范围CMOS芯片。
• 130万像素: 全幅面下的深度图，全幅面下精度< 3cm, 高速双快门
• 拍摄高速运动物体的3D图像：高达 120 fps, 全幅面下 30fps 深度图, 高全局快门效率
• 大范围3D 检测: 高近红外灵敏度，高动态范围60DB， 可检测范围 [0.5米 to 5米]
• 可见光和近红外高灵敏度芯片: 50% QE at 850 nm, 高动态范围模式: 暗光/ 日夜
• 嵌入式3D处理: Multi-ROI (2个窗口), Binning, 嵌入式芯上图像处理
如下Teledyne e2v开发的演示TOF系统，包含实时130万像素芯片扳机相机，1英寸镜头，可见光/近红外光源，[0.5m to 5m]检测范围，输出位深图或者点云数据，主要用于给用户演示TOF原理，供用户用来评估此TOF芯片性能；
表2 – Teledyne e2v’s Time-of-Flight 演示系统功能
基于5T CMOS传感器的ToF技术
主动成像是基于同步控制光源实现的成像方法。比如我们使用的手机上会使用红外信号来判断在低光条件下的距离进行辅助自动聚焦。主动成像主要应用于在恶劣天气条件（雾）下拍摄图像或三维图像。距离选通成像（Range Gating）以及飞行时间（ToF）为两种主要的主动成像技术。距离选通技术有两点需要：脉冲波前和高速快门相机。当反射从反射平面返回时，光朝向目标发送，相机的高速电子快门在恰好的瞬间打开。光脉冲飞行一定距离后到达物体然后，会部分被物体反射并被相机接收。这对相机高速快门精准控制，以便相机传感器能刚好在脉冲返回一颗快门打开，接收到测量信号。通过对光源以及相机的同步设置可以选择想要获取图像的距离。在比较恶劣的测试条件下，比如雨天，雾天或者强散射介质，只有很少一部分光子可以穿过介质并返回到照相机。距离选通成像是克服恶劣测试条件，提高系统信噪比的有效方法。ToF直接测量光的飞行时间以推断反射平面所在的距离。与距离选通技术不同，ToF不选择图像平面，它允许直接距离成像。
如图6所示，距离选通图像捕获的实现基于同步的相机源光系统。相机具有非常快的全局快门，微秒量级。在T0处，相机发送的触发给同步光源使其发射脉冲。一段时间后T1，光脉冲到达预设测量距离范围，若有物体存在于该范围内则被反射，反之则不会有反射信号。在反射的情况下，光经过T2返回相机。在T3 = T0 +2时刻相机的快门打开并捕获反射光。如此重复循环过程，以便累积足够的信号。生成的图像仅对应于该范围中存在的对象。如果需要生成深度图像，需要在几个深度处扫描一系列距离选通模式的图像，或者通过调整延迟。然后从该组图像计算距离。
图 6 – 距离选通技术原理示意图
图7为在全局快门图像传感器相元的工作示意图。信号积分不是一次性实现，而是通过连续多次微曝光（micro-integration）积累足够多探测到的光子来实现距离选通成像或者ToF成像。
图 7 – 全局快门图像传感器相元
Teledyne e2v专利技术，基于T5 像素，在交替线上的定时生成以实现低至约10纳秒的Δt。 这意味着时间分辨率的巨大改进。Teledyne e2v的130万像素CMOS图像传感器具有高灵敏度/低噪声，包括多积分或“堆积”模式。 此外，还需要pinned光电二极管和存储寄存器具有高寄生光灵敏度比（PLS），也称作消光比，来降低场景产生的背景噪声以生成锐利的图像。这是通过降低相机快门“关”期间产生的寄生光或者叫砸光来实现的。
图8 – 具有时序和同步电路的5T像素CMOS传感器需要足够的消光比来降低背景噪声
Teledyne e2v BORA 图像传感器 – --引领艺术级130万像素Time-of-Flight （简称TOF）
Teledyne e2v 新一代TOF130万像素图像传感器，取名BORA，电子全局快门，在多积分模式进行优化，所以在短距离和范围内低光环境下检测性能优越；
此TOF CMOS芯片，3D位深130万像素，1英寸光学尺寸，与第一代TOF 一样致力于工业应用中取得更多信息和更高精度。
表3 – Teledyne e2v ToF演示系统对比表
4. 结论
为提高工业系统的有效性和自主性，用于引导机器人和机器的视觉系统需求正在增长; 一些应用需要3D视觉（物体识别，精度）。这些技术也很苛刻，需要具有复杂特征的高性能传感器。
Teledyne e2v为工业市场提供广泛的独特3D视觉解决方案，，如工厂自动化，物流，计量应用程序等。 我们在高性能CMOS图像传感器方面的独特专长， 不仅提供标准3D方案，也提供定制服务，能够在日/夜操作条件下从快速移动的物体获得3D精确检测，从而克服当前3D视觉的挑战。
