双目、结构光、tof，三种深度相机的原理区别看这一篇就够了！
深度相机也被称为3D相机，它和普通2D相机的区别在于可以获取物体到相机的距离信息，加之2D平面的X，Y坐标，可计算出每个点的三维坐标，以此我们可推断深度相机的应用，如三维重建、目标定位、导航避障等。
效果参考这个视频 ：
目前常见的深度相机，他们用的技术可以分为三类：
- 双目
- 结构光
- ToF
▌一、双目
0.基本原理
通过左右两个摄像头同时拍摄同一物体，然后利用计算机算法计算两个摄像头之间的视差，从而得出物体的深度信息。
视差是指两个摄像头拍摄同一物体时，物体在两个图像中的位置差异。计算机通过测量这个差异来确定物体离相机的距离。视差类似人的双眼，你单独睁开左、右眼，与同时睁开双眼观看物体的位置、远近是不一样的。
双目相机不主动对外发射光源，因此称为被动深度相机。
1.优点
不需要结构光、TOF的发射器和接收器，因此结构简单硬件成本低，适合成本敏感的应用场景。因为依靠自然光，可在室内外使用。
2.缺点
强光、暗光影响较大，因为依赖于自然光。对无纹理的物体或表面影响较大，如纯色墙，因双目相机依据视觉特征进行图像匹配，单一问题会引起匹配失效。
3.应用场景
包括机器人导航、人脸识别、手势识别等。参考OAK相机的部分应用场景：
▌二、结构光
0.基本原理
主要硬件有投射仪、相机，通过投射仪主动发射（因此称为主动测量）一束光源（通常是红外线激光）来照亮物体表面，并通过相机镜头来捕捉反射回来的光线。
在这个过程中，光线经过一个光学元件（例如衍射光栅或投射仪），以形成一个结构化的光斑（例如条纹或格子）。
当这个结构化光斑照射到物体表面时，它会产生形变，导致反射回相机的光斑也发生了畸变。通过分析这种畸变的形状和大小，深度相机可以计算出物体表面上每个像素点的深度信息，从而生成一张深度图。
1.优点
近距离(1米内)精度较高，毫米级。测量范围广、对光线和颜色的敏感度低等。主动投影，适合弱光照使用。
2.缺点
测量距离和分辨率存在一定的局限性。远距离精度差，随着距离的拉长，精度也随之变差。对环境光的干扰较大，室外强光照不宜使用，强光容易干扰投影光。
3.应用场景
包括3D扫描、机器视觉、机器人导航等。参考OAK相机的部分应用场景：
▌三、ToF
0.基本原理
相机通过发送一束光到目标物体上，这个光的波长通常为红外线。当这束光被目标物体反射回来时，相机的光电二极管（PD）阵列接收反射光，并测量光的时间飞行（ToF）。基于ToF的测量技术可以计算光从相机到物体然后返回相机的时间，从而确定物体的距离。
因其主动发射脉冲光，也属于主动测量方式。
1.优点
因为是依靠投射自身光线的技术，所以它不需要任何外部光源来扫描周围环境，即使在光线很少或没有光线的情况下也能正常工作。TOF的测量距离较远，不受表面灰度和特征影响，达百米，可用于无人驾驶
深度距离计算，不会随距离的变化而变化，稳定在厘米级
不像双目相机、结构光需要经过算法处理才能输出三维数据，TOF可以直接输出被测物体三维数据
2.缺点
对环境的光强和干扰比较敏感，室外强光照基本不能使用。由于基于飞行时间的技术依赖于发射和接收自身光的反向反射，因此在自然环境中（例如暴露在阳光下）它们可能表现不佳，这是因为其他光源发出的波会干扰相机设备发出的光。类似地，还有其他因素使ToF传感器更难正常工作，如“反光”表面（在不同方向反射光）或角落（产生多次反射）等。
3.应用场景
客流统计、无人零售、虚拟现实、机器人导航等领域。参考OAK相机的部分应用场景：
▌四、总结
| 类别 | 双目 | 结构光 | ToF |
|---|---|---|---|
| 软件复杂度 | 高 | 中等 | 低 |
| 成本 | 低 | 高 | 中 |
| 精度 | 低 | 高 | 中 |
| 低光下性能 | 差 | 好 | 好 |
| 测距方式 | 被动式 | 主动式 | 主动式 |
| 户外强光下工作 | 无影响 | 有影响 | 有影响 |
▌五、参考内容
结构光和TOF原理及优缺点对比说明 – Sanny.Liu-CV&&ML – 博客园
3D成像方法 汇总（原理解析）— 双目视觉、激光三角、结构光、ToF、光场、全息
▌六、特别说明
罗列的部分应用场景视频来自我们的用户，项目实际所用相机可能不是属于结构光或tof类的深度相机，但因为我们的产品具有兼容性，所以同一项目用不同种类的OAK相机均可正常使用！