RealSense的继任者?OpenCV的OAK相机到底与RealSense的区别是什么?
与RealSense相机相比,OAK相机具有很多板载功能,能运行任何人工智能模型(甚至是自定义的模型),H.264, H.265, MJPEG编码(4K/30FPS, 1080P/60FPS),2D/3D追踪等等。OAK相机可用于多种嵌入式应用,而且RealSense将要停产。
RealSense的可用性和停产
2021年8月,英特尔宣布将逐步结束RealSense相机业务。此后,RealSense相机也几乎在各地断货。相比之下,所有OAK相机都有库存,我们承诺从未计划停产我们的任何设备。
设备上的功能比较
设备上的功能 | OAK-D Pro | OAK-D | OAK-D-Lite | OAK-FFC-pToF | L515 | D415 | D430-D435 | D450-D455 | F455 | F450 | T261-T265 |
---|---|---|---|---|---|---|---|---|---|---|---|
自定义AI模型 | ✔️ | ✔️ | ✔️ | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
目标检测 | ✔️ | ✔️ | ✔️ | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
目标跟踪 | ✔️ | ✔️ | ✔️ | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
板载脚本 | ✔️ | ✔️ | ✔️ | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
视频/图像编码 | ✔️ | ✔️ | ✔️ | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
图像处理 | ✔️ | ✔️ | ✔️ | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
骨骼/手跟踪 | ✔️ | ✔️ | ✔️ | ✔️ | ❌ | ✔️ | ✔️ | ✔️ | ❌ | ❌ | ❌ |
三维语义分割 | ✔️ | ✔️ | ✔️ | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
三维物体姿态估计 | ✔️ | ✔️ | ✔️ | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
三维边缘检测 | ✔️ | ✔️ | ✔️ | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
特征跟踪 | ✔️ | ✔️ | ✔️ | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ✔️ |
3D特征追踪 | ✔️ | ✔️ | ✔️ | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
OCR | ✔️ | ✔️ | ✔️ | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
人脸识别 | ✔️ | ✔️ | ✔️ | ✔️ | ❌ | ❌ | ❌ | ❌ | ✔️ | ✔️ | ❌ |
基准标记定位 | ✔️ | ✔️ | ✔️ | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
神经辅助深度 | 进行中 | 进行中 | 进行中 | – | – | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
加密 | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ✔️ | ✔️ | ❌ |
VIO | 进行中 | 进行中 | 进行中 | 进行中 | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ✔️ |
说明
- 自定义AI模型:你可以在设备上运行任何AI/NN模型,只要所有层都支持。你也可以从Open Model Zoo和DepthAI Model Zoo的200多个预训练的NN模型中选择。查看模型>>
- 目标检测:大多数常用的物体检测器已被转换并在我们的设备上运行。DepthAI支持对基于Yolo和MobileNet的NN模型进行板载解码。
- 目标跟踪:ObjectTracker 节点有4种跟踪器类型,它还支持在3D空间中跟踪对象。
- 板载脚本: Script 节点使用户能够运行将在设备上运行的定制Python 3.9脚本,用于管理管道流。
- 视频/图像编码:VideoEncode 节点允许编码成MJPEG、H265或H264格式。
- 图像处理 – ImageManip节点允许用户调整大小、扭曲、裁剪、翻转和缩略图图像帧,并进行类型转换(YUV420、NV12、RGB等。)
- 骨骼/手跟踪:检测和跟踪手或人体姿势的关键点。开源示例: Hand tracker、Blazepose、Movenet。
- 三维语义分割-用语义标记的像素感知世界。这里是DeeplabV3演示.
- 三维物体姿态估计:媒体管道的Objectron已经被改造成可以在OAK相机上运行。
- 三维边缘检测: FeatureTracker 节点使用Sobel滤波器检测边缘。有了深度信息,你就可以得到这些边的物理位置。
- 特征跟踪:FeatureTracker 节点检测并跟踪关键点(特征)。
- 3D特征追踪:通过深度信息,您可以在物理空间中跟踪这些特征。
- OCR:查看示例。
- 人脸识别: 它在设备上同时运行人脸检测、对齐和人脸识别(3种不同的神经网络模型)。
- 基准标记定位:AprilTag检测器目前的工作速度约为20FPS,此处的进展.
- 神经辅助深度-工作进行中,票证这里.
- 加密:尚未解决。
- VIO:进行中,预计2022年上半年可实现。
相机规格
规格 | OAK-D Pro/ -W | OAK-D/ -W | OAK-D-Lite | OAK-FFC-pToF | L515 | D415 | D430-D435 | D450-D455 | F455 | F450 | T261-T265 |
---|---|---|---|---|---|---|---|---|---|---|---|
RGB | IMX378 | IMX378/OV9782 | IMX214 | N/A | OV2740 | OV2740 | OV2740 | OV9782 | N/A | N/A | – |
RGB HFOV | 69 / 109 | 69 / 109 | 73.6 | N/A | 70 | 69 | 69 | 90 | N/A | N/A | N/A |
RGB快门 | 卷帘/全局 | 卷帘 | 卷帘 | N/A | 卷帘 | 卷帘 | 卷帘 | 全局 | N/A | N/A | N/A |
RGB分辨率 | 12MP | 12MP | 1300万 | N/A | 2MP | 2MP | 2MP | 1MP | N/A | N/A | N/A |
深度类型 | 主动深度 | 被动深度 | 被动深度 | ToF | 激光 | 主动深度 | 主动深度 | 主动深度 | 主动深度 | 主动深度 | N/A |
深度传感器 | OV9282 | OV9282 | OV7251 | MTP006 | – | OV2740 | OV9282 | OV9782 | – | – | – |
深度快门 | 全局 | 全局 | 全局 | N/A | 卷帘 | 全局 | 全局 | 全局 | |||
深度HFOV | 72 / 127 | 72 / 127 | 72 | 60 | N/A | 70 | 87 | 87 | 56 | 56 | 173 |
最小深度 | 20厘米 | 20厘米 | 20厘米 | N/A | 25厘米 | 45厘米 | 28厘米 | 52厘米 | 30厘米 | 30厘米 | N/A |
深度分辨率 | 1280×800 | 1280×800 | 640×480 | 224×172 | N/A | 1024×768 | 1280×720 | 1280×720 | 848×800 | ||
IR LED | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ✔️ | ✔️ | ✔️ |
ToF/激光 | ❌ | ❌ | ❌ | ✔️ | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
IMU | ✔️ | ✔️ | ❌ | N/A | ✔️ | ❌ | ✔️/❌ | ✔️ | ❌ | ❌ | ✔️ |
嵌入式应用
与RealSense不同,我们的平台支持从闪存(独立模式),并具有双向SPI通信(SPIOut, SPIIn节点)。独立/边缘模式意味着您可以将应用闪存到设备上,这意味着您不需要将设备连接到主机(树莓派/PC/笔记本电脑等)。
这允许用户构建小型、低功率的嵌入式设备集成OAK SoM用3D人工智能的力量升级他们的产品。